В своем недавнем выступлении президент РФ назвал пределы применения ИИ в сфере безопасности вопросом выживания человечества, а окончательное решение в любом случае оставил за человеком. О том, где проходит эта граница, фантасты спорили задолго до первой нейросети.

Многое из того, о чем они писали в прошлом веке, вошло в быт. Беспилотные машины выезжают на улицы, дроны работают в небе, генеративные модели пишут тексты, а агентные системы сами выполняют цепочки действий по заданию человека. Рэй Брэдбери описал умный дом в рассказе «Будет ласковый дождь», действие которого, кстати, происходит в 2026 году и по которому студией «Узбекфильм» в 1984-м снят апокалиптический мультфильм. По сюжету электронный дом вовремя готовит завтраки, убирает мусор, напоминает о времени и читает стихи, не замечая, что хозяев, которые погибли от ядерного взрыва, больше нет.

Именно вопросами о власти, зависимости, ответственности и цене прогресса отличаются лучшие книги жанра. И эти вопросы до сих пор открыты.

Герберт Уэллс верил в науку, но в «Машине времени» и «Войне в воздухе» показал, чем оборачивается прогресс, который обгоняет общество.

Айзек Азимов прославился тремя законами робототехники. Первый запрещает роботу вредить человеку, второй обязывает его подчиняться приказам, если они не противоречат первому. Законы часто цитируют как готовое решение, хотя в рассказах самого Азимова безупречные на бумаге правила сталкиваются друг с другом и приводят к неожиданным последствиям. С нейросетью всё еще сложнее, потому как принципы, которые модель усваивает при обучении, полной гарантии, как мы видим по недавним событиям, не дают.

Владимир Маяковский в 1925 году перенес действие агитпоэмы «Летающий пролетарий» в 2125 год. Уже в начале он упоминает «самолет беспилотный» среди изобретений, которыми «ученые империалистовы» готовят новый аркан для рабочих и крестьян. Для Маяковского техника никогда не была нейтральной. Самолет у него становится угрозой или защитой, и всё зависит от того, в чьих он руках.

С ИИ вопросы те же. Кто задает системе цели? Кто получает выгоду и кто несет риски? У кого есть право ее остановить?

Фраза «ИИ угрожает человечеству» смешивает проблемы совсем разного масштаба. Часть рисков уже есть. Дипфейки удешевили мошенничество и дезинформацию, злоумышленники применяют ИИ для фишинга и кибератак, публичные ИИ-сервисы стали каналом утечек служебных документов.

Главная опасность в другом. Человеку удобно передать системе право принимать решения — будь то отказ в кредите, сортировка пациентов или назначение штрафа. При этом результат зависит от целой цепочки: разработчиков, поставщиков данных и операторов, причем даже создатель системы не всегда способен объяснить, почему она сработала именно так. Если что-то идет неправильно, определить виновного бывает практически невозможно. Хуже всего, когда человек формально остается в контуре управления, но на деле только подтверждает рекомендацию машины. Чем шире полномочия системы, тем дороже обойдется случай, когда она достигнет формальной цели способом, которого создатели не одобрили бы.

Поэтому еще до запуска системы нужно понимать, кто будет нести ответственность за решение алгоритма. Эта функция может быть закреплена за оператором — организацией, которая ввела систему в работу и доверила ей такой выбор. Разработчик при этом отвечает за поведение модели в пределах характеристик, которые он сам заявил.

Экспериментальные правовые режимы уже дают первый опыт. Беспилотники и другие новые технологии сначала работают там в ограниченной зоне, участники обязаны страховать ответственность за вред от ИИ, а специальная комиссия разбирает каждый такой случай.

Спокойного разговора об этом пока не получается. Спор об ИИ свелся к перепалке оптимистов и пессимистов, и обе крайности мешают принимать решения. Я бы назвал зрелую позицию технологическим реализмом.

Реалист видит, что ИИ ускоряет отдельные этапы действий, например поиск лекарств, чтение рентгеновских снимков. Отказ от этого тоже, конечно, имеет цену.

Разработчику нужно испытывать модель до выпуска и специально искать ситуации, в которых ее правила ломаются. Азимов занимался тем же самым в своих рассказах. Государству предстоит определить, в каких решениях без человека нельзя обойтись. И клиент тоже должен знать, когда алгоритм принял решение за него.

Авиация стала безопасной благодаря сертификации и расследованию аварий. Этот путь занял десятилетия и прошел через катастрофы. У ИИ таких десятилетий нет, он распространяется гораздо быстрее.

В фантастике хватает историй о восстании машин. Самые глубокие книги жанра писали о людях, которые теряют власть над будущим, когда перестают спрашивать, зачем система работает и чьи ценности она воплощает.

Но системы работают, люди по-прежнему рядом, а решения понемногу переходят к расписанию, рейтингу и рекомендации. Машинам ничего не придется захватывать. Если человек однажды сам не решит, что решать больше не его дело.

Автор — генеральный директор Фонда поддержки проектов НТИ

Позиция редакции может не совпадать с мнением автора