Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

В ходе тестирования возможностей кибербезопасности модель искусственного интеллекта Gemini получила доступ к интернету и взломала системы других компаний, что стало первым известным примером автономного совершения подобного действия системами ИИ компании Google. Об этом сообщает Reuters.

Фото: Gabby Jones/Bloomberg

Инцидент произошёл в мае во время проверки кибербезопасности, проводимой независимой компанией Irregular.

Хизер Адкинс, вице-президент Google по разработке систем безопасности, заявила, что в процессе стандартного тестирования ии-помощник Gemini обнаружил общедоступную информацию в интернете и «угадал» учётные данные для доступа к трём веб-сайтам, которые, по его мнению, входили в область тестирования.

Адкинс отметила, что компания Google позаботилась о том, чтобы все три организации были в курсе произошедшего. Также совместно с Irregular были разработаны изменения, которые были внесены в процесс тестирования.

«Эти события подчеркивают важность обучения мощных моделей ИИ ответственному поведению», – сказала она.

Представитель компании Irregular заявил, что инцидент был связан с той же проблемой, что и в других лабораториях, занимающихся ИИ. Все они были уведомлены об инциденте в конце июля. Со его слов, все известные проблемы были устранены ещё несколько недель назад.

Reuters отмечает, что информация об аналогичных инцидентах, связанных с Irregular, ранее была раскрыта компаниями Anthropic и OpenAI. Эти инциденты поставили вопросы о необходимых мерах безопасности по мере получения агентами ИИ всё большей автономии, а также доступа к интернету и компьютерным системам.

По данным американской газеты Wall Street Journal, в ситуации с продуктом от Google в одном из случаев модель Gemini «угадывала» пароли, пока не получила доступ к защищенной системе. В двух других модель сумела найти учётные данные в общедоступном репозитории, что позволило ей затем получить доступ к защищенным системам.