Positive Technologies разработала LLM Firewall — новый модуль в составе решения для защиты веба PT Application Firewall. Он защищает корпоративные ИИ-боты, виртуальные ассистенты и другие сервисы на основе больших языковых моделей (LLM). Модуль анализирует запросы к LLM и их ответы, выявляя признаки кибератак, “отравления” промтов, попытки утечки конфиденциальной информации и нарушения установленных правил безопасности. Об этом CNews сообщили представители Positive Technologies.

В первую очередь разработка будет востребована банками, ретейлерами, маркетплейсами, телеком-операторами и ИТ-компаниями. В этих отраслях ИИ уже помогает обрабатывать обращения клиентов, оформлять заказы и автоматизировать внутренние процессы. При этом виртуальные помощники получают доступ к персональным данным, корпоративным документам и информационным системам – их компрометация может привести к утечкам информации, финансовым потерям и сбоям в работе бизнеса.

Один из способов атак на языковые модели — инъекции промптов (prompt injection). Злоумышленник может отправить ИИ-боту специально составленный запрос, чтобы обойти установленные ограничения, получить закрытую информацию или заставить его выполнить нежелательное действие. Вредоносные инструкции также могут скрываться в документах, которые обрабатывает модель. Традиционные средства веб-защиты не распознают такие атаки, поскольку внешне они выглядят как обычные сообщения пользователей.

«ИИ-агенты становятся полноценными участниками бизнес-процессов, а вместе с этим — новой целью для киберпреступников. Мы прогнозируем рост числа атак, при которых злоумышленники будут пытаться манипулировать поведением ИИ-ассистентов, чтобы выполнять вредоносные действия в корпоративной сети от их имени. По мере расширения возможностей таких помощников растут и последствия их компрометации. Поэтому компаниям важно учитывать эти риски уже при внедрении ИИ в свои сервисы», — сказал Павел Пархомец, руководитель продукта PT AF Cloud Positive Technologies.

LLM Firewall проверяет входящие запросы и ответы языковой модели. Модуль обнаруживает попытки обойти ограничения ИИ (jailbreak), извлечь системные инструкции или использовать возможности ИИ-агента в интересах атакующего. Подозрительные обращения можно автоматически блокировать либо фиксировать для последующего анализа специалистами по безопасности.

Еще одна задача модуля — контроль информации, которую пользователи передают ИИ-агенту в своих запросах. LLM Firewall выявляет персональные данные, пароли, ключи доступа и другие секреты, а также токсичный, запрещенный и потенциально опасный контент. Проверка в обоих направлениях позволяет компаниям контролировать сведения, поступающие в ИИ-сервис, и содержание ответов, которые получают пользователи. Для клиентских сервисов это также снижает риск репутационного ущерба из-за некорректных ответов бота.

Модуль уже интегрирован в PT AF Cloud и подключается к обмену данными между приложением и языковой моделью через API, совместимый с OpenAI Chat Completions и Responses. Для управления защитой не требуется отдельная консоль. В ближайшее время модуль появится и в on-premise продукте PT AF PRO.

Компании могут настраивать политики безопасности для разных ИИ-сервисов, выбирать режим мониторинга или блокировки и устанавливать отдельные правила проверки запросов и ответов. Информация о выявленных событиях поступает в PT AF, где специалисты могут использовать ее для анализа угроз и расследования инцидентов.

• Инвестируйте в навыки для решения ваших бизнес-задач вместе со Школой Роста CNews