В "Яндексе" составили список угроз при разработке и внедрении ИИ-агентов

МОСКВА, 26 сентября. /ТАСС/. Yandex B2B Tech, подразделение "Яндекса", выпустило матрицу угроз при разработке и внедрении ИИ-агентов - самостоятельных программ для решения задач при помощи искусственного интеллекта. В документе (есть у ТАСС), охватывающем риски и угрозы и предназначенном для специалистов по безопасности, перечислены основные векторы атак.

"Осознание этих [потенциальных] угроз имеет значение для всех участников работы с ИИ-агентами - от разработчиков и аналитиков до специалистов по информационной безопасности. Это позволяет обеспечить безопасное и эффективное использование таких технологий, а также защитить данные пользователей и организаций", - поясняется в документе.

Угрозы распределены по пяти уровням - угрозы интерфейса взаимодействия; исполнения и инструментов; инфраструктуры и оркестрации; ядра и логики, а также угрозы данных и знаний. Уровни соответствуют логическим уровням архитектуры типового ИИ-агента.

В Yandex B2B Tech привели общие примеры атак на агенты: внедрение вредоносных инструкций (например, в пользовательские запросы), DoS-атаки на агента (перегрузка запросами), попытки заставить агента использовать инструмент с вредоносными целями, внедрение вредоносных инструкций в метаданные, изменение цели агента через скрытые инструкции в промте и другие.

Агенты в сфере ИИ - это программы, самостоятельно выполняющие поставленные задачи при помощи ИИ. Оператор "Билайн" ранее отмечал стремительное появление ИИ-агентов на рынке, которые поменяли "устоявшиеся подходы к цифровизации бизнеса". Оператор пояснял, что агенты не ограничены шаблонными ответами и могут выполнять сложные задачи, интегрируясь с внутренними системами компаний, в отличие от классических чат-ботов. В Yandex B2B Tech заметили, что 2025 год уже называют "годом ИИ-агентов".