Компания SoftMediaLab представила систему «КиберАгентРевью» для отслеживания и аудита действий агентов с учетом контекста их работы.

Система позволяет выявлять отклонения от поставленных целей, предотвращать утечки данных и расследовать аномалии в сценариях. Решение построено в виде локального прокси-сервиса на рабочих станциях и выступает шлюзом к большим языковым моделям.

Технический директор SoftMediaLab Максим Горшков отметил, что традиционные средства безопасности не предотвращают атаки, при которых легитимный ИИ-агент начинает действовать с измененной целью.

В будущем разработчики планируют расширить механизмы поведенческого анализа и защиты ИИ-агентов. Система будет сопоставлять вызовы инструментов с исходной задачей и уточнениями пользователя, выявлять отклонения, в том числе вызванные промпт-инъекциями.