Ученые Центра практического искусственного интеллекта «Сбера» опубликовали в открытом доступе библиотеку SIRIN (Semantic Inconsistency Recognition and Inspection Nexus, «Обнаружение и анализ семантических несоответствий»). Она помогает находить в ответах ИИ-агентов и моделей вымышленные или не подтвержденные исходными данными факты.

SIRIN объединяет различные методы проверки ответов. Разработчики могут сравнивать их, комбинировать и выбирать подходящий вариант для своей задачи. Библиотека умеет проверять как весь ответ целиком, так и отдельные фрагменты текста, показывая, где именно модель могла ошибиться. Кроме этого, SIRIN может заранее определить, достаточно ли у ИИ-агента информации для ответа.

В основе библиотеки лежат исследования «Сбера» в области детекции галлюцинаций. В частности, команда разработала метамодели, которые позволяют повысить точность обнаружения ошибок почти на 30%, используя для обучения 250 примеров.

В «Сбере» считают, что библиотека будет полезна бизнесу, который внедряет LLM и следит за качеством диалогов с пользователем. Также SIRIN пригодится разработчикам ИИ-ассистентов, RAG-систем и ИИ-агентов для тестирования новых алгоритмов.

«Сбер» в июле открыл доступ к обновленной модели угроз для ИИ-систем.