Исследователи Центра практического искусственного интеллекта «Сбера» разработали метод детекции галлюцинаций LLM на основе метамоделей и умного понижения размерности. Решение предназначено для RAG-систем, в которых языковая модель соединяется с внешней базой данных.

Ученые разработали метамодели для оценки корректности ответа LLM. Для этого использовалось 250 примеров для обучения. Как утверждается, это в разы меньше, чем нужно другим решениям. Точность обнаружения галлюцинаций при этом увеличивается на 30%.

В «Сбере» считают, что их разработка позволит компаниям сэкономить ресурсы на разметку данных и улучшить качество RAG-систем. Предполагается, что метод будет полезен для индустриальных решений.

В МГУ им. М.В. Ломоносова в июне сообщали о планах по разработке решения для борьбы с галлюцинациями LLM. Оно предназначено для повышения безопасности применения моделей в бизнесе, банковской сфере и при предоставлении госуслуг.