Международная группа исследователей представила открытый динамический бенчмарк DRAGOn (Designing RAG on Periodically Updated Corpus) для тестирования русскоязычных систем генеративного ИИ с поиском на базе RAG. Такие системы лежат в основе большинства ИИ-ассистентов с агентными возможностями. В работе приняли участие ученые из «Сбера», MWS AI, Школы анализа данных «Яндекса», Университета ИТМО, НИТУ МИСИС, НИУ ВШЭ, Международного университета информационных технологий (Казахстан) и Университета искусственного интеллекта имени Мохамеда бен Заида (ОАЭ).

Как объясняют разработчики, большинство существующих тестов не отражают поведение ИИ-систем в реальной среде из-за расхождения данных с базами знаний конкретной компании или опираются на статичные наборы данных, которые устаревают со временем. В предложенном решении используется открытая методология: она дает возможность разворачивать собственную среду для тестирования на корпоративных данных.

DRAGOn проверяет ИИ-системы автоматически. Он собирает актуальные новости и строит на их базе карту знаний с информацией, которой еще нет в архивах. Для оценки LLM создаются многоуровневые логические задачи. Ответы проверяет нейросеть-судья, которая анализирует их фактическую точность и полноту.

По словам разработчиков, методология адаптируется к любым языкам и сценариям. Предполагается, что бизнес будет использовать ее для оценки точности работы ИИ-систем в своей инфраструктуре на типовых сценариях и выбирать подходящие модели и RAG-подходы.

В рамках исследования также запущен публичный лидерборд RAG-систем на русском языке. По первым результатам лучшие показатели точности демонстрируют связки из нескольких моделей в комбинации с продвинутыми методами поиска.

Карточки решений:
DRAGOn