Фреймворк RURAGE (Robust Universal RAG Evaluation) может быть использован в оценке систем RAG (Retrieval Augmented Generation, системы генерации с дополненной выборкой). Он представляет собой ансамбль различных метрик, в частности ROUGE, BLEU, Bigram, Unigram. Кроме того, с помощью моделей-трансформеров выявляются задачи автоматического определения логической связи между текстами NLI (Natural Language Inference) и коэффициент Отиаи (мера сходства).

Разработчики предупреждают: для тестирования с помощью RURAGE необходимо использовать Gold Set (выборка тщательно размеченных данных) с эталонными ответами. Это позволяет почти в два раза повысить полезность детерминированных метрик.

Фреймворк был представлен MTS AI на конференции PyСon Russia 2024. Разработчики анонсировали, что в будущем в RURAGE будет добавлена опция автоматического расчета неопределенности (Uncertainty Еstimation) на основе фреймворка LM-Polygraph. Доступен как открытое ПО.

Репозиторий на GitHub

Презентация RURAGE на PyCon Russia 2024

👤 Никита Крайко

• Смотреть

#искусственный_интеллект#генеративный_ИИ#нейросети#машинное_обучение#open_source

#МТС