На конференции Data Fest 2026 ведущий инженер по разработке в «Сбере» Илья Осин рассказал о способе оценки функции рассуждения ИИ-моделей.

Спикер выделил четыре основных критерия качества рассуждения:

• инструктивность: адекватность запросу при соблюдении инструкций;
• необходимость;
• достаточность;
• согласованность.

Осин поделился опытом применения двух подходов на основе:

• обучения одной модели-судьи для проставления общей оценки;
• обучения четырех моделей для отдельной оценки по каждому из критериев.