MWS AI (входит в МТС) выложила в открытый доступ инструмент RESON (Research Engine for Speech Observation & Notes) для комплексной оценки качества моделей автоматического распознавания речи. Инструмент призван помочь командам и компаниям, проводящим сравнение моделей и выбирающим между разными решениями.

После загрузки в RESON результатов распознавания речи и эталонной расшифровки инструмент сравнивает модели по более чем 10 метрикам и формирует отчет.

Метрики, среди прочего, показывают количество ошибок при распознавании (Word Error Rate), ошибки на уровне отдельных символов (Character Error Rate) или в уникальных словах (Mean Word Accuracy). Показатель WIS (Word Importance Score) учитывает, как часто встречается слово, насколько плохо оно распознается, какие ошибки возникают и на какие варианты модель его заменяет.

Вместе с RESON MWS AI опубликовала для оценки качества моделей открытый набор данных MWS RESON ASR OSD с 12 тыс. размеченных аудиозаписей.

RESON доступен на GitHub.

В сентябре 2026 года МТС провела тестирование ИИ-агента, созданного MWS AI, для анализа клиентских диалогов в контакт-центрах.