Исследователи Инженерно-математической школы НИУ ВШЭ и VK представили пять моделей для оценки синтеза речи. MOSNet, MOSNetBert и WhisperBert работают по метрике MOS (Mean Opinion Score) — они выставляют аудиофайлам оценки от одного до пяти. NeuralSBS и NeuralSBSBert используют метрику SBS (Side-by-Side) — они сравнивают два аудиофрагмента и выбирают лучший.

Для обучения использовались открытые англоязычные датасеты SOMOS. Они содержат 20,1 тыс. аудиофрагментов, 200 TTS-систем (Text-to-Speech) и больше 350 тыс. оценок.

Результат MOS-моделей по метрике RMSE составил около 0,4 по сравнению с 0,62 у человека. То есть ИИ дает более точные ответы. NeuralSBS определяет лучшее аудио в 73% случаев. Как отмечают исследователи, показатель на уровне среднего субъективного слушателя.

В будущем планируется переобучить модели на русском языке. Возможна их интеграция в пайплайны CI/CD (Continuous Integration / Continuous Deployment) — это позволит внедрить автоматическую проверку качества в производственные процессы генерации речи.