MWS Vision Bench
Бенчмарк для мультимодальных моделей
Выложенный в открытый доступ бенчмарк MWS Vision Bench проверяет, насколько эффективно мультимодальные модели выполняют задачи оптического распознавания символов (Optical Character Recognition, OCR) для документов: считывают текст с изображений, понимают структуру документа, находят необходимую информацию, распознают расположение элементов и отвечают на вопросы по содержимому.
Бенчмарк состоит из 2580 заданий по сценариям обработки бизнес-документов и рукописных данных в российских организациях. В набор из 800 изображений включены офисные и личные документы, схемы, рукописные записи (в том числе анкеты и нотные записи), таблицы, чертежи, диаграммы, графики, файлы в формате JSON.
Исходный датасет случайным образом разделен на две части по 400 изображений каждая: валидационную (1302 задания) и тестовую (1278 заданий). По состоянию на октябрь 2025 года первая из них выложена в открытый доступ, модели на ней возможно тестировать через API. Для оценки на тестовой части необходимо обратиться к разработчикам.
Бенчмарк MWS Vision Bench был представлен компанией MWS AI (входит в состав МТС Web Services) в октябре 2025 года.