Обзор тестов для оценки ИИ-моделей от российских команд

ICT.Moscow

В погоне за «бенчами»: растущая популярность сравнений моделей ИИ

Исследователи из НИУ ВШЭ <a href="https://www.hse.ru/news/science/986632602.html" target="_blank">предложили</a> новый научный подход для оценки компетентности искусственного интеллекта в области образования. На прошлой неделе широкий анонс <a href="https://habr.com/ru/news/858568/" target="_blank">получил</a> бенчмарк BABILong, впервые опубликованный AIRI и МФТИ в феврале этого года.

 
 ICT.Moscow собрал в одной подборке 18 бенчмарков, которые были представлены и выложены в общий доступ российскими командами с 2020 года. Перейдя по ссылке на карточку, можно подробнее изучить возможности решения, найти дополнительную информацию и контакты команд-разработчиков. 

<hr />
<h2>
 Бенчмарк общего профиля
</h2>

<ul>
 <li><a href="https://ict.moscow/card/mera-benchmark/" target="_blank">MERA</a> на открытых и закрытых тестах оценивает работу фундаментальных моделей. Разработчик — Альянс в сфере искусственного интеллекта.</li>
</ul>

<hr />
<h2>
 Бенчмарки для сравнения производительности&nbsp;
</h2>

<ul>
 <li>На <a href="https://ict.moscow/card/llm-arena/" target="_blank">LLM Arena</a> каждый может сравнить ответы двух моделей и выбрать лучший. На основе таких сравнений пользователей и формируется рейтинг. Разработчик — команда во главе с Романом Куцевым.</li>
</ul>

<ul>
 <li>В <a href="https://ict.moscow/card/ruarenageneral/" target="_blank">RuArenaGeneral</a> GPT-4o оценивает параллельные ответы двух моделей — испытуемой и базовой. На базе этих сравнений с помощью системы Эло строится рейтинг моделей. Разработчик — Vikhr Models.</li>
</ul>

<ul>
 <li>В <a href="https://ict.moscow/card/rulm-sbs2/" target="_blank">rulm-sbs2</a> LLM-судья оценивает по десятибалльной шкале ответы двух моделей на различные задания. Разработчик — Лаборатория анализа данных Александра Кукушкина.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/rumt-bench/" target="_blank">ruMT-Bench</a> позволяет с помощью LLM-судьи оценить выравнивание (Alignment) поведения ИИ-ассистентов. Разработчик — SberDevices.</li>
</ul>

<hr />
<h2>
 Бенчмарки для длинного контекста
</h2>

<ul>
 <li>Бенчмарк <a href="https://ict.moscow/card/babilong/" target="_blank">BABILong</a> разработан исследователями для оценки способности больших языковых моделей извлекать и эффективно обрабатывать распределенные факты в больших текстах. Разработчики — Институт AIRI, МФТИ.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/libra/" target="_blank">LIBRA</a> помогает проанализировать способности языковой модели оперировать длинным контекстом: резюмировать, вычленять основные идеи текста. Разработчики — AIRI, ecom.tech, SberTech и МФТИ.</li>
</ul>

<hr />
<h2>
 Бенчмарки для обработки и понимания естественного языка
</h2>

<ul>
 <li><a href="https://ict.moscow/card/rucola/" target="_blank">RuCoLa</a> оценивает лингвистическую компетентность больших языковых моделей. Разработчики — ABBYY, Huawei, SberDevices, Yandex Research и НИУ ВШЭ.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/ruifeval/" target="_blank">ruIFEval</a> проверяет способность модели следовать заданным на естественном языке инструкциям. Разработчик — SberDevices.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/russiansuperglue/" target="_blank">RussianSuperGLUE</a> призван стать рейтингом русскоязычных NLP-моделей. Разработчики — Huawei, SberDevices, НИУ ВШЭ.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/tape/" target="_blank">TAPE</a> испытывает модели в их способностях обрабатывать русский естественный язык. Разработчики — SberDevices, НИУ ВШЭ и Huawei.</li>
</ul>

<hr />
<h2>
 Бенчмарки для работы с русскоязычным контекстом&nbsp;
</h2>

<ul>
 <li><a href="https://ict.moscow/card/shlepa/" target="_blank">Шлепа</a> проверяет то, насколько хорошо большие языковые модели могут учитывать в своей работе русскоязычный контекст. Разработчик — Vikhr Models.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/slava/" target="_blank">SLAVA</a> проверяет, учитывают ли большие языковые модели в своей работе особенности культуры и законодательства России. Разработчики — РАНХиГС, Институт системного программирования РАН.</li>
</ul>

<hr />
<h2>
 Бенчмарк для работы с медицинскими данными
</h2>

<ul>
 <li>С помощью <a href="https://ict.moscow/card/medbench/" target="_blank">MedBench</a> можно сравнить модели машинного обучения, работающие с медицинскими данными. Разработчик — Лаборатория искусственного интеллекта «Сбера».</li>
</ul>

<hr />
<h2>
 Бенчмарки для работы с эмбеддингами и эмбеддерами
</h2>

<ul>
 <li><a href="https://ict.moscow/card/rumteb/" target="_blank">ruMTEB</a> проверяет текстовые эмбеддинги и эмбеддеры. Разработчик — SberDevices.</li>
</ul>

<ul>
 <li>Для научных текстов их испытывает <a href="https://ict.moscow/card/ruscibench/" target="_blank">ruSciBench</a>. Разработчик — Институт искусственного интеллекта МГУ им. М.В. Ломоносова.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/rusenteval/" target="_blank">RuSentEval</a> также тестирует эмбеддинги и эмбеддеры. Разработчики — НИУ ВШЭ, SberDevices.</li>
</ul>

<hr />
<h2>
 Бенчмарк для работы с программным кодом
</h2>

<ul>
 <li><a href="https://ict.moscow/card/realcode-eval/" style="background-color: rgb(255, 255, 255);" target="_blank">RealCode_eval</a> позволяет проверить, насколько хорошо большие языковые модели генерируют программный код. Разработчик — SberDevices.</li>
</ul>

<hr />

Решения для тестирования моделей ИИ

Подборка решений: открытые бенчмарки для моделей ИИ

Производитель рассчитывает поставлять их компаниям из финансового сектора, ритейла, владельцам соцсетей для анализа действий пользователей и ситуационным центрам с системами видеоаналитики и распознавания.

 
 Первые тесты новых решений на инфраструктуре заказчиков планируется провести в начале 2025 года. В компании не назвали точную модель чипов, которые будут использованы в серверах. При этом представитель Yadro отметил, что «новые серверы смогут вмещать до 8 GPU-карт двойной толщины». В настоящее время проводятся термоиспытания и валидация платформы.

 
 Серверы будут производиться на собственном заводе компании в Дубне. Также Yadro планирует подать заявку на включение решения в Единый реестр российской радиоэлектронной продукции Минпромторга.

<hr />
 
 В октябре стало известно, что Fplus <a href="https://t.me/ict_moscow_ai/3857" target="_blank" rel="nofollow">начнет</a> выпуск серверов с отечественными нейроускорителями от НТЦ «Модуль». Они будут предназначены для работы с нейросетями, обработки сигналов и изображений, но не для обучения ИИ.

<hr />

CNews

Вендор Yadro работает над созданием серверов для обучения ИИ-моделей

Компания «Биометриклабс» — участник Московского инновационного кластера — создала цифрового двойника водоканала, который сможет определять протечки. Решение разработано на основе искусственного интеллекта (ИИ). Применение технологии позволит получить высокую точность определения местоположения и исключить ложные срабатывания и реагирования на посторонние шумы.

 
 Учредитель компании «Биометриклабс» Алексей Фролов рассказал: «В настоящее время команда работает над совершенствованием ансамбля нейросетей для повышения точности определения утечки. Через полгода мы планируем релиз системы, которая сможет по вибрации определять объем утечки».

 
 Авторы проекта отметили, что анализ протечки происходит на основе оценки постороннего звука. При появлении небольшого повреждения трубопровода или врезки вытекающая жидкость издает характерный звук, который фиксируется акустическими датчиками. Звук записывается и передается по беспроводному каналу на облачный сервер. Серверное ПО на базе ИИ анализирует записанные звуки с двух датчиков и определяет местоположение утечки с точностью до 1 метра. Ожидается, что с его помощью скорость устранения аварий увеличится вдвое и сократится до 30–40 минут.

 
 Испытания цифрового двойника начнутся в ближайшее время. В 2021–2022 годах в пилотных тестах участвовал «Мосводоканал».

Известия

«Биометриклабс» разработала цифрового двойника водоканала для определения протечек

В этот выпуск вошли материалы RoboJobs, ICT.Moscow, «Яндекса», НИУ ВШЭ, Venture Guide, DevCrowd, ДИТ Москвы и многих других 

Новая волна интереса к ИБ и роботам, профиль ИИ-специалистов, награды Москвы и другая аналитика о российском ИКТ

Гибче, прозрачнее, индивидуальнее. Как меняются принципы оплаты труда в эпоху бирюзы и agile

Ассоциация_ПСМПО

Ассоциация ПСМПО

Ариадна Денисова, ассоциация ПСМПО, выступила с презентацией «Гибче, прозрачнее, индивидуальнее. Как меняются принципы оплаты труда в эпоху бирюзы и agile» на форуме <a href="http://hrsummit.ru" target="_blank">MOTIVATION 2019</a> (24 апреля 2019).

Темы:

<ul>
	<li>Мировые тренды.</li>
	<li>Смена поколений.</li>
	<li>Цифровизация и ИИ.</li>
	<li>Трансформация C&amp;B практик.</li>
</ul>