Обзор тестов для оценки ИИ-моделей от российских команд

ICT.Moscow

В погоне за «бенчами»: растущая популярность сравнений моделей ИИ

Исследователи из НИУ ВШЭ <a href="https://www.hse.ru/news/science/986632602.html" target="_blank">предложили</a> новый научный подход для оценки компетентности искусственного интеллекта в области образования. На прошлой неделе широкий анонс <a href="https://habr.com/ru/news/858568/" target="_blank">получил</a> бенчмарк BABILong, впервые опубликованный AIRI и МФТИ в феврале этого года.

 
 ICT.Moscow собрал в одной подборке 18 бенчмарков, которые были представлены и выложены в общий доступ российскими командами с 2020 года. Перейдя по ссылке на карточку, можно подробнее изучить возможности решения, найти дополнительную информацию и контакты команд-разработчиков. 

<hr />
<h2>
 Бенчмарк общего профиля
</h2>

<ul>
 <li><a href="https://ict.moscow/card/mera-benchmark/" target="_blank">MERA</a> на открытых и закрытых тестах оценивает работу фундаментальных моделей. Разработчик — Альянс в сфере искусственного интеллекта.</li>
</ul>

<hr />
<h2>
 Бенчмарки для сравнения производительности&nbsp;
</h2>

<ul>
 <li>На <a href="https://ict.moscow/card/llm-arena/" target="_blank">LLM Arena</a> каждый может сравнить ответы двух моделей и выбрать лучший. На основе таких сравнений пользователей и формируется рейтинг. Разработчик — команда во главе с Романом Куцевым.</li>
</ul>

<ul>
 <li>В <a href="https://ict.moscow/card/ruarenageneral/" target="_blank">RuArenaGeneral</a> GPT-4o оценивает параллельные ответы двух моделей — испытуемой и базовой. На базе этих сравнений с помощью системы Эло строится рейтинг моделей. Разработчик — Vikhr Models.</li>
</ul>

<ul>
 <li>В <a href="https://ict.moscow/card/rulm-sbs2/" target="_blank">rulm-sbs2</a> LLM-судья оценивает по десятибалльной шкале ответы двух моделей на различные задания. Разработчик — Лаборатория анализа данных Александра Кукушкина.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/rumt-bench/" target="_blank">ruMT-Bench</a> позволяет с помощью LLM-судьи оценить выравнивание (Alignment) поведения ИИ-ассистентов. Разработчик — SberDevices.</li>
</ul>

<hr />
<h2>
 Бенчмарки для длинного контекста
</h2>

<ul>
 <li>Бенчмарк <a href="https://ict.moscow/card/babilong/" target="_blank">BABILong</a> разработан исследователями для оценки способности больших языковых моделей извлекать и эффективно обрабатывать распределенные факты в больших текстах. Разработчики — Институт AIRI, МФТИ.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/libra/" target="_blank">LIBRA</a> помогает проанализировать способности языковой модели оперировать длинным контекстом: резюмировать, вычленять основные идеи текста. Разработчики — AIRI, ecom.tech, SberTech и МФТИ.</li>
</ul>

<hr />
<h2>
 Бенчмарки для обработки и понимания естественного языка
</h2>

<ul>
 <li><a href="https://ict.moscow/card/rucola/" target="_blank">RuCoLa</a> оценивает лингвистическую компетентность больших языковых моделей. Разработчики — ABBYY, Huawei, SberDevices, Yandex Research и НИУ ВШЭ.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/ruifeval/" target="_blank">ruIFEval</a> проверяет способность модели следовать заданным на естественном языке инструкциям. Разработчик — SberDevices.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/russiansuperglue/" target="_blank">RussianSuperGLUE</a> призван стать рейтингом русскоязычных NLP-моделей. Разработчики — Huawei, SberDevices, НИУ ВШЭ.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/tape/" target="_blank">TAPE</a> испытывает модели в их способностях обрабатывать русский естественный язык. Разработчики — SberDevices, НИУ ВШЭ и Huawei.</li>
</ul>

<hr />
<h2>
 Бенчмарки для работы с русскоязычным контекстом&nbsp;
</h2>

<ul>
 <li><a href="https://ict.moscow/card/shlepa/" target="_blank">Шлепа</a> проверяет то, насколько хорошо большие языковые модели могут учитывать в своей работе русскоязычный контекст. Разработчик — Vikhr Models.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/slava/" target="_blank">SLAVA</a> проверяет, учитывают ли большие языковые модели в своей работе особенности культуры и законодательства России. Разработчики — РАНХиГС, Институт системного программирования РАН.</li>
</ul>

<hr />
<h2>
 Бенчмарк для работы с медицинскими данными
</h2>

<ul>
 <li>С помощью <a href="https://ict.moscow/card/medbench/" target="_blank">MedBench</a> можно сравнить модели машинного обучения, работающие с медицинскими данными. Разработчик — Лаборатория искусственного интеллекта «Сбера».</li>
</ul>

<hr />
<h2>
 Бенчмарки для работы с эмбеддингами и эмбеддерами
</h2>

<ul>
 <li><a href="https://ict.moscow/card/rumteb/" target="_blank">ruMTEB</a> проверяет текстовые эмбеддинги и эмбеддеры. Разработчик — SberDevices.</li>
</ul>

<ul>
 <li>Для научных текстов их испытывает <a href="https://ict.moscow/card/ruscibench/" target="_blank">ruSciBench</a>. Разработчик — Институт искусственного интеллекта МГУ им. М.В. Ломоносова.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/rusenteval/" target="_blank">RuSentEval</a> также тестирует эмбеддинги и эмбеддеры. Разработчики — НИУ ВШЭ, SberDevices.</li>
</ul>

<hr />
<h2>
 Бенчмарк для работы с программным кодом
</h2>

<ul>
 <li><a href="https://ict.moscow/card/realcode-eval/" style="background-color: rgb(255, 255, 255);" target="_blank">RealCode_eval</a> позволяет проверить, насколько хорошо большие языковые модели генерируют программный код. Разработчик — SberDevices.</li>
</ul>

<hr />

Решения для тестирования моделей ИИ

Подборка решений: открытые бенчмарки для моделей ИИ

В этот выпуск вошли материалы RoboJobs, ICT.Moscow, «Яндекса», НИУ ВШЭ, Venture Guide, DevCrowd, ДИТ Москвы и многих других 

Новая волна интереса к ИБ и роботам, профиль ИИ-специалистов, награды Москвы и другая аналитика о российском ИКТ

ГК «Солар» создала ресурс CyberStage Matrix для анализа компаний, разрабатывающих ИБ-решения. Разработчики отмечают, что ранее «ИБ-сообщество опиралось на зарубежные инструменты классификации отрасли», но после ухода из РФ ряда компаний «возможности для сравнительного анализа стали существенно ограничены».

 
 Созданный инструмент систематизирует информацию о малых и средних организациях, классифицируя продукты по 44 типам технологий и 7 нишам.

 
 В основе сегментации используется навигатор технологий по таким областям применения, как сетевая безопасность, безопасность данных, безопасность Web и другим. Кроме этого, пользователям будут доступны список проектов компаний на стадии развития, направление их деятельности, показатели выручки за три года, размер штата, местонахождение и количество инвесторов.

 
 По данным CyberStage Matriх, в III квартале 2024 года на рынке представлены 187 малых и средних компаний. Лидерами по динамике прироста выручки в 2022–2023 годах стали сегменты Application Security и Data Security, которые выросли более чем на 220%.

ГК Солар

ГК «Солар» представила инструмент CyberStage Matrix для поиска и оценки растущих ИБ-компаний

По данным ГК «Солар», за девять месяцев текущего года количество заблокированных фишинговых ресурсов увеличилось год к году на 116%. Аналитики отмечают, что хакеры начали массово использовать фишинговые домены третьего и более глубоких уровней, что усложняет их поиск.

 
 Руководитель отдела доменов Ru-Center Георгий Казаров объяснил, что «такой подход выгоден мошенникам — жертве сложно доказать компетентным органам, что фишинговая страница в принципе существовала». По словам представителя «Яндекса», чтобы избежать автоматической проверки по адресам, злоумышленники размещают фишинговые страницы на внутренних страницах сайта.

 
 В ГК «Солар» также отметили снижение упоминаемости известных марок на фишинговых сайтах. В 2024 году «до 40% фишинговых ресурсов не имеют связки с брендом, когда в 2023 году их доля составляла 16%», уточнили в компании. При этом больше всего внебрендовых доменов (70%) относится к фишингу вокруг маркетплейсов.

 
 В Wildberries рассказали, что в первом полугодии 2024 года число фишинговых сайтов выросло более чем в два раза относительно 2023 года, около 10% их них были «нацелены на получение доступа в личные кабинеты продавцов».

 
 Начальник отдела по ИБ компании «Код безопасности» Алексей Коробченко пояснил, что за блокировкой одних схем работы хакеров всегда следует разработка других, более продвинутых: «Нужно некоторое время, чтобы научиться в автоматическом режиме обнаруживать подобные ресурсы».

Коммерсант

ГК «Солар»: за девять месяцев 2024 года число заблокированных фишинговых ресурсов увеличилось на 116%

Применение методов машинного обучения для определения критериев эффективности сотрудника

Алексей Соловьев, руководитель направления Solar addVisor, выступил на конференции <a href="https://ict.moscow/event/tsifrovaia-transformatsiia-2022/" target="_blank" rel="nofollow">«Цифровая трансформация 2022»</a> (29 марта 2022 года).

В презентации рассматриваются возможности Solar addVisor для сбора, хранения и анализа метрической информации о рабочей деятельности сотрудника.

ГК_Солар

Алексей Соловьев, руководитель направления Solar addVisor, выступил на конференции <a href="https://ict.moscow/event/tsifrovaia-transformatsiia-2022/" target="_blank" rel="nofollow">«Цифровая трансформация 2022»</a> (29 марта 2022 года).

 
 В презентации рассматриваются возможности Solar addVisor для сбора, хранения и анализа метрической информации о рабочей деятельности сотрудника.