ICT.Moscow поговорил с разными командами трендвотчеров в компаниях чтобы узнать, как устроена их кухня поиска технологических инноваций в 2024 году

ICT.Moscow

Кто и как исследует будущее цифровых технологий в компаниях

Обзор тестов для оценки ИИ-моделей от российских команд

В погоне за «бенчами»: растущая популярность сравнений моделей ИИ

    <p>
    Исследователи из НИУ ВШЭ <a href="https://www.hse.ru/news/science/986632602.html" target="_blank">предложили</a> новый научный подход для оценки компетентности искусственного интеллекта в области образования. На прошлой неделе широкий анонс <a href="https://habr.com/ru/news/858568/" target="_blank">получил</a> бенчмарк BABILong, впервые опубликованный AIRI и МФТИ в феврале этого года.
</p>
    <p>
    <i>ICT.Moscow собрал в одной подборке 18 бенчмарков, которые были представлены и выложены в общий доступ российскими командами с 2020 года. Перейдя по ссылке на карточку, можно подробнее изучить возможности решения, найти дополнительную информацию и контакты команд-разработчиков.  </i>
</p>
<hr />
<h2>
    <b>Бенчмарк общего профиля</b>
</h2>

<ul>
    <li><a href="https://ict.moscow/card/mera-benchmark/" target="_blank">MERA</a> на открытых и закрытых тестах оценивает работу фундаментальных моделей. <i>Разработчик — Альянс в сфере искусственного интеллекта.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарки для сравнения производительности&nbsp;</b>
</h2>

<ul>
    <li>На <a href="https://ict.moscow/card/llm-arena/" target="_blank">LLM Arena</a> каждый может сравнить ответы двух моделей и выбрать лучший. На основе таких сравнений пользователей и формируется рейтинг. <i>Разработчик — команда во главе с Романом Куцевым.</i></li>
</ul>

<ul>
    <li>В <a href="https://ict.moscow/card/ruarenageneral/" target="_blank">RuArenaGeneral</a> GPT-4o оценивает параллельные ответы двух моделей — испытуемой и базовой. На базе этих сравнений с помощью системы Эло строится рейтинг моделей. <i>Разработчик — Vikhr Models.</i></li>
</ul>

<ul>
    <li>В <a href="https://ict.moscow/card/rulm-sbs2/" target="_blank">rulm-sbs2</a> LLM-судья оценивает по десятибалльной шкале ответы двух моделей на различные задания. <i>Разработчик — Лаборатория анализа данных Александра Кукушкина.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/rumt-bench/" target="_blank">ruMT-Bench</a> позволяет с помощью LLM-судьи оценить выравнивание (Alignment) поведения ИИ-ассистентов. <i>Разработчик — SberDevices.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарки для длинного контекста</b>
</h2>

<ul>
    <li>Бенчмарк <a href="https://ict.moscow/card/babilong/" target="_blank">BABILong</a> разработан исследователями для оценки способности больших языковых моделей извлекать и эффективно обрабатывать распределенные факты в больших текстах. <i>Разработчики — Институт AIRI, МФТИ.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/libra/" target="_blank">LIBRA</a> помогает проанализировать способности языковой модели оперировать длинным контекстом: резюмировать, вычленять основные идеи текста. <i>Разработчики — AIRI, ecom.tech, SberTech и МФТИ.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарки для обработки и понимания естественного языка</b>
</h2>

<ul>
    <li><a href="https://ict.moscow/card/rucola/" target="_blank">RuCoLa</a> оценивает лингвистическую компетентность больших языковых моделей. <i>Разработчики — ABBYY, Huawei, SberDevices, Yandex Research и НИУ ВШЭ.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/ruifeval/" target="_blank">ruIFEval</a> проверяет способность модели следовать заданным на естественном языке инструкциям. <i>Разработчик — SberDevices.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/russiansuperglue/" target="_blank">RussianSuperGLUE</a> призван стать рейтингом русскоязычных NLP-моделей. <i>Разработчики — Huawei, SberDevices, НИУ ВШЭ.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/tape/" target="_blank">TAPE</a> испытывает модели в их способностях обрабатывать русский естественный язык. <i>Разработчики — SberDevices, НИУ ВШЭ и Huawei.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарки для работы с русскоязычным контекстом&nbsp;</b>
</h2>

<ul>
    <li><a href="https://ict.moscow/card/shlepa/" target="_blank">Шлепа</a> проверяет то, насколько хорошо большие языковые модели могут учитывать в своей работе русскоязычный контекст. <i>Разработчик — Vikhr Models.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/slava/" target="_blank">SLAVA</a> проверяет, учитывают ли большие языковые модели в своей работе особенности культуры и законодательства России. <i>Разработчики — РАНХиГС, Институт системного программирования РАН.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарк для работы с медицинскими данными</b>
</h2>

<ul>
    <li>С помощью <a href="https://ict.moscow/card/medbench/" target="_blank">MedBench</a> можно сравнить модели машинного обучения, работающие с медицинскими данными. <i>Разработчик — Лаборатория искусственного интеллекта «Сбера<i>»</i>.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарки для работы с эмбеддингами и эмбеддерами</b>
</h2>

<ul>
    <li><a href="https://ict.moscow/card/rumteb/" target="_blank">ruMTEB</a> проверяет текстовые эмбеддинги и эмбеддеры. <i>Разработчик — SberDevices.</i></li>
</ul>

<ul>
    <li>Для научных текстов их испытывает <a href="https://ict.moscow/card/ruscibench/" target="_blank">ruSciBench</a>. <i>Разработчик — Институт искусственного интеллекта МГУ им. М.В. Ломоносова.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/rusenteval/" target="_blank">RuSentEval</a> также тестирует эмбеддинги и эмбеддеры. <i>Разработчики — НИУ ВШЭ, SberDevices.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарк для работы с программным кодом</b>
</h2>

<ul>
    <li><a href="https://ict.moscow/card/realcode-eval/" style="background-color: rgb(255, 255, 255);" target="_blank">RealCode_eval</a> позволяет проверить, насколько хорошо большие языковые модели генерируют программный код. <i>Разработчик — SberDevices.</i></li>
</ul>

<hr />

Решения для тестирования моделей ИИ

Подборка решений: открытые бенчмарки для моделей ИИ

    <p>
    Городской 5G-демоцентр отнес к приоритетным направлениям для совместного тестирования с компаниями 5G-разработок медицинские решения, а также проекты в сфере транспорта, безопасности и образования. Среди наиболее востребованных технологий лаборатория выделяет искусственный интеллект, робототехнику, цифровых двойников, а также XR.
</p>
    <p>
    Эти направления схожи с мировыми тенденциями. Как следует из <a href="https://ict.moscow/research/obzor-mirovyh-5g-praktik-2024/" target="_blank" rel="nofollow">обзора</a> практик применения 5G в мире, который представил ICT.Moscow в августе 2024 года, за последние 2,5 года в топ востребованных сфер использования 5G входят логистика и транспорт, медицина, развлечения, медиа, спорт. А среди технологий — искусственный интеллект, XR, робототехника.
</p>
    <p>
    В 5G-лаборатории подтверждают, что внимательно следят за мировым опытом. <i>«Мы стараемся применять наиболее подходящие технологические тенденции, адаптируя их под столичные задачи. На Москву приходится большая часть всех тестов 5G, проводимых в России»</i>, — говорят там.
</p>
    <p>
    5G-демоцентр для решения городских задач был <a href="https://ict.moscow/news/v-moskve-otkryli-5g-laboratoriiu-dlia-resheniia-gorodskikh-zadach/" target="_blank" rel="nofollow">запущен</a> в октябре 2020 года. За это время 30 разработчиков завершили испытания и представили свои проекты бизнес-партнерам и общественности. <i>«Многие решения, в том числе с использованием искусственного интеллекта, после тестирования находят применение в разных сферах жизни»</i>, — отметил Евгений Новиков, руководитель московского 5G-демоцентра.
</p>
<div class="incut-block incut-block-text-small-size">
            <p>Подать заявку на тестирование в 5G-демоцентре можно, отправив описание своего решения на почту: 5G_demo-center@it.mos.ru.</p>
    </div>

В лаборатории внимательно следят за мировым опытом

5G-демоцентр Москвы назвал перспективные сферы для тестирования 5G-разработок

    <p>
    Специалисты факультета ВМК МГУ представили результаты исследования о развитии вероятностно-информированного подхода в ML для прогнозирования характеристик сетевого трафика и детектирования событий в нем. В частности, они предложили регрессионную модель глубокой гауссовой смеси, в которой сначала выполняется предварительная кластеризация на основе нейронной сети и конечных нормальных смесей. Затем эта информация используется в качестве входных данных для алгоритмов машинного обучения с учителем.
</p>
    <p>
    По словам ученых, развитие предлагаемых методов актуально для решения задач оптимизации производительности телеком-сетей и управления качеством обслуживания. Это способствует повышению эффективности, надежности и устойчивости к внешним сбоям, а также снижению затрат на эксплуатацию и обслуживание.
</p>
<hr />
    <p>
    Результаты исследования опубликованы в журнале <a href="https://www.sciencedirect.com/science/article/abs/pii/S1389128624002652" target="_blank" rel="nofollow">Computer Networks</a>
</p>
<hr />

МГУ

Ученые МГУ сообщили о повышении точности анализа трафика сетей 5G с помощью ML

«Светофор» для магазинов: использование машинного обучения для поиска ошибок и экономии ресурсов при приемке товаров

Михаил Измайлов, руководитель продукта, выступил на конференции «<a href="https://www.tadviser.ru/index.php/%D0%9A%D0%BE%D0%BD%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%86%D0%B8%D1%8F:%D0%9A%D0%BE%D0%BD%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%86%D0%B8%D1%8F_Big_Data_%D0%B8_BI_Day_2021_25_%D0%BD%D0%BE%D1%8F%D0%B1%D1%80%D1%8F" target="_blank" rel="nofollow">Big Data и BI Day 2021</a>» (23 ноября 2021 года).

В презентации рассматриваются структура внутренней логистики компании, создание алгоритма машинного обучения, эффекты от применения.

Леруа_Мерлен

Leroy Merlin

    <p>
    Михаил Измайлов, руководитель продукта, выступил на конференции «<a href="https://www.tadviser.ru/index.php/%D0%9A%D0%BE%D0%BD%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%86%D0%B8%D1%8F:%D0%9A%D0%BE%D0%BD%D1%84%D0%B5%D1%80%D0%B5%D0%BD%D1%86%D0%B8%D1%8F_Big_Data_%D0%B8_BI_Day_2021_25_%D0%BD%D0%BE%D1%8F%D0%B1%D1%80%D1%8F" target="_blank" rel="nofollow">Big Data и BI Day 2021</a>» (23 ноября 2021 года).
</p>
    <p>
    В презентации рассматриваются структура внутренней логистики компании, создание алгоритма машинного обучения, эффекты от применения.
</p>