ICT.Moscow поговорил с разными командами трендвотчеров в компаниях чтобы узнать, как устроена их кухня поиска технологических инноваций в 2024 году

ICT.Moscow

Кто и как исследует будущее цифровых технологий в компаниях

Обзор тестов для оценки ИИ-моделей от российских команд

В погоне за «бенчами»: растущая популярность сравнений моделей ИИ

    <p>
    Исследователи из НИУ ВШЭ <a href="https://www.hse.ru/news/science/986632602.html" target="_blank">предложили</a> новый научный подход для оценки компетентности искусственного интеллекта в области образования. На прошлой неделе широкий анонс <a href="https://habr.com/ru/news/858568/" target="_blank">получил</a> бенчмарк BABILong, впервые опубликованный AIRI и МФТИ в феврале этого года.
</p>
    <p>
    <i>ICT.Moscow собрал в одной подборке 18 бенчмарков, которые были представлены и выложены в общий доступ российскими командами с 2020 года. Перейдя по ссылке на карточку, можно подробнее изучить возможности решения, найти дополнительную информацию и контакты команд-разработчиков.  </i>
</p>
<hr />
<h2>
    <b>Бенчмарк общего профиля</b>
</h2>

<ul>
    <li><a href="https://ict.moscow/card/mera-benchmark/" target="_blank">MERA</a> на открытых и закрытых тестах оценивает работу фундаментальных моделей. <i>Разработчик — Альянс в сфере искусственного интеллекта.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарки для сравнения производительности&nbsp;</b>
</h2>

<ul>
    <li>На <a href="https://ict.moscow/card/llm-arena/" target="_blank">LLM Arena</a> каждый может сравнить ответы двух моделей и выбрать лучший. На основе таких сравнений пользователей и формируется рейтинг. <i>Разработчик — команда во главе с Романом Куцевым.</i></li>
</ul>

<ul>
    <li>В <a href="https://ict.moscow/card/ruarenageneral/" target="_blank">RuArenaGeneral</a> GPT-4o оценивает параллельные ответы двух моделей — испытуемой и базовой. На базе этих сравнений с помощью системы Эло строится рейтинг моделей. <i>Разработчик — Vikhr Models.</i></li>
</ul>

<ul>
    <li>В <a href="https://ict.moscow/card/rulm-sbs2/" target="_blank">rulm-sbs2</a> LLM-судья оценивает по десятибалльной шкале ответы двух моделей на различные задания. <i>Разработчик — Лаборатория анализа данных Александра Кукушкина.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/rumt-bench/" target="_blank">ruMT-Bench</a> позволяет с помощью LLM-судьи оценить выравнивание (Alignment) поведения ИИ-ассистентов. <i>Разработчик — SberDevices.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарки для длинного контекста</b>
</h2>

<ul>
    <li>Бенчмарк <a href="https://ict.moscow/card/babilong/" target="_blank">BABILong</a> разработан исследователями для оценки способности больших языковых моделей извлекать и эффективно обрабатывать распределенные факты в больших текстах. <i>Разработчики — Институт AIRI, МФТИ.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/libra/" target="_blank">LIBRA</a> помогает проанализировать способности языковой модели оперировать длинным контекстом: резюмировать, вычленять основные идеи текста. <i>Разработчики — AIRI, ecom.tech, SberTech и МФТИ.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарки для обработки и понимания естественного языка</b>
</h2>

<ul>
    <li><a href="https://ict.moscow/card/rucola/" target="_blank">RuCoLa</a> оценивает лингвистическую компетентность больших языковых моделей. <i>Разработчики — ABBYY, Huawei, SberDevices, Yandex Research и НИУ ВШЭ.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/ruifeval/" target="_blank">ruIFEval</a> проверяет способность модели следовать заданным на естественном языке инструкциям. <i>Разработчик — SberDevices.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/russiansuperglue/" target="_blank">RussianSuperGLUE</a> призван стать рейтингом русскоязычных NLP-моделей. <i>Разработчики — Huawei, SberDevices, НИУ ВШЭ.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/tape/" target="_blank">TAPE</a> испытывает модели в их способностях обрабатывать русский естественный язык. <i>Разработчики — SberDevices, НИУ ВШЭ и Huawei.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарки для работы с русскоязычным контекстом&nbsp;</b>
</h2>

<ul>
    <li><a href="https://ict.moscow/card/shlepa/" target="_blank">Шлепа</a> проверяет то, насколько хорошо большие языковые модели могут учитывать в своей работе русскоязычный контекст. <i>Разработчик — Vikhr Models.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/slava/" target="_blank">SLAVA</a> проверяет, учитывают ли большие языковые модели в своей работе особенности культуры и законодательства России. <i>Разработчики — РАНХиГС, Институт системного программирования РАН.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарк для работы с медицинскими данными</b>
</h2>

<ul>
    <li>С помощью <a href="https://ict.moscow/card/medbench/" target="_blank">MedBench</a> можно сравнить модели машинного обучения, работающие с медицинскими данными. <i>Разработчик — Лаборатория искусственного интеллекта «Сбера<i>»</i>.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарки для работы с эмбеддингами и эмбеддерами</b>
</h2>

<ul>
    <li><a href="https://ict.moscow/card/rumteb/" target="_blank">ruMTEB</a> проверяет текстовые эмбеддинги и эмбеддеры. <i>Разработчик — SberDevices.</i></li>
</ul>

<ul>
    <li>Для научных текстов их испытывает <a href="https://ict.moscow/card/ruscibench/" target="_blank">ruSciBench</a>. <i>Разработчик — Институт искусственного интеллекта МГУ им. М.В. Ломоносова.</i></li>
</ul>

<ul>
    <li><a href="https://ict.moscow/card/rusenteval/" target="_blank">RuSentEval</a> также тестирует эмбеддинги и эмбеддеры. <i>Разработчики — НИУ ВШЭ, SberDevices.</i></li>
</ul>

<hr />
<h2>
    <b>Бенчмарк для работы с программным кодом</b>
</h2>

<ul>
    <li><a href="https://ict.moscow/card/realcode-eval/" style="background-color: rgb(255, 255, 255);" target="_blank">RealCode_eval</a> позволяет проверить, насколько хорошо большие языковые модели генерируют программный код. <i>Разработчик — SberDevices.</i></li>
</ul>

<hr />

Решения для тестирования моделей ИИ

Подборка решений: открытые бенчмарки для моделей ИИ

    <p>
    ICT.Moscow <a href="https://ict.moscow/research/obzor-mirovyh-5g-praktik-2024/" target="_blank" rel="nofollow">подготовил</a> регулярный обзор новых практик применения 5G в России и мире. В него вошла информация о 176 кейсах из 42 стран, в том числе о 10 российских проектах (включая один столичный мультикейс, рассмотренный отдельно). Обзор ориентируется на данные из открытых источников с ноября 2021 года по май 2024 года.
</p>
    <p>
    Под кейсом авторы документа понимают любой публичный пример применения технологии 5G, даже на уровне разовой демонстрации ее возможностей в реальных бизнес-процессах.
</p>
    <p>
    Обзор состоит из двух частей: первая посвящена анализу зарубежного (шесть макрорегионов) опыта, вторая — российских практик. В каждом блоке рассматриваются сферы применения 5G, взаимосвязь с другими технологиями, а также перечислены формирующиеся тенденции.
</p>
    <p>
    За рубежом за указанный период наиболее приоритетной областью внедрения 5G стала сфера транспорта и логистики (46 кейсов), где востребованными сценариями стали, в частности, применение 5G в складской логистике, для удаленного осмотра различных объектов инфраструктуры (транспортной, телекоммуникационной, городской), для передачи данных на железнодорожном транспорте. Второе место по распространенности 5G-практик (29 кейсов) заняла медицина с дистанционными консультациями, удаленным мониторингом и диагностикой пациентов, подключением машин скорой помощи.
</p>
<div>
    <img alt="" data-openpopup="0"
         src="https://ict.moscow/static/1200x/1fe84517-29fc-5a5c-837c-8dc110401023.png">
</div>

    <p>
    Сфера промышленности и энергетики, где ранее <a href="https://ict.moscow/news/obzor-novyh-mirovyh-5g-praktik-2021/" target="_blank">насчитывалось</a> наибольшее количество 5G-практик, в этом обзоре сместилась на четвертое место. Однако она сохранила лидерство среди сфер, использующих Private-сети. Из 33 практик, в которых упоминалось применение частных сетей, 14 относятся к сфере промышленности и энергетики. Однако в целом распространение такого рода сетей стало встречаться реже. Это может быть связано с тем, что в публикациях отдельно Private уже не выделяют, но при этом они все же задействуются. Еще реже встречаются упоминания развертывания сетей 5G Standalone — в 15 практиках, треть из которых относится к сфере развлечений, медиа и спорта. Зарождающейся тенденцией, прежде всего в Азиатском регионе, становится появление кейсов с использованием 5G-Advanced или 5.5G.
</p>
    <p>
    В технологическом плане наиболее ассоциированной с 5G технологией остался искусственный интеллект, доля таких кейсов составляет 22% (36). При этом, как правило, технология упоминается во взаимосвязи с другими технологиями или технонаправлениями в зависимости от сферы и сценария применения 5G. Например, в сфере логистики и транспорта заметно использование ИИ вместе с облачными технологиями (включая периферийные вычисления), видеоаналитикой и V2X, в промышленности и энергетике — пересечение ИИ с робототехникой, а сфера безопасности отличается связью ИИ с БПЛА (в том числе вместе с периферийными вычислениями) и видеоаналитикой в кейсах по обеспечению правопорядка, предотвращению чрезвычайных ситуаций.
</p>
    <p>
    За последние годы получило также распространение применение 5G в неназемных сетях (NTN) для обеспечения связи экстренных служб, мониторинга и передачи видеопотока в реальном времени через спутниковую связь, БПЛА, самолеты и другие летательные аппараты.
</p>
    <p>
    В России активная политика импортозамещения во многом повлияла на динамику и характер тестирования 5G. Начиная с 2022 года количество пилотных проектов 5G снижалось, и к 2024 году российские компании практически свернули свою информационную активность по теме тестирования пятого поколения связи.
</p>
    <p>
    Из 9 найденных в открытых источниках российских примеров почти половина 5G-практик пришлась на сферу промышленности и энергетики. Среди тестируемых сценариев были следующие: применение очков с дополненной реальностью для связи между сотрудниками, управление роботами, взаимодействие с цифровыми двойниками объектов и ГИС, контроль за состоянием инфраструктурных объектов. В большинстве российских кейсов также упоминается Private 5G.
</p>
    <p>
    Как за рубежом, в России за последние годы нововведением стали тесты NTN (в частности, с применением геостационарного спутника связи) и подключение рельсового транспорта.
</p>
    <p>
    Местом реализации большинства российских кейсов с 5G осталась Москва. В сравнении с данными обзора 2021 года география российских практик 5G стала менее разнообразной, однако появились и новые точки на карте: Липецк и Сочи.
</p>
<hr />
    <p>
    <a href="https://ict.moscow/research/obzor-mirovyh-5g-praktik-2024/" target="_blank" rel="nofollow"><b>Обзор мировых 5G-практик за 2021–2024 годы</b></a>
</p>
<hr />
    <p>
    Исследование является продолжением регулярного цикла обзоров, посвященных связи нового поколения. В этой серии уже вышло пять работ, среди которых  обзоры глобальных практик применения технологии 5G от <a href="https://ict.moscow/research/novye-praktiki-primeneniia-tekhnologii-5g-v-mire/" style="" target="_blank">2020</a> и<a href="https://ict.moscow/research/novye-praktiki-primeneniia-tekhnologii-5g-v-mire-2021/" style="" target="_blank"> 2021</a> годов, <a href="https://ict.moscow/research/5g-labs/" style="" target="_blank">анализ</a> мирового опыта в пилотировании решений на базе различных 5G-площадок лабораторного типа, обзоры о <a href="https://ict.moscow/research/6g-labs/" style="" target="_blank">зарубежных площадках</a>, где ведутся исследования 6G, и о <a href="https://ict.moscow/research/6g-global/" style="" target="_blank">развитии будущего стандарта</a> связи в мире.
</p>

В него вошла информация о 176 кейсах из 42 стран, в том числе о 10 российских проектах

ICT.Moscow представил новый обзор практик применения 5G

Материалы ВТБ, «Ростелекома», ИРИ, НИУ ВШЭ, ДИТ Москвы, Минстроя РФ, TelecomDaily, CNews, «Видео+Конференции», HeadHunter и других. 

Наблюдения за динамикой ИТ-показателей в регионах, статистика вакансий, оценка популярности ИИ и другая аналитика о российском ИКТ

Обучающая платформа для улучшения Soft Skills с использованием VR для сотрудников

Cerevrum

<ul>
	<li>Иммерсивное обучение – новый способ приобретения практических навыков.</li>
	<li>Ведущие предприятия подтверждают положительное влияние VR-обучения на бизнес.</li>
	<li>Виртуальная реальность кардинально меняет обучение Soft Skills</li>
	<li>Преимущества VR-обучения.</li>
	<li>Cerevrum создает VR-симуляции для различных целей.</li>
	<li>Пять простых шагов для внедрения VR-обучения.</li>
</ul>

VR-обучение для улучшения бизнес-результатов.