ICT.Moscow поговорил с разными командами трендвотчеров в компаниях чтобы узнать, как устроена их кухня поиска технологических инноваций в 2024 году

ICT.Moscow

Кто и как исследует будущее цифровых технологий в компаниях

Обзор тестов для оценки ИИ-моделей от российских команд

В погоне за «бенчами»: растущая популярность сравнений моделей ИИ

Исследователи из НИУ ВШЭ <a href="https://www.hse.ru/news/science/986632602.html" target="_blank">предложили</a> новый научный подход для оценки компетентности искусственного интеллекта в области образования. На прошлой неделе широкий анонс <a href="https://habr.com/ru/news/858568/" target="_blank">получил</a> бенчмарк BABILong, впервые опубликованный AIRI и МФТИ в феврале этого года.

 
 ICT.Moscow собрал в одной подборке 18 бенчмарков, которые были представлены и выложены в общий доступ российскими командами с 2020 года. Перейдя по ссылке на карточку, можно подробнее изучить возможности решения, найти дополнительную информацию и контакты команд-разработчиков. 

<hr />
<h2>
 Бенчмарк общего профиля
</h2>

<ul>
 <li><a href="https://ict.moscow/card/mera-benchmark/" target="_blank">MERA</a> на открытых и закрытых тестах оценивает работу фундаментальных моделей. Разработчик — Альянс в сфере искусственного интеллекта.</li>
</ul>

<hr />
<h2>
 Бенчмарки для сравнения производительности&nbsp;
</h2>

<ul>
 <li>На <a href="https://ict.moscow/card/llm-arena/" target="_blank">LLM Arena</a> каждый может сравнить ответы двух моделей и выбрать лучший. На основе таких сравнений пользователей и формируется рейтинг. Разработчик — команда во главе с Романом Куцевым.</li>
</ul>

<ul>
 <li>В <a href="https://ict.moscow/card/ruarenageneral/" target="_blank">RuArenaGeneral</a> GPT-4o оценивает параллельные ответы двух моделей — испытуемой и базовой. На базе этих сравнений с помощью системы Эло строится рейтинг моделей. Разработчик — Vikhr Models.</li>
</ul>

<ul>
 <li>В <a href="https://ict.moscow/card/rulm-sbs2/" target="_blank">rulm-sbs2</a> LLM-судья оценивает по десятибалльной шкале ответы двух моделей на различные задания. Разработчик — Лаборатория анализа данных Александра Кукушкина.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/rumt-bench/" target="_blank">ruMT-Bench</a> позволяет с помощью LLM-судьи оценить выравнивание (Alignment) поведения ИИ-ассистентов. Разработчик — SberDevices.</li>
</ul>

<hr />
<h2>
 Бенчмарки для длинного контекста
</h2>

<ul>
 <li>Бенчмарк <a href="https://ict.moscow/card/babilong/" target="_blank">BABILong</a> разработан исследователями для оценки способности больших языковых моделей извлекать и эффективно обрабатывать распределенные факты в больших текстах. Разработчики — Институт AIRI, МФТИ.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/libra/" target="_blank">LIBRA</a> помогает проанализировать способности языковой модели оперировать длинным контекстом: резюмировать, вычленять основные идеи текста. Разработчики — AIRI, ecom.tech, SberTech и МФТИ.</li>
</ul>

<hr />
<h2>
 Бенчмарки для обработки и понимания естественного языка
</h2>

<ul>
 <li><a href="https://ict.moscow/card/rucola/" target="_blank">RuCoLa</a> оценивает лингвистическую компетентность больших языковых моделей. Разработчики — ABBYY, Huawei, SberDevices, Yandex Research и НИУ ВШЭ.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/ruifeval/" target="_blank">ruIFEval</a> проверяет способность модели следовать заданным на естественном языке инструкциям. Разработчик — SberDevices.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/russiansuperglue/" target="_blank">RussianSuperGLUE</a> призван стать рейтингом русскоязычных NLP-моделей. Разработчики — Huawei, SberDevices, НИУ ВШЭ.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/tape/" target="_blank">TAPE</a> испытывает модели в их способностях обрабатывать русский естественный язык. Разработчики — SberDevices, НИУ ВШЭ и Huawei.</li>
</ul>

<hr />
<h2>
 Бенчмарки для работы с русскоязычным контекстом&nbsp;
</h2>

<ul>
 <li><a href="https://ict.moscow/card/shlepa/" target="_blank">Шлепа</a> проверяет то, насколько хорошо большие языковые модели могут учитывать в своей работе русскоязычный контекст. Разработчик — Vikhr Models.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/slava/" target="_blank">SLAVA</a> проверяет, учитывают ли большие языковые модели в своей работе особенности культуры и законодательства России. Разработчики — РАНХиГС, Институт системного программирования РАН.</li>
</ul>

<hr />
<h2>
 Бенчмарк для работы с медицинскими данными
</h2>

<ul>
 <li>С помощью <a href="https://ict.moscow/card/medbench/" target="_blank">MedBench</a> можно сравнить модели машинного обучения, работающие с медицинскими данными. Разработчик — Лаборатория искусственного интеллекта «Сбера».</li>
</ul>

<hr />
<h2>
 Бенчмарки для работы с эмбеддингами и эмбеддерами
</h2>

<ul>
 <li><a href="https://ict.moscow/card/rumteb/" target="_blank">ruMTEB</a> проверяет текстовые эмбеддинги и эмбеддеры. Разработчик — SberDevices.</li>
</ul>

<ul>
 <li>Для научных текстов их испытывает <a href="https://ict.moscow/card/ruscibench/" target="_blank">ruSciBench</a>. Разработчик — Институт искусственного интеллекта МГУ им. М.В. Ломоносова.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/rusenteval/" target="_blank">RuSentEval</a> также тестирует эмбеддинги и эмбеддеры. Разработчики — НИУ ВШЭ, SberDevices.</li>
</ul>

<hr />
<h2>
 Бенчмарк для работы с программным кодом
</h2>

<ul>
 <li><a href="https://ict.moscow/card/realcode-eval/" style="background-color: rgb(255, 255, 255);" target="_blank">RealCode_eval</a> позволяет проверить, насколько хорошо большие языковые модели генерируют программный код. Разработчик — SberDevices.</li>
</ul>

<hr />

Решения для тестирования моделей ИИ

Подборка решений: открытые бенчмарки для моделей ИИ

Специалисты факультета ВМК МГУ представили результаты исследования о развитии вероятностно-информированного подхода в ML для прогнозирования характеристик сетевого трафика и детектирования событий в нем. В частности, они предложили регрессионную модель глубокой гауссовой смеси, в которой сначала выполняется предварительная кластеризация на основе нейронной сети и конечных нормальных смесей. Затем эта информация используется в качестве входных данных для алгоритмов машинного обучения с учителем.

 
 По словам ученых, развитие предлагаемых методов актуально для решения задач оптимизации производительности телеком-сетей и управления качеством обслуживания. Это способствует повышению эффективности, надежности и устойчивости к внешним сбоям, а также снижению затрат на эксплуатацию и обслуживание.

<hr />
 
 Результаты исследования опубликованы в журнале <a href="https://www.sciencedirect.com/science/article/abs/pii/S1389128624002652" target="_blank" rel="nofollow">Computer Networks</a>

<hr />

МГУ

Ученые МГУ сообщили о повышении точности анализа трафика сетей 5G с помощью ML

5 июня издание «Открытые системы» проведет конференцию <a href="https://ict.moscow/event/giperavtomatizatsiia-2024-ekosistema-povysheniia-operatsionnoi-effektivnosti" target="_blank">«Гиперавтоматизация 2024: экосистема повышения операционной эффективности»</a>. Мероприятие посвящено обсуждению интегрированного применения бизнес-аналитики, BPM, искусственного интеллекта, RPA, Low-Сode/No-Сode и виртуальных помощников на предприятиях.

 
 В рамках конференции представители Tele2, «ИЦ «КАМАЗ», X5 Group, PIX Robotics, «Нейтроникс» и других компаний поговорят о повышении операционной эффективности, об управлении процессной архитектурой, интеллектуальной трансформации и оптимизации бизнес-процессов, конвейере гиперавтоматизации. Также спикеры поделятся опытом моделирования и документирования бизнес-процессов, а также оркестрации, сертификации, обеспечения отказоустойчивости и информационной безопасности инструментов гиперавтоматизации.

 <div>
 <a class="image_link" target="_blank" href="https://www.osp.ru/lp/hyperautomation2024">
 <img alt="" data-openpopup="0"
 src="https://ict.moscow/static/1200x/1612ceee-bcf3-53a1-8156-1b08e4a73c75.png">
 </a>
 </div>

 
 Кроме того, на этой неделе, 7 июня, в России отмечается <a href="https://ict.moscow/event/den-kraudfandinga-2024/" target="_blank">День краудфандинга</a>. В этот день, 12 лет назад, официально начал работу один из первых российских краудфандинговых сервисов — сайт Planeta.ru.

<hr />
 
 Эти и другие столичные события и онлайн-мероприятия — в регулярной подборке ICT.Moscow.

<h3>
 Вт | 4 июня&nbsp;
</h3>

<div class="incut-block incut-block-text-small-size">
 BIM-форум 2024
 09:00 | Офлайн (ул.Краснопролетарская, д.36) и онлайн | Платно
 Форум компании «Кап Ивент Про». Среди ключевых тем форума: изменения в части технологий информационного моделирования в нормативно-технической документации, тренды и вызовы рынка, импортозамещение. Участники форума обсудят инфраструктуру для BIM (серверные и облачные мощности, рабочие станции и дроны), выбор отечественного решения для проектирования, ключевые продукты BIM в планировании, строительстве и стройконтроле.
 <a href="https://ict.moscow/event/bim-forum-2024/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://bimforum.pro/" target="_blank">На сайт организатора →</a>
 </div>
<div class="incut-block incut-block-text-small-size">
 Уход иностранных вендоров &amp; снятие моратория на проверки Роскомнадзора
 09:30 | Офлайн (ул. 1-я Тверская-Ямская, д.1) | Бесплатно
 Бизнес-завтрак компании Savina Legal. Спикеры рассмотрят последнюю судебную практику и расскажут, стоит ли обращаться с исками к иностранным вендорам программного обеспечения (ПО), у которых нет активов в России; несут ли дистрибьюторы ответственность за уход иностранных вендоров; как конечным пользователям продукта компенсировать причиненные им убытки. Помимо этого, на мероприятии поговорят о том, что нужно знать о внеплановых проверках Роскомнадзора и как подготовиться к ним.
 <a href="https://ict.moscow/event/ukhod-inostrannykh-vendorov-sniatie-moratoriia-na-proverki-roskomnadzora/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://savlegal.ru/meropriyatiya/delovoj-zavtrak-savina-legal-uhod-inostrannyh-vendorov-snyatie-moratoriya-na-proverki-roskomnadzora/" target="_blank">На сайт организатора →</a>
 </div>
<div class="incut-block incut-block-text-small-size">
 infra.conf'24
 10:00 | Офлайн (3-я ул. Ямского Поля, д.2) и онлайн | Бесплатно
 Конференция «Яндекса» про создание и эксплуатацию систем и приложений, платформенную разработку, базы данных и облачные технологии, тестирование и безопасность, ML-инфраструктуру и решения Open Source. Доклады участников мероприятия будут посвящены причинам появления необходимости в стандартизации, проблемам монолитной инфраструктуры, поставкам ПО, взаимосвязям внутренних компонентов масштабной инфраструктуры. Также на конференции расскажут о специфике тестов и подборе конфигурации вычислительной инфраструктуры под профиль ML-нагрузки.
 <a href="https://ict.moscow/event/infra-conf24/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://infraevents.yandex.ru/event/infraconf2024" target="_blank">На сайт организатора →</a>
 </div>
 
 

<h3>
 Ср | 5 июня
</h3>

<div class="incut-block incut-block-text-small-size">
 Гиперавтоматизация 2024: экосистема повышения операционной эффективности
 Весь день | Офлайн (Новоданиловская наб., д.6, стр.2) и онлайн | Бесплатно
 Конференция издания «Открытые системы». Мероприятие объединит директоров по развитию бизнеса и цифровой трансформации, бизнес-аналитиков, консультантов, специалистов по работе с данными, представителей органов власти и управления, профильных ассоциаций и союзов.
 <a href="https://ict.moscow/event/giperavtomatizatsiia-2024-ekosistema-povysheniia-operatsionnoi-effektivnosti/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://www.osp.ru/lp/hyperautomation2024" target="_blank">На сайт организатора →</a>
 </div>
<div class="incut-block incut-block-text-small-size">
 БеКон 2024
 09:00 | Офлайн (ул. Ленинская Слобода, д.26, стр.11) | Платно
 Конференция компании Luntry по безопасности контейнеров и контейнерных сред. В ходе выступлений спикеры мероприятия расскажут о киберзащите оркестрации контейнеров, о стандартных и нестандартных методах управления секретами в контейнерах, поделятся опытом внедрения авторизационной политики в нескольких кластерах.
 <a href="https://ict.moscow/event/bekon-2024/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://bekon.luntry.ru/" target="_blank">На сайт организатора →</a>
 </div>
<div class="incut-block incut-block-text-small-size">
 День безопасной разработки ПО
 09:30 | Офлайн (ул.Отрадная, д.2Б, стр.1) и онлайн 
 Конференция, организованная АРПП «Отечественный софт». На мероприятии поговорят о национальных стандартах безопасной разработки ПО, показателях и критериях безопасности, планах по развитию инструментов разработки, практике внедрения процессов создания безопасного софта.
 <a href="https://ict.moscow/event/den-bezopasnoi-razrabotki-po/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://arppsoft.ru/ie/16127/" target="_blank">На сайт организатора →</a>
 </div>
<div class="incut-block incut-block-text-small-size">
 Engineering Architecture Meetup
 19:00 | Офлайн (ул. Грузинский Вал, д.7) | Бесплатно
 Митап «Тинькофф», на котором рассмотрят монолит и микросервисы. Спикеры установят границы сервисов и выяснят, как определить их оптимальный размер. Поговорят о том, как декомпозировать бизнес-домен на сервисы и как реальный мир влияет на этот процесс. 
 <a href="https://ict.moscow/event/engineering-architecture-meetup/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://meetup.tinkoff.ru/event/engineering-aarchitecture-meetup/" target="_blank">На сайт организатора →</a>
 </div>
<div class="incut-block incut-block-text-small-size">
 Лидеры цифровой трансформации. Окончание приема заявок
 23:59 | Онлайн | Бесплатно
 Хакатон, организатором которого выступает Департамент предпринимательства и инновационного развития Москвы. Участникам хакатона предстоит решить на выбор одну из 25 задач от города и компаний. Например, в рамках заданий предстоит создать сервис анализа патентной активности компаний Москвы, решение для автоматического моделирования движения объектов на цифровом двойнике города, разработать умного помощника по комплексному подбору инвестиционных площадок. Победители получат приз в размере 1 млн руб. и возможность внедрить свои разработки. 
 <a href="https://ict.moscow/event/lidery-tsifrovoi-transformatsii-okonchanie-priema-zaiavok/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://i.moscow/lct" target="_blank">На сайт организатора →</a>
 </div>
 
 

<h3>
 Чт | 6 июня
</h3>

<div class="incut-block incut-block-text-small-size">
 Цифровизация финансового рынка в России: тренды и перспективы развития
 
 Весь день | Офлайн (адрес предоставляется участникам) | Платно
 Конференция CFO Russia. Среди ключевых тем программы: разработка блокчейн-платформ для поддержки выпуска и обращения цифровых финансовых активов (ЦФА), налоговое регулирование операций и перспективы внедрения цифрового рубля, юридические особенности поправок в законы о ЦФА, защита от мошенничества и кибератак, процесс внедрения национальной цифровой валюты.
 <a href="https://ict.moscow/event/tsifrovizatsiia-finansovogo-rynka-v-rossii-trendy-i-perspektivy-razvitiia-1/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://www.cfo-russia.ru/meropriyatiya/financial/" target="_blank">На сайт организатора →</a>
 </div>
<div class="incut-block incut-block-text-small-size">
 Firebird Conf 2024
 09:00 | Офлайн (ул.Самарская, д.1) | Платно
 Конференция «Ред Софт», которая соберет на одной площадке разработчиков СУБД и прикладного программного обеспечения, администраторов и других специалистов, связанных с созданием и поддержкой баз данных. На мероприятии поговорят о последних новостях и планах по разработке системы Firebird, об особенностях миграции с MS SQL Server, производительности для очень больших баз данных, опыте разработки медицинской информационной системы.
 <a href="https://ict.moscow/event/firebird-conf-2024/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://fbconf.ru/" target="_blank">На сайт организатора →</a>
 </div>
<div class="incut-block incut-block-text-small-size">
 Aha!`24
 09:30 | Офлайн (Раменский бул., д.1, кластер «Ломоносов») и онлайн | Платно
 Конференция компании «Матемаркетинг» по аналитике и управлению разработкой цифровых продуктов. Среди ключевых тем мероприятия: проверка продуктовых гипотез, теория и практика проведения A/B-экспериментов, интеграция LLM и ML-технологий и искусственного интеллекта в цифровой сервис, оцифровка пользовательского опыта, управление доставкой, продуктовая стратегия на разных стадиях развития продукта, управление командами аналитиков и другие темы.
 <a href="https://ict.moscow/event/aha-24/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://matemarketing.ru/aha" target="_blank">На сайт организатора →</a>
 </div>
 
 

<h3>
 Сб | 8 июня
</h3>

<div class="incut-block incut-block-text-small-size">
 Я люблю Фронтенд 2024
 
 10:00 | Офлайн (адрес предоставляется участникам) и онлайн
 Конференция «Яндекса», на которой разберут на примерах, как внедрять отдельные элементы управления в интерфейсе, поймут, как соблюсти баланс, реализовав инструмент на замену Create React App, поделятся опытом использования Feature-Sliced Design, разберут веб-фреймворк для создания серверных приложений.
 <a href="https://ict.moscow/event/ia-liubliu-frontend-2024-1/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://events.yandex.ru/events/ya-love-frontend-2024/index" target="_blank">На сайт организатора →</a>
 </div>
 
 

<h3>
 Вс | 9 июня
</h3>

<div class="incut-block incut-block-text-small-size">
 HR Tech UX/UI Meetup
 12:00 | Офлайн (ул. Льва Толстого, д.16) 
 Митап «Яндекса» о тенденциях в дизайне HR-технологий. В программе: тренды UX/UI в HR-Tech, влияние продуктового дизайна на удовлетворенность и мотивацию, а также примеры реализации дизайн-проектов.
 <a href="https://ict.moscow/event/hr-tech-ux-ui-meetup/" target="_blank">Подробнее на ICT.Moscow →</a>
 <a href="https://events.yandex.ru/events/hr-tech-ux-ui-meetup" target="_blank">На сайт организатора →</a>
 </div>
<hr />
 
 Следить за предстоящими отраслевыми мероприятиями можно <a href="https://ict.moscow/events/" target="_blank">в календаре ICT.Moscow →</a>

Конференция «Гиперавтоматизация 2024», День краудфандинга и другие деловые ИТ-мероприятия столицы

Большие данные в онлайн-маркетинге

Алексей Бирюков, генеральный директор, выступил на конференции <a href="https://www.facebook.com/TechExplorer-102412938189522/" target="_blank" rel="nofollow">Big Data Open Day</a> (26 августа 2021 года).

В презентации рассматривается платформа сбора и управления клиентскими данными, формирующая цифровые профили пользователей и позволяющая с помощью машинного обучения эффективно управлять рекламными кампаниями.

Andata

Алексей Бирюков, генеральный директор, выступил на конференции <a href="https://www.facebook.com/TechExplorer-102412938189522/" target="_blank" rel="nofollow">Big Data Open Day</a> (26 августа 2021 года).

 
 В презентации рассматривается платформа сбора и управления клиентскими данными, формирующая цифровые профили пользователей и позволяющая с помощью машинного обучения эффективно управлять рекламными кампаниями.