ICT.Moscow поговорил с разными командами трендвотчеров в компаниях чтобы узнать, как устроена их кухня поиска технологических инноваций в 2024 году

ICT.Moscow

Кто и как исследует будущее цифровых технологий в компаниях

По данным исследования Smart Ranking и Nocodecircle, в 2024 году в России спрос на услуги специалистов по разработке «без кода» (No-Code) и с минимальным применением кода (Low-Code) может увеличиться на 40%. По итогам года объем данного сегмента рынка достигнет 3,5 млрд руб.

 
 Эксперты отмечают, что «в основном услугами пользуются либо небольшие компании, либо подразделения крупных корпораций, которые заинтересованы в снижении стоимости разработки до четырех раз и сокращении времени на создание цифровых продуктов».

 
 Помимо роста спроса на Low-Code/No-Code-платформы, отечественные ИТ-компании чаще начали использовать искусственный интеллект (ИИ). По данным ассоциации «Руссофт», около 20% российских разработчиков в этом году использовали в проектировке софта генеративный ИИ. Годом ранее показатель составлял 15%, в 2022 году — 7,9%.

 
 Технический директор РТК ИТ (входит в «Ростелеком») Кирилл Пихтовников отметил, что разработка с помощью Low-Code/No-Code-платформ, а также ИИ и автоматизации процессов является одной из приоритетных областей для инвестиций российских ИТ-компаний.

Коммерсант

Smart Ranking, Nocodecircle: в России в 2024 году спрос на платформы Low-Code и No-Code увеличился на 40%  

Обзор тестов для оценки ИИ-моделей от российских команд

В погоне за «бенчами»: растущая популярность сравнений моделей ИИ

Исследователи из НИУ ВШЭ <a href="https://www.hse.ru/news/science/986632602.html" target="_blank">предложили</a> новый научный подход для оценки компетентности искусственного интеллекта в области образования. На прошлой неделе широкий анонс <a href="https://habr.com/ru/news/858568/" target="_blank">получил</a> бенчмарк BABILong, впервые опубликованный AIRI и МФТИ в феврале этого года.

 
 ICT.Moscow собрал в одной подборке 18 бенчмарков, которые были представлены и выложены в общий доступ российскими командами с 2020 года. Перейдя по ссылке на карточку, можно подробнее изучить возможности решения, найти дополнительную информацию и контакты команд-разработчиков. 

<hr />
<h2>
 Бенчмарк общего профиля
</h2>

<ul>
 <li><a href="https://ict.moscow/card/mera-benchmark/" target="_blank">MERA</a> на открытых и закрытых тестах оценивает работу фундаментальных моделей. Разработчик — Альянс в сфере искусственного интеллекта.</li>
</ul>

<hr />
<h2>
 Бенчмарки для сравнения производительности&nbsp;
</h2>

<ul>
 <li>На <a href="https://ict.moscow/card/llm-arena/" target="_blank">LLM Arena</a> каждый может сравнить ответы двух моделей и выбрать лучший. На основе таких сравнений пользователей и формируется рейтинг. Разработчик — команда во главе с Романом Куцевым.</li>
</ul>

<ul>
 <li>В <a href="https://ict.moscow/card/ruarenageneral/" target="_blank">RuArenaGeneral</a> GPT-4o оценивает параллельные ответы двух моделей — испытуемой и базовой. На базе этих сравнений с помощью системы Эло строится рейтинг моделей. Разработчик — Vikhr Models.</li>
</ul>

<ul>
 <li>В <a href="https://ict.moscow/card/rulm-sbs2/" target="_blank">rulm-sbs2</a> LLM-судья оценивает по десятибалльной шкале ответы двух моделей на различные задания. Разработчик — Лаборатория анализа данных Александра Кукушкина.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/rumt-bench/" target="_blank">ruMT-Bench</a> позволяет с помощью LLM-судьи оценить выравнивание (Alignment) поведения ИИ-ассистентов. Разработчик — SberDevices.</li>
</ul>

<hr />
<h2>
 Бенчмарки для длинного контекста
</h2>

<ul>
 <li>Бенчмарк <a href="https://ict.moscow/card/babilong/" target="_blank">BABILong</a> разработан исследователями для оценки способности больших языковых моделей извлекать и эффективно обрабатывать распределенные факты в больших текстах. Разработчики — Институт AIRI, МФТИ.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/libra/" target="_blank">LIBRA</a> помогает проанализировать способности языковой модели оперировать длинным контекстом: резюмировать, вычленять основные идеи текста. Разработчики — AIRI, ecom.tech, SberTech и МФТИ.</li>
</ul>

<hr />
<h2>
 Бенчмарки для обработки и понимания естественного языка
</h2>

<ul>
 <li><a href="https://ict.moscow/card/rucola/" target="_blank">RuCoLa</a> оценивает лингвистическую компетентность больших языковых моделей. Разработчики — ABBYY, Huawei, SberDevices, Yandex Research и НИУ ВШЭ.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/ruifeval/" target="_blank">ruIFEval</a> проверяет способность модели следовать заданным на естественном языке инструкциям. Разработчик — SberDevices.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/russiansuperglue/" target="_blank">RussianSuperGLUE</a> призван стать рейтингом русскоязычных NLP-моделей. Разработчики — Huawei, SberDevices, НИУ ВШЭ.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/tape/" target="_blank">TAPE</a> испытывает модели в их способностях обрабатывать русский естественный язык. Разработчики — SberDevices, НИУ ВШЭ и Huawei.</li>
</ul>

<hr />
<h2>
 Бенчмарки для работы с русскоязычным контекстом&nbsp;
</h2>

<ul>
 <li><a href="https://ict.moscow/card/shlepa/" target="_blank">Шлепа</a> проверяет то, насколько хорошо большие языковые модели могут учитывать в своей работе русскоязычный контекст. Разработчик — Vikhr Models.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/slava/" target="_blank">SLAVA</a> проверяет, учитывают ли большие языковые модели в своей работе особенности культуры и законодательства России. Разработчики — РАНХиГС, Институт системного программирования РАН.</li>
</ul>

<hr />
<h2>
 Бенчмарк для работы с медицинскими данными
</h2>

<ul>
 <li>С помощью <a href="https://ict.moscow/card/medbench/" target="_blank">MedBench</a> можно сравнить модели машинного обучения, работающие с медицинскими данными. Разработчик — Лаборатория искусственного интеллекта «Сбера».</li>
</ul>

<hr />
<h2>
 Бенчмарки для работы с эмбеддингами и эмбеддерами
</h2>

<ul>
 <li><a href="https://ict.moscow/card/rumteb/" target="_blank">ruMTEB</a> проверяет текстовые эмбеддинги и эмбеддеры. Разработчик — SberDevices.</li>
</ul>

<ul>
 <li>Для научных текстов их испытывает <a href="https://ict.moscow/card/ruscibench/" target="_blank">ruSciBench</a>. Разработчик — Институт искусственного интеллекта МГУ им. М.В. Ломоносова.</li>
</ul>

<ul>
 <li><a href="https://ict.moscow/card/rusenteval/" target="_blank">RuSentEval</a> также тестирует эмбеддинги и эмбеддеры. Разработчики — НИУ ВШЭ, SberDevices.</li>
</ul>

<hr />
<h2>
 Бенчмарк для работы с программным кодом
</h2>

<ul>
 <li><a href="https://ict.moscow/card/realcode-eval/" style="background-color: rgb(255, 255, 255);" target="_blank">RealCode_eval</a> позволяет проверить, насколько хорошо большие языковые модели генерируют программный код. Разработчик — SberDevices.</li>
</ul>

<hr />

Решения для тестирования моделей ИИ

Подборка решений: открытые бенчмарки для моделей ИИ

Холдинг VK намерен внедрить в большинство продуктов компании, среди которых «VK Видео», ОК, «Дзен», Mail и другие, собственную систему защиты от DDoS-атак и бот-активности. Решение будет построено на основе искусственного интеллекта. Ранее эти сервисы защищались комплексом решений, включая продукты ИБ-вендоров.

 
 По словам представителя VK, ИИ-модели обучены на обезличенных и обобщенных данных о поведении пользователей каждого сервиса компании. Ожидается, что они позволят выявлять на ранних стадиях вредоносный трафик, в том числе тот, который не отличается от органического. Кроме того, система должна будет определять программы-парсеры, брутфорсеры и другую активность.

 
 Заместитель генерального директора ГК «Гарда» Рустэм Хайретдинов отметил, что в случае с VK специфика атак заключается в том, что злоумышленники «не заливают сервис трафиком», а делают много незаметных в общем трафике операций, каждая из которых выглядит как легитимная. По его мнению, «такое решение вряд ли выйдет на рынок, поскольку изначально разрабатывается для конкретной платформы, ее адаптация может стоить соизмеримо с разработкой новой».

 
 Вице-президент по стратегии и инновациям МТС Евгений Черешнев рассказал, что борьба с DDoS-атаками обычно не требует ИИ, поскольку «это больше вопрос системной логики управления потоками данных и доступных серверных мощностей». При этом для защиты от ботов без применения ИИ не обойтись, и использование таких инструментов выглядит закономерным, считает он.

 
 Бизнес-консультант по информационной безопасности Positive Technologies Алексей Лукацкий заметил, что в России пока нет ни одного примера, чтобы компания, которая не производит продукты ИБ, смогла разработать и развить свое решение.

VK планирует запустить собственную систему защиты от DDoS-атак на основе искусственного интеллекта

Машинное обучение в продакшне – это просто

Михаил Марюфич, старший инженер по машинному обучению. <a href="https://ict.moscow/event/highload-2020/" target="_blank" rel="nofollow">«HighLoad++ Весна 2021»</a> (17 мая 2021 года).

Одноклассники

Михаил Марюфич, старший инженер по машинному обучению. <a href="https://ict.moscow/event/highload-2020/" target="_blank" rel="nofollow">«HighLoad++ Весна 2021»</a> (17 мая 2021 года).

<ul>
 <li>Как использовать обученные ML-модели в продакшне.</li>
 <li>Как мы мониторим модели и почему это важно.</li>
 <li>Путь ML-модели от постановки задачи в Jira до прода.</li>
 <li>Как реализуем переобучение (если это необходимо).</li>
</ul>