«Яндекс» выложил в открытый доступ веса большой языковой модели Alice AI Foundation. Она обучена с нуля без использования иностранных составляющих. В нее заложены способности к рассуждению и работе в агентных сценариях.

Alice AI Foundation обучена на 18 трлн токенов и работает на архитектуре MoE (Mixture of Experts), включающей 80 млрд параметров, из которых одномоментно активны 3 млрд. Новая модель — это экспериментальная версия для тестирования архитектурных решений будущей единой рассуждающей модели (ЕРМ) «Яндекса» и агентных возможностей «Алисы AI».

Для оценки знаний модели «Яндекс» разработал бенчмарки WikiWebFacts и HardMultiQA. Первый состоит из пар «короткий вопрос — короткий ответ» и проверяет общие знания на основе онлайн-энциклопедий и частотных поисковых запросов. HardMultiQA построен на основе анонимизированного потока запросов к «Алисе AI» и охватывает более редкие области знаний.

Новые бенчмарки создавались для оценки русскоязычных знаний модели. Оба — выложены выложила в открытый доступ вместе с моделью. При обучении модели разработчики улучшили работу оптимизатора обучения, настроив параллельную с вычислениями пересылку данных между видеокартами.

Кроме того, «Яндекс» оптимизировал подготовку обучающих данных. Перед оценкой документы проходили через каскад классификаторов, где на каждом этапе более сложная и вычислительно затратная модель работала с меньшим количеством документов.

Alice AI Foundation на платформе Hugging Face.

В сентябре «Яндекс» выложил в открытый доступ базовую языковую модель Alice AI Search Pretrain.