ГлавнаяЛента

Сбербанк

«Сбер» представил модель GigaChat 3.5 Ultra, в основе которой лежат методы линейного внимания

6 июля, 14:12|
176

«Сбер» выпустил Instruct-модель GigaChat 3.5 Ultra для работы с кодом, обработки длинных текстов и агентных задач. Она построена на собственной гибридной архитектуре внимания, которая сочетает Multi-Head Latent Attention (MLA) и слои линейного внимания GatedDeltaNet. Как отмечают разработчики, это позволяет сохранять сильные стороны Full Attention и снизить стоимость работы с длинным контекстом.

GigaChat 3.5 Ultra обучалась на созданных людьми текстах, которые прошли многоуровневую классификацию и фильтрацию. Решение примерно на 40% компактнее предыдущей версии: 432 млрд параметров против 700 млрд у GigaChat 3.1 Ultra. Отмечается, что это снижает потребление вычислительных ресурсов и позволяет разворачивать модель на более доступном оборудовании.

Скорость генерации текста в новой версии стала до четырех раз выше. Модель превзошла результат предыдущего решения в тестах на измерение качества русскоязычного диалога и способности решать задачи по программированию, математике, выполнению сложных многошаговых заданий. Как утверждается, по ряду показателей GigaChat 3.5 Ultra приблизилась к таким моделям, как DeepSeek 3.2, будучи вдвое компактнее.

GigaChat 3.5 Ultra внедрена в GigaChat и доступна как открытое ПО на GitVerse.


«Сбер» выложил в открытый доступ MoE-модели GigaChat 3 Ultra Preview и Lightning в ноябре 2025 года. В марте 2026 года их обновили до версии 3.1.


Подробнее

Расскажите знакомым:

Главное про цифровые технологии в Москве

Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности

Что такое ICT.Moscow?

ICT.Moscow — открытая площадка о цифровых технологиях в Москве. Мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров.