Холдинг VK обновил языковую модель Diona для генерации и обработки текста. При создании использовались наработки предыдущей языковой модели компании, которую тренировали на пользовательском контенте, в том числе на комментариях из открытых групп во «ВКонтакте». Также проводилось базовое обучение модели на больших объемах текстов.

Диапазон параметров составляет от 4 млрд до 30 млрд. Утверждается, что Diona требует меньше ресурсов, чем ее предшественница, что позволяет снизить нагрузку на инфраструктуру и ускорить ряд внутренних процессов. Модель будет учитывать контекст объемом до 32 тыс. токенов — в восемь раз больше, чем у предыдущей версии. Обучение проводилось с использованием внутренних вычислительных мощностей.

По словам разработчиков, Diona лучше справляется с решением инженерных задач и с задачами генерации и суммаризации текстов. Она «открывает новые возможности для внутренних инструментов VK и генеративных функций в продуктах холдинга».

VK разработала свою большую языковую модель в феврале 2024 года. Генеративные функции применялись в сервисах компании.