«Яндекс» сообщил о снижении операционных затрат на 4,8 млрд руб. ежегодно благодаря повышению эффективности процесса обучения нейросетей.

Основным техническим достижением стало внедрение собственной разработки — библиотеки YCCL (Yet Another Collective Communication Library). Она позволила вдвое ускорить обмен данными между графическими процессорами при обучении нейросетей, сократить объем передаваемой информации и перенести управление с графических на центральные процессоры.

Библиотека аналогичного уровня существует у компаний Meta (признана экстремистской и запрещена в России), AMD и некоторых крупных китайских технологических корпораций.

Помимо использования YCCL, «Яндекс» внедрил новый вычислительный формат FP8, который позволяет быстрее обучать нейросети и сокращать затраты. Это нововведение ускоряет процесс обучения нейросетей на 30%, одновременно уменьшая объем необходимых вычислений и экономя ресурсы.

Также компания увеличила батч (объем передаваемых данных) до 16–32 млн токенов, что позволило обучать модели без замедления и при минимальном простое ресурсов графических процессоров. Дополнительно были уменьшены проблемы с оборудованием, снижены затраты на повторные запуски моделей и усовершенствованы архитектурные решения для обучения ИИ.