Ученые Института искусственного интеллекта AIRI представили фреймворк KernelEvo для генерации и оптимизации GPU-ядер (Kernels) — специализированных программ, которые используются при работе ИИ-систем. С их помощью проводятся ключевые операции, в том числе умножение матриц, нормализация и агрегация.

Как объясняют исследователи, универсальные библиотеки не всегда эффективны, поэтому компании пишут собственные CUDA- и Triton-ядра. Оптимизированное ядро может ускорить операцию на десятки процентов, что может сэкономить тысячи GPU-часов и миллионы рублей в год. Разработка ядер может длиться дни и недели.

KernelEvo заменяет ручной перебор гипотез на автоматический цикл поиска. Система генерирует варианты CUDA- или Triton-реализации, запускает тесты и профилирование, исправляет ошибки и повторяет цикл.

Типовой запуск с помощью фреймворка может включать генерацию до 1 млн токенов кода или комментариев. Ученые отмечают, что подход экономически оправдан при регулярном использовании и масштабировании на множество задач.

KernelEvo опубликован на GitHub и на GitVerse.