«Т-Технологии» разработали методы LIMe и KronSAE, сокращающие объем вычислений при обучении ИИ-моделей без потери качества.

LIMe позволяет слоям трансформера обращаться к данным из предыдущих слоев модели. В блок обработки информации в методе добавлен модуль-маршрутизатор, определяющий, какие данные задействовать. Метод сокращает расход вычислительных мощностей на 15% относительно базовой модели LlaMA и рассчитан на команды разработчиков, обучающие LLM для задач с многошаговыми рассуждениями.

KronSAE — архитектура разреженных автоэнкодеров (SAE), повышающая интерпретируемость LLM. Метод формирует признаки из комбинаций более простых компонентов, что улучшает учет связей между ними. Число операций, необходимых для выделения признаков из данных внутри языковой модели, сокращается более чем на 40% относительно метода TopK SAE. Метод предназначен для специалистов, исследующих внутреннюю работу LLM.

Препринты о методах опубликованы на arXiv (LIMe и KronSAE), а репозитории доступны на GitHub (LIMe и KronSAE).

В октябре 2026 года исследователи МФТИ, «Т-Технологий» и других лабораторий разработали метод SimplexLoRA для дообучения LLM.