Команда специалистов из «Т-Технологий», AIRI, НИУ ВШЭ и Университета Иннополис и «Сбера» разработала фреймворк ATGen, предназначенный для оптимизации процесса обучения больших языковых моделей, применяемых в задачах генерации текста.

Ключевое преимущество инструмента состоит в существенном снижении затрат ресурсов на подготовку качественных данных, необходимых для тренировки генеративных ИИ-моделей. Традиционно создание специализированных моделей требует значительных объемов предварительно обработанных и маркированных наборов данных, однако ATGen реализует принцип активного обучения, позволяя самой модели самостоятельно определять необходимые дополнительные примеры, максимизируя эффективность дальнейшего повышения ее производительности.

По словам разработчиков, использование активного подхода сокращает потребность в объеме вручную размечаемых данных в два-четыре раза, сохраняя либо улучшая итоговое качество генерируемых результатов.

Фреймворк включает методики активного обучения, интерфейс для ручной разметки данных, инструментарии оценки качества модели с использованием стандартных метрик для генеративных задач, механизмы взаимодействия с LLM «учителями» и средства для подготовки и эксплуатации моделей различного назначения.

Отмечается, что инструмент подходит командам разработчиков любого масштаба для создания генеративных языковых моделей в различных отраслях.