T-Pro
Большая языковая модель
Выложенная в общий доступ модель T-Pro выпущена в размере 32,8 млрд параметров. Построенную на базе модели семейства Qwen-2.5 с помощью технологии продолженного предобучения (Continual Pretraining), ее специально адаптировали для работы на русском языке и выполнения определенных задач. Обучение происходило в формате BF16 на четырех графических процессорах NVIDIA H100. Разработчики дообучали модель на русскоязычных данных из Common Crawl, текстах книг, коде и проприетарных датасетах. На всех этапах обучения базовая длина контекста составляла 8 тыс. токенов.
Модель можно тонко настроить под выполнение требуемых бизнес-задач и/или использовать в режиме промптинга — применения для конкретных задач с помощью подробных инструкций. Разработчики предупреждают, что T-Pro не предназначена для использования в качестве готового голосового ИИ-ассистента. Также они рекомендуют применять метод генерации с дополненной выборкой (RAG) и тонкую настройку при создании продуктов на основе модели.
T-Pro была представлена группой компаний «Т-Технологии» в декабре 2024 года.
