В MTS AI представили три модели из линейки Cotype Nano

Благодаря размеру их можно развернуть почти на любом чипе GPU или устройстве без большой потери качества по сравнению с более крупными моделями.

По словам разработчиков, Cotype Nano основана на архитектуре трансформера Qwen 2.5, содержит 1,5 млрд параметров и совместима с фреймворками vLLM, OpenVINO и Hugging Face. Модель работает локально на персональных устройствах и подходит для разработки чат-ботов и виртуальных помощников.

Другие модели линейки:
• Cotype Nano-4bit — квантизированная версия Cotype Nano, которая быстрее и в три раза меньше оригинальной модели.

• Cotype Nano CPU — модель, оптимизированная под чипы Intel с помощью фреймворка OpenVINO.

🔗 Источник: https://t.me/mtsai/922

***
📃 Статья на «Хабре» о том, как создавалась Cotype Nano.