В Yandex Research разработали проект для запуска Llama 3.1 на пользовательских устройствах
Исследователь Yandex Research Владимир Малиновский создал сервис AQLM.rs, который позволяет запустить большую языковую модель Llama 3.1 (создана Meta, которая признана экстремистской организацией и запрещена в России) с 8 млрд параметров на компьютере или смартфоне.
Протестировать сервис можно на сайте проекта. При запуске на устройство пользователя загружается модель, размер которой уменьшен в восемь раз, до 2,5 Гб.
Сервис использует методы сжатия языковых моделей, которые ученые Yandex Research представили в июле вместе с исследователями из Института науки и технологий Австрии (ISTA) и Научно-технологического университета имени короля Абдаллы в Саудовской Аравии (KAUST).
по теме:
Ученые ИТМО представили цифрового ассистента ChemCoScientist
Университет ИТМО
Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности
ICT.Moscow — открытая площадка о цифровых технологиях в Москве. Мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров.
Если не указано иное, материалы доступны по лицензии Creative Commons BY 4.0