По данным Nodul, открытые большие языковые модели (LLM) в среднем обходятся в 40 раз дешевле закрытых и коммерческих. При этом они незначительно уступают последним в характеристиках.

Аналитики пояснили, что стоимость использования моделей с открытой лицензией рассчитывается исходя из аренды серверов и диапазона скорости генерации текста (токенов в секунду — скорость обработки информации, где токен — это часть слова или знак препинания).

В Just AI считают, что для объективного сравнения стоимости использования LLM необходимо брать во внимание Total Cost of Ownership (TCO — полная стоимость владения). Для запуска мощного решения Open Source требуются дефицитные и дорогие видеокарты или аренда облачных GPU. Также придется выделить средства на ML-инженеров.

Кроме этого, эксперты отмечают, что в целом выбор между проприетарной и открытой моделью является стратегическим, поэтому, кроме стоимости использования, учитывает требования регулятора, перечень решаемых задач, контроль над данными, необходимость доработки под специфику бизнеса и последующего масштабирования.

Руководитель платформы Yandex AI Studio (Yandex B2B Tech) Артур Самигуллин рассказал, что в случае выбора моделей Open Source их выгоднее использовать в облачной инфраструктуре. «В противном случае компании придется купить или арендовать вычислительные мощности, обеспечить быструю и стабильную работу модели и ее безопасность. Фактически все это уже входит в стоимость моделей в облаке по API», — рассказал Самигуллин.

В свою очередь, в MWS AI пояснили, что крупный бизнес часто выбирает открытые модели не только из-за стоимости, а потому, что их можно «дообучить» на собственных данных под специализированные задачи, когда точности универсальных проприетарных моделей не хватает.

Малому бизнесу больше подходят закрытые модели, поскольку это быстрее и дешевле, чем разворачивать инфраструктуру, которой потребуется ML-инженер и сервер с GPU для дообучения модели, считает исполнительный директор Aura System Вячеслав Васильков.