ГлавнаяХаб аналитикиКитайские ускорители снижают стоимость инференса в 2–2,5 раза при использовании ИИ-ассистентов для работы с документами
Холдинг Т1Китайские ускорители снижают стоимость инференса в 2–2,5 раза при использовании ИИ-ассистентов для работы с документами
В лаборатории ИТ-холдинга Т1 протестировали 20 ИИ-моделей на чипах, которые были произведены не NVIDIA. Всего было выполнено больше 1 тыс. прогонов.
По данным компании, при использовании ИИ-ассистентов для работы с документами и поиска по базам знаний китайские ускорители снижают стоимость инференса в 2–2,5 раза при сопоставимом качестве ответов. В задачах компьютерного зрения они конкурентоспособны по цене, но уступают NVIDIA в скорости.
Как показало тестирование, для задач дообучения собственных моделей можно распределять нагрузки между платформами: использовать NVIDIA для обучения, дообучения и инференса сверхбольших LLM, а сопутствующие сервисы и подходящие задачи инференса переносить на альтернативные ускорители.
StaqОколо 30% организаций назвали наиболее востребованной функцией платформенных решений управление процессами
25% компаний отметили необходимость интеграции платформенных решений с действующими системами.Подробнее
КибердомОпрос о правилах передачи данных нейросетям в российских компаниях
За последние полгода почти каждый третий сотрудник передавал ИИ логины, ключи и доступы к рабочим папкам.Подробнее
World Economic ForumThe Next-Generation Computing Framework
Вычислительные технологии нового поколения в течение 3–5 лет могут существенно изменить промышленность и обще...Подробнее
McKinseyThe Economics of Applying AI to Existing Work
Экономическая выгода от автоматизации задач с помощью ИИ в мире может достигнуть $2,5 трлн в год.Подробнее
Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности
ICT.Moscow — открытая площадка о цифровых технологиях в Москве. Мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров.