Компания Cisco представила отчет, посвященный тому, как трафик искусственного интеллекта отличается от обычного веб-трафика. Материал основан на анализе сетевого трафика, отраслевых данных сторонних организаций и лабораторных тестах ИИ-агентов.

В отчете рассматриваются объемы трафика инференса, изменения соотношения входящего и исходящего трафика, влияние сетевой задержки и рост нагрузки из-за ИИ-агентов. Авторы также дают прогнозы до 2035 года.

Ключевые выводы:

• трафик инференса ИИ, то есть запросов к модели для получения ответа, пока остается небольшим по сравнению с видеостримингом, но растет очень быстро. По данным о потреблении токенов, он показывает почти десятикратное увеличение год к году. В измерениях некоторых провайдеров трафик инференса ИИ повысился примерно в четыре раза за восемь месяцев;
• Cisco прогнозирует, что к 2035 году одна четверть сетевого трафика будет приходиться на инференс ИИ;
• потоки инференса ИИ длятся примерно в два раза дольше, чем обычные веб-транзакции, а медианная скорость обычных веб-транзакций в десять раз выше, чем у потоков инференса ИИ. В материале это объясняется тем, что обычный веб-контент можно быстро забрать из места хранения и доставить пользователю, а ИИ генерирует ответ постепенно, токен за токеном;
• как отмечают авторы отчета, инференс ИИ меняет привычное соотношение входящего и исходящего трафика. Примерно в 9% потоков инференса исходящего трафика больше, чем входящего, тогда как для обычного веб-трафика такая ситуация встречается у 0,5% потоков;
• причина повышения исходящего трафика в том, что запросы к ИИ часто содержат все больше контекста, чтобы модель могла выдать релевантный ответ. По мере роста агентного ИИ этот тренд, как ожидается, усилится;
• сетевая задержка пока не является главным ограничением для инференса ИИ, говорится в документе. Общая задержка чаще всего определяется обработкой запроса моделью и обычно составляет от сотен миллисекунд до нескольких секунд;
• по мере ускорения оборудования для инференса сетевая задержка будет становиться более важной частью общего пользовательского опыта, указывают авторы материала. В документе отмечается, что измерение и контроль качества инференса ИИ становятся критически важными для воспринимаемого качества сервиса;
• специалисты Cisco провели эксперимент, поручив одну и ту же задачу ИИ-агенту и человеку. Ее выполнение с помощью агента создало на 450% больше сетевого трафика. При этом около 70% дополнительного трафика пришлось на инференс;
• без агентного ИИ корпоративный сетевой трафик, по прогнозам Cisco, вырастет примерно в 2,5 раза за десятилетие. С учетом внедрения агентного ИИ он может увеличиться примерно девять раз;
• в потребительских сетях без влияния ИИ и агентного ИИ трафик способен вырасти в четыре раза за период 2025–2035 годов. С учетом внедрения ИИ и агентного ИИ прогнозируется повышение в 6,6 раза, или на 63% больше по сравнению со сценарием без влияния ИИ.

Расскажите знакомым: