Ученые выявили проблемы языковых моделей при анализе длинных текстов

Исследователи Мюнхенского университета (LMU), Мюнхенского центра машинного обучения (MCML, Германия) и Adobe Research пришли к выводу, что современные языковые ИИ-модели имеют ограничения при обработке и анализе больших объемов текстовой информации.

Для этого ученые протестировали 12 моделей, включая GPT-4o, Gemini 1.5 Pro и Llama-3.3-70B, каждая из которых способна обрабатывать не менее 128 тыс. токенов. В качестве инструмента был использован тест NOLIMA (No Literal Matching), который проверяет, насколько хорошо ИИ-модели могут связывать информацию и делать выводы, не полагаясь на совпадающие слова.

В итоге специалисты обнаружили, что модели испытывают трудности при увеличении длины текста. Производительность значительно снижается в диапазоне от 2 тыс. до 8 тыс. токенов. При 32 тыс. токенов 10 из 12 моделей работают вполовину медленнее, чем обычно, по сравнению с более короткими текстами. Производительность снижается, еще когда требуется больше шагов для принятия решения (скрытых переходов), отмечают исследователи.

🔗 Источник 1: https://the-decoder.com/ai-language-models-struggle-to-connect-the-dots-in-long-texts-study-finds/
🔗 Источник 2: https://habr.com/ru/companies/bothub/news/882166/