Исследователи из AIRI, МФТИ и London Institute for Mathematical Sciences (LIMS) смогли сжать 1568 токенов в один вектор (эмбеддинг). Таким образом они определили предел сжатия информации для LLM.

Ученые разработали подход для оценки способности ИИ к сжатию и применили его к шести моделям с открытым кодом: Pythia, OPT, OLMo, Mamba и другие. Использовался набор данных из случайно составленных текстов и любительских рассказов.

Все модели смогли сжать несколько десятков или сотен слов в одном векторе. Авторы исследования также обнаружили, что на практике все модели ИИ использовали только 10–30% потенциальной емкости векторов.

Международная группа исследователей, включавшая специалистов Yandex Research и НИУ ВШЭ, в апреле представила метод квантизации HIGGS (Hadamard Incoherence with Gaussian MSE-optimal GridS). Он позволяет сжимать нейросети без использования дополнительных данных и без вычислительно сложной оптимизации параметров.