Регуляризатор призван помочь избежать проявления негативных свойств линейной зависимости эмбеддингов (числовых представлений данных) в ходе предобучения больших языковых моделей.

LLM Microscope позволяет заменить сложные трансформерные блоки декодеров на более простые. Эксперименты показали, что провести эту операцию без потери качества можно для примерно 15% слоев.

Метод был представлен исследователями из Института AIRI, «Сколтеха» и «Сбера» в мае 2024 года. Доступен как открытое ПО.

Репозиторий на GitHub

Препринт на arXiv

Пост на Habr

👤 Андрей Кузнецов

👤 Иван Оселедец

👤 Антон Разжигаев

• Смотреть