Выложенный в открытый доступ регуляризатор призван помочь избежать проявления негативных свойств линейной зависимости эмбеддингов (числовых представлений данных) в ходе предобучения больших языковых моделей.

LLM Microscope позволяет заменить сложные трансформерные блоки декодеров на более простые. Эксперименты показали, что провести эту операцию без потери качества можно для примерно 15% слоев.

Метод был представлен исследователями из Института AIRI, «Сколтеха» и «Сбера» в мае 2024 года.

Пост на Habr
Препринт на arXiv

👤 Антон Разжигаев