ReBased
Архитектура языковых моделей
Новая архитектура — общий план или структура, по которой строится нейронная сеть — основана на Based, представленной в декабре 2023 года. Разработчики оптимизировали для этой архитектуры механизм извлечения информации из текста, добавив новые обучаемые параметры, которые позволяют моделям лучше искать взаимосвязи между частями текстов. Кроме того, был упрощен алгоритм выделения текстовой информации, что увеличило производительность и улучшило качество работы с длинными текстами.
На основе выложенной в общий доступ архитектуры была обучена нейросеть для ускоренной обработки длинных текстов.
ReBased была представлена учеными из T-Bank AI Research в августе 2024 года.
Статья о ReBased в сборнике материалов конференции Ассоциации компьютерной лингвистики
