SciRus-tiny
Нейросеть-эмбеддер
Описание:
Модель трансформерной архитектуры RoBERTa с 23 млн параметров для получения эмбеддингов (семантических векторных представлений) научных текстов размерностью 312. Размер словаря модели-эмбеддера составляет более 50 тыс. токенов, а максимальная длина контекста — 2 тысячи.
SciRus-tiny была обучена на наборе данных, состоящем из аннотаций научных статей в библиотеке elibrary.ru. Исследователи ставили перед собой задачу обучить модель обращать внимание на смысл текста вне зависимости от языка, на котором он написан, и учитывать при этом научную тематику текстов.
SciRus-tiny вместе с бенчмарком ruSciBench была представлена исследователями из лаборатории «Машинное обучение и семантический анализ» Института искусственного интеллекта МГУ им. М.В. Ломоносова в декабре 2023 года. В июне 2024 года нейросеть была внедрена в поисковую систему научной электронной библиотеки elibrary.ru.
По заявлениям разработчиков, в будущем планируется разработка аналогичных моделей с большим количеством параметров.
Проект запущен:
2023
Последнее обновление:18.12.2024
Материалы о разработчике
Мониторинг 5G/6G: главное за май–июнь
ICT.Moscow
Другие проекты разработчика:
Похожие проекты:
Главное про цифровые технологии в Москве
Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности
Что такое ICT.Moscow?
ICT.Moscow — открытая площадка о цифровых технологиях в Москве. Мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров.
Если не указано иное, материалы доступны по лицензии Creative Commons BY 4.0