Ансамблевая модель
Модель помогает определить границы между оригинальными и сгенерированными фрагментами в научных статьях. В ней объединены две нейросети — декодер Mistral-7B-OpenOrca и энкодер DeBERTa-V3-Large. Они с помощью метода LoRA были дообучены на датасете бенчмарка M4. Обучение производилось на графическом процессоре NVIDIA Tesla A100.
Декодер определяет в тексте фрагменты, предположительно сгенерированные искусственным интеллектом. Энкодер уточняет предсказания декодера, классифицируя каждый токен (минимальную единицу текста) и указывая, написан он человеком или ИИ.
Модель была представлена исследователями из НИУ ВШЭ в декабре 2024 года.
Статья в сборнике материалов международного научного соревнования SemEval 2024
#искусственный_интеллект#генеративный_ИИ#нейросети#машинное_обучение#open_source
Разработчик:Мониторинг 5G/6G: главное за май–июнь
ICT.Moscow
Нажимая на кнопку, вы соглашаетесь с политикой конфиденциальности
ICT.Moscow — открытая площадка о цифровых технологиях в Москве. Мы создаем наиболее полную картину развития рынка технологий в городе и за его пределами, помогаем бизнесу следить за главными трендами, не упускать возможности и находить новых партнеров.