Модель помогает определить границы между оригинальными и сгенерированными фрагментами в научных статьях. В ней объединены две нейросети — декодер Mistral7B-OpenOrca и энкодер DeBERTaV3-Large. Они с помощью метода LoRA были дообучены на датасете бенчмарка M4. Обучение производилось на графическом процессоре NVIDIA Tesla A100.

Декодер определяет в тексте фрагменты, предположительного сгенерированные искусственным интеллектом. Энкодер уточняет предсказания декодера, классифицируя каждый токен (минимальную единицу текста) и указывая, написан он человеком или ИИ.

Модель была представлена исследователями из НИУ ВШЭ в декабре 2024 года.

Статья в сборнике материалов международного научного соревнования SemEval 2024

👤 Александр Ширнин

#искусственный_интеллект#генеративный_ИИ#нейросети#машинное_обучение#open_source

#ВШЭ