Международная группа ученых представила подход к распознаванию текстов, созданных ИИ, с использованием разреженных автокодировщиков (Sparse Autoencoders, SAE). Новый метод позволяет определять, на основании чего материал считается сгенерированным. В работе также приняли участие сотрудники исследовательского центра Huawei и французского Universite Paris Cite.

Для исследования ученые давали нейросети Gemma-2-2B примеры текстов и сохраняли внутренние состояния с глубоких слоев модели для каждого текста. С помощью SAE из этих внутренних состояний были выявлены тысячи «атомарных» признаков. Исследователи обучили на этих признаках классификатор для распознавания сгенерированных текстов, а также провели интерпретацию признаков в терминах, понятных человеку.

Ученые выявили универсальные признаки, которые характерны для многих ИИ-моделей, и специфические, которые присущи отдельным семействам ИИ или определенным типам текста. Например, в текстах на научные темы нейросети используют излишне сложные синтаксические конструкции, а в текстах на финансовую тематику — необоснованные многословные рассуждения о простых фактах.

Новый подход позволяет также обнаруживать некоторые попытки скрыть факт генерации текста: добавление лишних пробелов, артиклей или нестандартных символов с целью запутать детекторы. Человек может проверить, почему детектор посчитал текст сгенерированным.

Ученые предполагают, что новый метод создает основу для разработки более интерпретируемых детекторов: они будут не только признавать текст сгенерированным, но и давать пояснения, какие признаки были выявлены. В будущем исследователи планируют применить подход к более мощным языковым моделям, а также изучить более сложные признаки.