TLG
Метод анализа изображений
Выложенный в открытый доступ метод TLG (Through the Looking Glass) позволяет с помощью галлюцинаций нейросети обнаруживать изображения, в которых нарушается здравый смысл. Метод предполагает не анализ самого изображения, а изучение того, как модели описывают картинку текстом.
Большая мультимодальная языково-визуальная модель (Large Vision Language Model, LVLM) получает запрос на описание изображения пятью атомарными (констатирующими определенное положение дел) фактами. Если изображение нарушает здравый смысл, то нейросеть начинает галлюцинировать. Для каждого факта с помощью модели кодировщика формируется эмбеддинг.
Далее между каждой парой полученных фактов с помощью NLI‑модели (Natural Language Inference, предназначена для задач определения логической связи между текстами) выясняются показатели семантического следования (Entailment) или семантического противоречия (Contradiction). Все 25 оценок делятся на кластер следования и кластер противоречия. В качестве финального показателя непротиворечивости изображения берется центроид (среднее арифметическое положение всех точек) кластера противоречия.
Метод TLG был представлен исследователями из Сколтеха, Института AIRI, MWS AI, МФТИ в октябре 2025 года.
Статья в сборнике материалов конференции NAACL 2025