Исследователи факультета компьютерных наук НИУ ВШЭ представили метод Trajectory Likelihood Maximization (TLM) для работы с генеративными потоковыми сетями (GFlowNets). Новый подход направлен на оптимизацию поиска решения задач.

GFlowNets — ИИ-алгоритмы, которые обучаются пошагово генерировать объекты с вероятностью, пропорциональной функции награды. Этот подход объединяет такие направления, как обучение с подкреплением (RL) и вариационный вывод (VI). В GFlowNets в паре работают две вероятностные модели: прямая и обратная. Первая предсказывает вероятность последующего состояния, вторая определяет, каким был предыдущий шаг.

Метод TLM направлен на доработку алгоритмов обратной модели таким образом, чтобы она могла постоянно сверяться с действиями прямой модели. Из-за этого стала сложнее функция вознаграждения, которая описывает успешность решения задачи для обратной модели. Но, по словам исследователей, система поиска стала быстрее и эффективнее. Утверждается, что с помощью TLM можно «заметно сократить нагрузку на вычислительные мощности».

По мнению ученых, их работа поможет специалистам, которые применяют GFlowNets в таких областях, как поиск новых лекарственных соединений, разработка материалов с заданными свойствами и тонкая настройка LLM.

В НИУ ВШЭ в 2024 году применили классические алгоритмы обучения с подкреплением для настройки GFlowNets. Ученые продемонстрировали, что такие алгоритмы могут работать сравнимо или эффективнее подходов, разработанных специально для обучения генеративных потоковых сетей.