Методы оценки синтезированного программного кода и управления его генерацией с применением языковых моделей
Аспирант Университета ИТМО Дмитрий Федрушков выступил с докладом на семинаре группы «Исследование операций и интеллект принятия решений» на факультете космических исследований МГУ им. М.В. Ломоносова.
В презентации описаны существующие решения для оценки качества сгенерированного ИИ-моделями и агентами программного кода и предложен подход, объединяющий формально проверяемые свойства кода с вероятностными и семантическими оценками LLM. Спикер отдельно рассмотрел использование такой оценки в качестве обратной связи для управления генерацией.