AGI Safety Research Engineer в Google Deep Mind Кирилл Тыщук выступил с презентацией на семинаре лаборатории искусственного интеллекта, математики и компьютерных наук им. А. А. Маркова факультета математики и компьютерных наук СПбГУ.

Спикер рассказал о процессе обучения с подкреплением для LLM, разобрал проблему взлома вознаграждения моделью (Reward Hacking) и представил подход к обеспечению безопасности обучения через дебаты (AI Safety via Debate).