Исследователи из МФТИ изучили, как дообучение нейросети влияет на ландшафт функции потерь. Они пришли к выводу, что в определенный момент польза от увеличения данных для обучения становится менее значительной.

Функция потерь показывает, насколько «неправильно» работает нейросеть. Чем ниже ее значение, тем лучше работает ИИ. Авторы исследования утверждают, что раньше никто систематически не изучал вопрос влияния размера выборки на геометрию ландшафта функции потерь.

Ученые обучали нейросеть на наборах данных разных размеров и добавляли к ним по одному объекту. Они измеряли, насколько в среднем изменяется значение функции потерь в найденной точке минимума. Теоретический анализ и экспериментальные данные показали, что по мере увеличения размера выборки ландшафт функции потерь стабилизируется и почти перестает меняться.

«Наша работа показывает динамическую природу ландшафта потерь: как он «устаканивается» и перестает существенно меняться по мере того, как сеть «видит» все больше и больше примеров. Это предсказуемое поведение открывает двери к пониманию того, когда дальнейшее увеличение данных уже не приносит кардинальных изменений в локально выученную модель, что критически важно для эффективного обучения», — объяснил доцент кафедры интеллектуальных систем МФТИ Андрей Грабовой.

На основе исследования можно разработать методы по отслеживанию стабилизации ландшафта функции потерь при добавлении новых данных. Таким образом можно определить достаточный размер выборки для обучения и не тратить ресурсы на сбор, разметку и обработку избыточных данных. По мнению ученых, их исследование поможет в разработке более оптимальных вычислительных архитектур и более эффективных адаптивных алгоритмов машинного обучения нейросетей.