Ученые МФТИ и Института океанологии им. П.П. Ширшова РАН представили систему поиска морского мусора в условиях Арктики по снимкам с камер на судах. В ее основе лежат два подхода машинного обучения: классификация изображений с контрастным обучением и прямое детектирование объектов.

Систему протестировали на наборе данных, полученном во время научной экспедиции в Арктике осенью 2023 года. В него входят больше 500 тыс. фотографий поверхности воды, сделанных в условиях качки судна, бликов от солнца и морской пены. Ученые выявили, что для поиска мусора наиболее эффективен подход с использованием контрастного обучения ResNet50+MoCo и классификатора CatBoost. Его точность по метрике F1-Score составила 0,4 против около 0,1 у алгоритма YOLO.

В будущем исследователи планируют усовершенствовать алгоритмы для работы в реальном времени, а также адаптировать систему для применения на автономных платформах.

«Яндекс» и Дальневосточный федеральный университет в 2024 году разработали нейросеть, которая находит на побережьях мусор по снимкам с воздушных беспилотников. Она способна определять объем, массу и виды отходов.