Ученые из МФТИ, МГУ имени М.В. Ломоносова и БФУ имени Иммануила Канта с коллегами нашли оптимальный метод обучения нейросети, способной автоматически распознавать плавающий мусор в океане по видеозаписям с борта судна. Представленная авторами модель отличает пластик от птиц, бликов и капель на объективе камеры, благодаря чему может использоваться для постоянного мониторинга состояния морей нашей страны. Результаты исследования, поддержанного грантом Президентского Фонда природы№ ЭКО-25-2-003542, опубликованы в журнале Remote Sensing.
По оценкам специалистов, в Мировой океан ежегодно попадает до 23 миллионов тонн антропогенного мусора, который наносит серьезный вред экосистемам. Морские животные могут проглотить крупные частицы, препятствующие дыханию, а также запутаться в пакетах, сетях и волокнах из пластика. Поэтому важно отслеживать скопления плавающего морского мусора, включая пластиковый, в морях и своевременно их убирать.
Обычно такой мусор ищут, просматривая поверхность океана с судов, однако это долгий и трудозатратный процесс, а потому проводить мониторинг больших территорий очень сложно. В качестве альтернативы можно анализировать снимки поверхности океана, сделанные дронами или камерами на бортах судов. Для этого нужны надежные нейросети, способные отличать пластиковый мусор от других случайных объектов, например, морских животных, пены и бликов на воде.
Ученые из Московского физико-технического института (Москва), Московского государственного университета имени М.В. Ломоносова (Москва), Балтийского федерального университета имени Иммануила Канта (Калининград) с коллегами с помощью двух разных подходов обучили нейросеть распознавать плавающий в океане мусор.
Камера, закрепленная на борту научно-исследовательского судна «Дальние Зеленцы»
Для обучения и тестирования алгоритмов авторы использовали кадры видеозаписей, сделанных с борта научно-исследовательского судна «Дальние Зеленцы» во время арктической экспедиции 2023 года. Всего ученые собрали 136 часов материала, который разбили на отдельные кадры, получив более полумиллиона фотографий морской поверхности. Из них примерно на 10 тысячах снимков исследователи вручную отметили птиц, мусор, цветные блики и капли воды, попавшие на объектив.
В рамках первого подхода к обучению нейросеть самостоятельно училась выявлять на снимках мусор, почти не требуя размеченных человеком примеров. Алгоритму только «показывали» пары кадров, сделанные с разными временными промежутками. Если два соседних изображения сделаны с интервалом в секунду, они выглядят почти одинаково. Если же время между снимками большое, они сильно отличаются. Анализируя подобные изменения, нейросеть смогла создать представление того, как выглядит обычный океан, и точно определять любые отклонения от нормы — будь то мусор, птица или даже необычный блик. Далее дополнительный инструмент — классификатор — различал такие аномалии между собой по внешним признакам.
Второй метод обучения нейросети был более трудоемким: алгоритму «показывали» множество изображений с уже отмеченными вручную объектами (птицами, мусором, бликами). В результате такого обучения алгоритм приобрел способность находить такие же объекты на неразмеченных снимках.
При этом, чтобы решить главную проблему — крайне редкое появление мусора на снимках, — ученые намеренно меняли соотношение «пустых» кадров и изображений с различными объектами, обучая алгоритмы на разных наборах данных. Оказалось, что нейросеть, проходившая «самообучение», на 30% эффективнее находила мусор на снимках, чем алгоритм, натренированный на размеченных человеком снимках.
Исследователи в экспедиции
«Мусор встречается на снимках поверхности океана относительно редко и выглядит настолько разнообразно, что для его поиска эффективнее использовать метод поиска аномалий, который мы реализовали в первом подходе к обучению. "Самообучение" позволяет избежать ручной разметки тысяч изображений и делает алгоритм более гибким. В дальнейшем мы планируем собрать более разнообразные данные для анализа из других регионов, чтобы с их помощью повысить точность наших моделей», — рассказывает Полина Кривошлык, младший научный сотрудник лаборатории физики моря Института океанологии имени П.П. Ширшова РАН, научный сотрудник БФУ имени Иммануила Канта.
В исследовании также принимали участие сотрудники Института океанологии имени П.П. Ширшова РАН (Москва) и Государственного океанографического института имени Н.Н. Зубова (Москва).
Фото: Полина Кривошлык
Источник: Минобрнауки России
