Google использовал YouTube видео с манекеном, чтобы тренировать свой ай

Что тебе нужно знать

Google обучает свой ИИ создавать карты глубины, изолирующие людей на сцене, используя только одну камеру.
В качестве отправной точки, Google использовал 2000 видео YouTube с Mannequin Challenge для обучения AI.
Результаты приведут к возможности добавлять эффекты к видео, такие как портретный режим, и использоваться для дополненной реальности.

В недавнем сообщении в блоге Google подробно описал, как он работает над восприятием глубины в видео, где движутся и камера, и объект. В качестве отправной точки, исследование нуждалось в доступе к огромному количеству данных для обучения ИИ, и первым логическим шагом было обучение его обнаружению людей в сцене, где камера двигалась, но люди были статичны.

Как оказалось, у Google был идеальный ресурс для этих данных в виде видео на YouTube, которые были сняты для конкурса «Манекен». В этом вызове человек или группа людей стояли бы совершенно неподвижно, когда камера поворачивалась вокруг своей позиции. Google использовал 2000 видео с этой задачи, чтобы помочь обучить своего ИИ обнаруживать человеческие фигуры в самых разных сценах.

Что делает это исследование еще более интересным, так это тот факт, что Google обучает свой ИИ создавать карты глубины, используя отснятый материал, снятый только одной камерой. В большинстве случаев для обнаружения информации о глубине в сцене необходимо использовать несколько камер.

Google уже использует нечто подобное для неподвижных изображений, чтобы создать эффект портретного режима на телефонах Pixel. Однако это относится только к неподвижным изображениям. Новый метод, который разрабатывает Google, обучает его ИИ создавать карту глубины, где и камера, и объект движутся в пределах сцены.

Разветвление в видео, в будущем откроет функции для создания боке в видео сценах, похожих на портретный режим на вашем телефоне. Еще одним преимуществом этого исследования будут улучшенные результаты для дополненной реальности, такие как Playmojis от Google Playground.

Еще одной возможностью будет создание 3D-изображений из 2D-сцен. Несмотря на то, что аппаратное обеспечение камеры всегда было важным для фотографии и видеографии, то, что Google на протяжении многих лет делал с программным обеспечением, показывает, что в будущем алгоритмы будут столь же важны и помогут обеспечить новый опыт.