Диджитал-артисты сразились с ИИ в создании спецэффектов для кино - победил ИИ

Команда экспертов по визуальным эффектам продемонстрировала возможности нового ИИ, который создает очень реалистичные спецэффекты за считанные минуты.

Видеоролик опубликован на YouTube-канале Corridor Crew.

Технологии визуальных эффектов (VFX) полагаются на три основных процесса, которые необходимо выполнить для монтажа практически любого кадра:

• "ротоскопинг" — первым делом нужно разделить видеоряд на несколько отдельных слоев, например, объект и фон.
• "окрашивание" — далее необходимо заполнить пробелы, которые остаются после разделения кадров.
• "отслеживание камеры" — местоположение камеры очень важно учитывать при воссоздании сцен на компьютере и добавлении новых объектов или эффектов.

По словам специалистов из продюсерской студии Corridor Digital, уже сейчас ИИ способен выполнить два из трех указанных процессов: ротоскопинг и окрашивание. В теории, машинные алгоритмы могут значительно ускорить монтирование видео и за несколько недель выполнить работу, на которую у людей уходят месяцы.

Сначала диджитал-артисты устроили соревнование в своем офисе. Они записали на видео, как один из членов команды крутится "колесом", и решили добавить спецэффекты в виде взрывов, сравнив эффективность различных техник компьютерной графики: рисование при помощи стилуса, создание пост-эффект масок, программу MOCHA, инструмент для выделения границ RotoBrush 2.0 (тоже использует ИИ) и новый алгоритм машинного обучения Runway.

Последние два метода оказались самыми быстрыми. Раньше всех справился артист, использовавший RotoBrush — программу, которая автоматически выделяет контуры объектов легкими движениями мыши. Автор несколько поспешил и оставил огрехи. Метод Runway отстал на несколько минут, однако предоставил более чистый результат — монтажер даже добавил три взрыва вместо одного.

Для второго испытания Corridor Crew решили использовать записи со съемок своего ролика с роботом Boston Dynamics. Проект занял месяцы работы команды, самым сложным было "стереть" живого актера со всех кадров, чтобы заменить его на машину. Специалисты предположили, что ИИ поможет им легче выделить объекты. Они использовали инструмент под названием Flow Guided Video Completion. Алгоритм отслеживает все пиксели при передвижении объектов, предсказывает появление пробелов, созданных "маской", и заполняет их. Ему удалось быстро и качественно убрать актера, хотя на последних кадрах он оставил большое пятно, приняв пиксели за элементы фона. Пусть этот момент дизайнерам пришлось править вручную, система все равно значительно ускорила процесс и оказалась намного быстрее человека.

"Мы стоим на пороге гигантского прорыва, и это не только визуальные эффекты — это все, что угодно. Это буквально новая грань компьютерных технологий, и вы можете использовать их на хороших машинах, к которым имеете доступ. И каждый, кто собирается снять фильм, может сделать это со скоростью мысли", — рассказал артист по имени Нико.

Ранее писали, что ИИ научился предсказывать дожди лучше опытных синоптиков. Алгоритм от компании DeepMind составляет прогноз на ближайшие полтора часа для районов площадью всего около квадратного километра.

До этого эксперты назвали 5 рисков, связанных с искусственным интеллектом. Ученые из Брауновского университета уверяет, что развитие технологий уже достигло точки, когда пора подумать о методах безопасности.