Инженеры из исследовательского подразделения компании Disney в Питтсбурге (США) и университета Карнеги-Меллон собрали и испытали опытный образец новой системы захвата движений, которая позволяет собирать данные практически в любой обстановке, а не только в специальных помещениях с черными или зелеными стенами и огромным объемом дорогостоящей аппаратуры. Новизна системы под названием SfM (Structure from motion – воссоздание структуры по движению) заключается в том, что камерой становится само тело актера, а оцифровка движений и строения персонажа выполняется с помощью камер, закрепленных прямо на конечностях и туловище актера.
Индустрия компьютерных спецэффектов стала отправной точкой для множества технологий. Однако в представлении большинства людей такие съемки начинаются с прыгания актеров в комнате с зелеными стенами в обтягивающем гимнастическом костюме со специальными отражающими метками в виде шариков. Такая технология требует большого объема оборудования – инфракрасные и обычные камеры с прецизионной калибровкой, специальная высокоточная осветительная аппаратура и, само собой, компьютеры для записи и обработки данных. Технология SfM же позволяет отказаться от части используемой техники, оставив, пожалуй, только компьютеры. Но зато их понадобится даже больше, чем в традиционных системах захвата движений.
Стоит упомянуть, что принципы технологии SfM для захвата движений с помощью камер на теле актера были разработаны еще 20 лет назад – их придумал профессор робототехники Такео Канаде (Takeo Kanade) из университета Карнеги-Меллон. Главное назначение SfM заключается в определении трехмерной структуры объекта путем анализа изображений с камеры по мере ее движения вокруг объекта, либо по мере перемещения объекта с закрепленной на нем камерой. Получается, что для переноса информации о движениях в цифровую форму больше не нужна отдельная внешняя камера для слежения за перемещением маркеров – достаточно камер, закрепленных на объекте и центральной камеры, снимающей актера (объект).
Хотя система SfM придумана 20 лет назад, ее реализация стала возможной лишь сейчас благодаря существенному прогрессу в развитии миниатюрных камер. Авторы соврменного воплощения идеи SfM оцифровывают глобальные и относительные перемещения объекта (актера), закрепляя на руках, ногах и туловище актера 20 компактных камер с помощью «липучки» (камеры смотрят не на актера, а наружу). Когда человек выполняет серию упражнений с полной амплитудой, система может автоматически построить электронный скелет и рассчитать положение камер на теле объекта.
Когда актер двигается в среде, система SfM делает приближенную оценку данных о положении и ориентации конечностей, а также собирает трехмерные данные об окружающей среде, чтобы обеспечить контекст для снятого материала. Далее конфигурация тела и положение деталей окружающей среды проходят дополнительную обработку, чтобы получить финальный результат в виде полноценной записи движений. Разработчики технологии SfM убеждены, что новая технология может стать будущим компьютерных спецэффектов – с ее помощью захват движений сможет выполнять любой энтузиаст.
На данный момент качество захвата движений с помощью закрепленных на теле актера камер сильно уступает традиционным системам. Тем не менее, разработчики обещают существенно повысить этот важный параметр после того, как увеличится разрешение и скорость съемки для нательных камер. Кроме того, новая технология требует больших вычислительных ресурсов – обработка одной минуты захвата движения требует целого дня работы на современном компьютере. Сейчас специалисты из Disney (DRP) и CMU (университет Карнеги-Меллон) работают над оптимизацией расчетов путем распараллеливания задач. Научную работу, посвященную технологии SfM можно найти на сайте исследовательского подразделения Disney.
