Новая система использует алгоритм, который может получать двухмерное видео и превращать объекты в нем в трехмерные «двигающиеся скульптуры», которые показывают, как человеческое тело перемещается в пространстве, — пишет sciencedaily.com.

По мнению разработчиков, система «MoSculp» может позволить профессиональным спортсменам, танцорам и любым другим людям, желающим улучшить свои физические навыки, более детально изучать движение.

Традиционные видео и фотографии являются двумерными и не показывают нам подобную реальной трехмерную структуру человека или иного субъекта интереса. Без полной геометрии мы не можем точно воспроизвести небольшие тонкие элементы, которые помогают понять детали движения, и начать двигаться быстрее и точнее, совершенствуя свою физическую подготовку.

Исследователи из Массачусетского технологического института придумали лучший способ понять сложное движение.

«Представьте, что у вас есть видео о Роджере Федерере на теннисном матче, и видео о себе, изучающем теннис, — говорит студент-магистр Ксиюн Чжан, ведущий автор новой статьи о системе. — Теперь вы можете построить скульптуры движения в обоих сценариях, чтобы сравнить их и всесторонне изучить, что нужно улучшить».

Поскольку скульптуры движения являются трехмерными, пользователи могут использовать компьютерный интерфейс для навигации и видеть структуры с разных точек зрения, замечая то, что недоступно с исходной точки зрения.

Как это работает

Художники и ученые долгое время пытались лучше понять движение, но их возможности были ограничены объективом камеры.

В предыдущих работах в основном использовались так называемые «стробоскопические» методы фотографии, которые очень похожи на изображения во флипбуке, сшитые вместе. Но поскольку эти фотографии фиксируют отдельные движения, вы не сможете увидеть большую часть траектории, по которой идет рука человека, когда он наносит удар по мячу в гольфе, например.

Более того, эти фотографии также требуют кропотливой предварительной съемки, например, с использованием чистого фона, особой глубины камеры и осветительного оборудования. Для MoSculp же нужна только видеопоследовательность.

Используя исходное видео, система сначала автоматически обнаруживает ключевые точки тела, такие как бедро, колено и лодыжку балерины, в то время как она выполняет сложную последовательность танцевальных движений. Затем он составляет наилучшие позы из точек и превращает их в трехмерные «скелеты».

После сшивания этих скелетов система генерирует скульптуру движения, которая демонстрирует гладкий непрерывный путь движения, проделываемый субъектом. Пользователи могут настраивать фигуры, сосредотачиваясь на разных частях тела, использовать разные материалы для разных частей тела и даже настраивать освещение.

Опросив пользователей, исследователи обнаружили, что более 75 процентов испытуемых считают, что MoSculp предоставляет более подробную визуализацию для изучения движения, чем стандартные методы фотографии и видеосъемки.

Лучше всего система работает для больших движений, таких как бросание мяча или высокий прыжок в танце. Она также эффективна в ситуациях, которые могут препятствовать или затруднять визуализацию движения – когда люди, например, надевают свободную одежду или переносят предметы.

В настоящее время система использует только сценарии с участием одного человека, но вскоре команда надеется расширить версию и создавать 3D изображения нескольких людей. Это может раскрыть потенциал для изучения таких вещей, как социальные беспорядки, межличностные взаимодействия и динамика команд.