Исследователи из лаборатории информатики и искусственного интеллекта Массачусетского Технологического Института (CSAIL) разработали ранее не известную систему визуализации комплекса человеческих движений используя двигающиеся 3D скульптурыMoSculp – алгоритм, по которому 2D видеоряд конвертируется в ощутимое 3D, разработан для того, чтобы позволить показать более живую интерпретацию реальных движений, которые сложно уловить обычным человеческим глазом. Это позволяет лучше понять движения человека и объекта.«Представьте, что у вас есть видео с Роджером Федером, подающим мяч в теннисном матче и видео, где вы учитесь играть в теннис; вы смогли бы выстроить скульптурные движения обоих вариантов, чтобы сравнить их и более тщательно изучить, что именно вам нужно улучшить», - сказал аспирант CSAIL Сюмин Жанг, ведущий автор MoSculp: Интерактивная визуализация формы и времени.
Визуализация движений в напечатанных 3D скульптурах
От реплики скульптурного дерева в 3D до помощи больным слабоумием и реконструкции напечатанной 3D коллекции искусства, которые были выполнены маленькими пациентами больницы Great Ormond Street (GOSH) – печать скульптур в 3D используется для исследования и сохранения объектов сквозь время. Сейчас исследователи из CSAIL разработали систему, которая понимает поведение объектов, в то время как они двигаются в реальном времени.Процесс начинается с загрузки видео в MoSculp; система автоматически обнаруживает 2D ключи на теле субъекта, к примеру, суставы человека. Затем она превращает полученную информацию о совершаемых движениях в 3D «скелеты».После того, как она соединит эти скелеты вместе, MoSculp создает двигающуюся скульптуру, которая может быть напечатана в 3D, чтобы продемонстрировать дальнейшую траекторию движения субъекта. Используя специальные материалы, двигающиеся скульптуры могут быть также изготовлены индивидуально, чтобы соответствовать разным частям тела.
Система MoSculp system точно определяет движения балерины.
Согласно с исследованием CSAIL, свыше 75% субъектов чувствовали, что MoSculp предоставляет более детальную визуализацию для изучения движений, чем стандартные методы съемок, такая как стробоскопическая фотография также известная как flipbooking.Танцы и высококвалифицированные атлетические движения часто выглядят как «двигающиеся скульптуры», поясняет Аарон Хертцман, старший научный сотрудник в Лаборатории Adobe Creative Intelligence.«Эта работа показывает, как совершать движения и превращать их в настоящие скульптуры с требуемой визуализацией движений, предоставляя атлетам способ проанализировать их движения для тренировок, позволяя использовать оборудование не сложнее камеры на мобильном устройстве и некоторое вычислительное время.» Исследование «MoSculp: Интерактивная визуализация формы и времени.» выполнена в соавторстве Xiuming Zhang, Tali Dekel, Tianfan Xue, Andrew Owens, Qiurui He, Jiajun Wu, Stefanie Mueller, and William T. Freeman. Оно будет представлено в следующем месяце на конференции User Interface Software and Technology (UIST) в Берлине, Германия.
Скульптура движения на бегу в 3D.