Безмаркерный захват движений

Описание проекта

Одним из самых интересных и творческих направлений может называться компьютерная анимация, в котором всегда необходимы высококлассные профессионалы. Самым большим барьером при изучении компьютерной анимации была ограниченность технологий, доступных обычному пользователю. Не всегда есть возможность использовать дорогие студии захвата движений и актеров с целью обучения начинающего аниматора. Предлагается рассмотреть машинное обучение как достаточно развитую технологию для приобретения практических знаний в области компьютерной анимации.

Безмаркерный захват движений - это активная область исследований, которая имеет множество приложений в сфере развлечений, здравоохранения, спорта, и в робототехнике. За последние пять лет средняя точность увеличилась более чем в 5 раз. Эта эволюция в основном обусловлена улучшениями в задаче предсказания 2D-позы.

Роль машинного обучения для понимания двигательной системы обещает революцию в том, как собирать, измерять и анализировать данные. Область науки о движении уже элегантно включает в себя теорию и инженерные принципы для руководства экспериментальной работой. В связи с этим можно заметить растущее использование машинного обучения: от предсказания позы, кинематического анализа, уменьшения размерности и обратной связи до его использования в понимании нейронных коррелятов и распутывании сенсомоторных систем.

С практической точки зрения, технологии машинного обучения все чаще становятся важными инструментами при производстве того или иного цифрового продукта. Они могут значительно ускорить работу профессионалов и снизить общую стоимость производства.

Программное обеспечение, предназначенное для профессиональной компьютерной анимации включает в себя: программы от компании Autodesk (Maya, Motionbuilder), от компании Adobe (Animate, Character Animator), Cinema4D, Houdini, Blender3D. Из всех перечисленных вариантов выделяется Blender3D — это бесплатный пакет для создания 3D-проектов с открытым исходным кодом. Благодаря этому открываются большие возможности увеличения функционала ПО, как в исходном коде самой программы, так и с помощью расширений (аддонов). Blender3D поддерживает все варианты работы с компьютерной графикой - моделирование, риггинг, 2D- и 3D-анимацию, симуляцию, рендеринг, ротоскопирование и редактирование видео.

Проект представляет собой расширение (addon) для ПО 3D-моделирования Blender, который позволит использовать мощный инструмент захвата движений с любой видеокамеры (напр., веб-камеры) или видеофайла, но предоставит простой и удобный интерфейс для конечного пользователя. Проект был начат как исследовательская работа в сфере прикладной математики и программирования.