영화 <아바타: 물의 길>(2022) 속 나비(Na’vi)족은 현실엔 존재하지 않는다. 그러나 나비족의 자연스러운 움직임과 생생한 표정은 외계 행성 어딘가 이들이 실존할지도 모른단 착각을 불러일으킨다. 가상 캐릭터인 나비족은 모션캡처(Motion Capture) 기술로 탄생했다. 이처럼 3차원 그래픽의 수요가 증가하면서 모션캡처 기술이 주목받고 있다. 미국 시장조사전문기관 모도르 인텔리전스(Modor Intelligence)에 따르면 올해 세계 3차원 모션캡처 시장 규모는 2조8500억 원에 달한다. 가상 캐릭터를 움직이는 핵심 기술, 모션캡처의 원리와 활용 방법을 살펴보자. 


모션캡처, 3차원로 발돋움하다

모션캡처(Motion Capture) 기술은 게임, 애니메이션, 영화, 스포츠 등의 분야에서 사람의 움직임을 캐릭터로 구현하기 위해 사용된다. 해당 기술은 인체나 사물의 움직임을 데이터로 기록해 3차원으로 나타낸다. 모션캡처를 활용하면 얼굴, 손가락 등 특정 신체 부위부터 전신까지 다양한 관절의 움직임을 포착할 수 있다. 게임 속 캐릭터가 인사하며 손을 흔드는 동작은 실제 배우의 동작이 모션캡처로 구현된 대표적인 예다. 아이돌 그룹 ‘에스파(aespa)’의 곡 넥스트 레벨(Next Level) 안무 영상에 출연한 에스파 멤버의 가상 캐릭터 ‘아이(ae)-에스파’ 또한 모션캡처 기술을 사용해 제작됐다. 스포츠 업계에선 해당 기술로 운동선수의 동작을 과학적으로 분석한다. 분석한 데이터는 선수 개인 맞춤 훈련법을 개발하는 데 활용된다. 양기혁 모션테크놀로지 대표는 “과거엔 눈으로만 선수의 자세를 판단했다”며 “현재는 모션캡처 기술이 도입돼 선수의 동작을 정밀하게 분석할 수 있다”고 말했다. 

초창기 모션캡처는 수많은 프레임을 이어 붙이는 방식을 활용했지만 2000년대부턴 움직임을 3차원 데이터로 변환해 캐릭터를 구현하기 시작했다. 움직이는 대상을 연속해서 찍은 사진을 나열해 빠르게 재생하면 동작이 매끄럽게 연결된다. 지난 1915년 애니메이터(Animator) 맥스 플라이셔(Max Fleischer)는 ‘로토스코핑(Rotoscoping)’ 기법을 개발해 모션캡처 기술을 최초로 영상에 활용했다. 로토스코핑은 배우의 동작을 사진으로 촬영한 뒤 따라 그려 캐릭터의 동작을 구현한다. 애니메이터가 동작에 필요한 모든 그림을 직접 그려야 하는 해당 기법은 오랜 시간과 많은 비용이 필요하단 단점을 지녔다. 2000년대 등장한 모션캡처는 움직임을 컴퓨터로 빠르게 재현해 캐릭터 제작 시간을 단축했다. 현재 실시간으로 데이터를 확인하고 수정할 수 있는 ‘모션캡처 소프트웨어’가 개발돼 편집이 편리해졌다. 

모션캡처 기술은 움직임을 추적하는 방법에 따라 ▶광학식 ▶관성식 ▶마커리스(Markerless) 방식으로 나뉜다. 모션캡처로 캐릭터를 만들기 위해선 해당 캐릭터의 움직임을 연기할 배우가 필요하다. 배우의 움직임을 추적하는 ‘트래킹(Tracking)’은 모션캡의 핵심 과정이다. 트래킹 과정에서 배우의 움직임을 놓치면 캐릭터의 행동이 어색해져 시청자의 몰입도를 저하시킬 수 있다. 움직임은 컴퓨터에서 3차원 좌표로 나타나 모션캡처 전용 프로그램으로 확인할 수 있다. 컴퓨터에서 배우의 움직임은 단순한 점, 선, 면으로 나타난다. 이후 편집 과정에서 배우와 캐릭터의 신장 차이에서 비롯된 오차를 수정하고 세부적인 외형을 묘사하면 캐릭터가 탄생한다.

더 섬세한 움직임을 위해

광학식 모션캡처는 적외선 카메라(이하 카메라)와 마커(Maker)를 사용한다. 마커는 움직임을 추적하기 위해 배우의 신체에 부착하는 장치다. 카메라가 송출한 빛을 마커가 반사하면 배우의 움직임이 컴퓨터에 나타난다. 반사된 빛으로 좌표를 계산하기 때문에 태양광의 방해를 받는 실외에선 사용할 수 없다. 마커의 수가 많을수록 정확한 움직임을 얻을 수 있다. 배우는 마커가 부착된 옷을 입고 수십 개의 카메라가 배치된 실내 촬영장에서 연기한다. 마커가 반사한 빛은 카메라에서 흰 점으로 쉽게 확인된다. 카메라가 마커의 위치를 컴퓨터에 전달하면 컴퓨터는 여러 카메라가 전달한 정보를 수합해 배우의 움직임을 점, 선, 면으로 구현한다. 

관성식 모션캡처는 카메라를 사용하지 않고 모션캡처 수트에 부착된 센서로 좌표를 인식한다. 배우의 관절 위치에 부착된 센서는 회전 변화량, 자기장, 가속도를 측정해 배우의 움직임 값을 추정한다. 빛을 반사해 좌표를 표시하는 마커와 달리 센서는 좌표 정보를 직접 컴퓨터에 전달한다. 배우가 팔을 들면 센서는 팔의 처음 위치와 현재 위치를 비교해 움직임 변화량을 계산한다. 컴퓨터는 센서가 전달한 움직임 변화량을 바탕으로 3차원 좌표를 도출한다. 관성식 모션캡처는 격렬한 동작이나 의상으로 센서가 가려져도 좌표를 추정할 수 있다. 해당 기술은 태양광의 영향을 받지 않아 실외에서도 자유롭게 사용된다. 그러나 센서가 자기장에 예민하기 때문에 주변에 전류가 높은 물체나 철물이 있는 경우 오류가 생겨 사용하기 어렵다. 

마커리스 모션캡처는 컴퓨터가 직접 움직임을 포착한다. 마커나 센서와 같은 기준점이 필요한 광학식, 관성식 모션캡처와 달리 마커리스 모션캡처는 신체에 부착하는 장치 없이 움직임을 분석한다. 배우의 동작에선 명암의 대비가 확실한 부분이 특징점이 된다. 사람의 얼굴에선 눈, 코, 입 주변이나 눈썹 등 피부색과 대비되는 부위가 특징점이다. 마커리스 모션캡처는 마커나 센서가 필요하지 않아 주로 몸에 부착하는 장치를 꺼리는 스포츠와 의료계에서 활용된다. 

최근엔 필요한 동작에 따라 다양한 모션캡처 방식을 혼합해 표현하기도 한다. 신체 묘사엔 광학식 모션캡처를, 얼굴 표정엔 마커리스 모션캡처를 사용해 캐릭터의 움직임에 알맞은 방식을 활용한다. 영화 <어벤져스: 앤드게임>(2019)의 전투 장면에선 광학식과 관성식 모션캡처 방식을 동시에 사용했다. 등장인물 ‘타노스’를 연기한 배우 조시 브롤린(Josh Brolin)은 마커가 부착된 헬멧과 센서가 장착된 모션캡처 수트를 착용해 촬영했다. 양 대표는 “사용하는 목적과 촬영 환경에 따라 적합한 모션캡처 방식을 선택할 수 있다”고 말했다. 

이젠 나도 3차원 캐릭터 제작자

모션캡처 기술 중 페이셜(Facial) 모션캡처는 마커리스 방식을 사용해 얼굴의 움직임을 담아내는 기술이다. 피부에 마커를 부착하면 표정을 짓기 불편해 마커리스 방식을 사용한다. 일상에서도 이 기술을 쉽게 접할 수 있다. 미국 IT 기업 ‘애플(Apple)’은 얼굴의 움직임을 인식할 수 있는 ‘애니모지(Animogi)’ 기능을 제공한다. 애니모지는 카메라 ‘트루뎁스(TrueDepth)’를 활용해 자신만의 3차원 캐릭터를 제작하는 기능이다. 트루뎁스 카메라는 안면의 입 모양과 주름까지 인식해 구체적인 얼굴 특징이 반영된 3차원 캐릭터를 만든다. 소프트웨어 기업 ‘어도비(Adobe)’는 2019년 ‘어도비 캐릭터 애니메이터(Adobe Character Animator)’ 프로그램을 출시했다. 프로그램은 카메라로 얼굴을 학습한 뒤 턱, 눈, 귀, 눈동자 등의 특징을 바탕으로 신체 부위의 움직임을 추적해 3차원 캐릭터를 구현한다. 

모션캡처 기술의 상용화를 위해선 적절한 가격의 상품이 필요하다. 수백만원이 넘는 광학식과 관성식 모션캡처 장비는 개인 소비자에게 큰 부담이 된다. 양 대표는 “모션캡처 기술은 개인이 사용하기에 어렵고 가격이 비싸다”며 “모션캡처 장비의 사용 방법을 단순화한 합리적인 가격의 제품을 출시해야 소비자의 접근성을 높일 수 있다”고 말했다. 전자제품 기업 ‘소니(SONY)’는 지난해 11월 스마트폰으로 촬영할 수 있는 66만원 상당의 모션캡처 장비 ‘모코피(mocopi)’를 공개했다. 관성식 모션캡처 방식을 사용하는 모코피는 허리, 손목 등 6개 부위에 장착한 센서로 스마트폰과 연동해 간편하게 사용할 수 있다.


‘불쾌한 골짜기’ 이론에 따르면 인간은 인간과 모호하게 닮은 존재에게 불쾌감을 느낀다. 인간을 닮은 가상 캐릭터가 사랑받기 위해선 ‘불쾌한 골짜기’를 넘어설 자연스러운 움직임이 필요하다. 모션캡처(Motion Capture) 기술은 대중이 만족할 가상 캐릭터를 만들기 위해 발전을 거듭하고 있다. 가상 캐릭터의 뼈대가 되는 모션캡처 기술. 앞으로 다양한 산업에서 활발하게 사용되길 기대해 본다.

참고문헌
남다윤, 권혁민, 석주명, 김현철, 추현곤, 임성용. (2023). 멀티카메라 기반 3차원 아바타 생성 및 모션캡처 기술 동향. 한국통신학회지(정보와통신), 40권, 3-11.
영화진흥위원회. (2023). 버추얼 프로덕션 국내외 현황과 전망.
이영천. (2016). 마커리스 트래킹 기반 증강현실을 이용한 문화콘텐츠 개발. 스마트미디어저널, 5권, 90-95.
최태준, 유석호, 이동열, 이완복. (2007). 광학식 모션캡쳐(Optical Motion Capture)방식을 이용한 디지털 캐릭터 움직임. 한국콘텐츠학회논문지, 7권, 109-116.