[VR] Oculus Quest의 괴물같은 Hand Tracking

2019년 9월...

오큘러스 퀘스트(Oculus Quest)가 출시된지 4달만에 열린 여섯번째 Oculus Connect에서

Oculus는 Hand Tracking을 발표했다.

그것도 지금껏 없었던 Hand Tracking을 말이다.

 

---

Why? Hand Tracking?

Connect에서 Oculus는 Hand Tracking의 필요성을 세가지 이유를 들어 설명했다.

 

 

첫번째로 마찰이 적은 입력방식이라는 것

기존의 우리가 사용하던 input 방식들은 어떠한 도구가 필요하거나 사용법을 익혀가야만 했다. 하지만 Hand Tracking을 사용하기 위해서 우리의 손은 항상 존재하며(큰 사고가 없었다면..) 컨트롤러처럼 꼭 두개가 필요하거나 배터리가 다 되어서 충전할 일 도 없고 움직임에 익숙해지기 위해서 노력할 필요도 없다.

 

 

 

두번째로 손은 사회적으로 매우 중요한 존재라는 것

우리는 어떤 행동을 하거나 타인과의 대화를 할때 자연스럽게 손을 이용하여 커뮤니케이션을 한다. 이처럼 손은 신체 언어로써 커뮤니케이션을 만드는 매우 중요한 역할을 하고 있다.

 

 

세번째로 헤드셋을 쓰고나면 외부의 환경을 볼 수 없다는 것

마지막으로 우리가 VR 헤드셋을 장착하고나면 우리의 손이 있다는 것만 알뿐 VR 환경 안에서 보이지 않기 때문에 VR 환경에서도 손을 자유롭게 쓰기 위해서 Hand Tracking의 기술이 필요하다.

 

Facebook은 사회적인 경험을 매우 중요시하기 때문에 Hand Tracking을 빨리 만들고 싶었을 거라는 생각을 해본다.

 

그럼 Oculus에서는 Hand Tracking을 개발하기 위해서 어떤 기술적인 노력들을 했을까?

 

---

 

Hand Tracking의 3가지 방식

Oculus에서는 총 3가지 기술을 사용해보면서 Hand Tracking을 개발했다.

첫번째로 장갑에 마커를 사용하는 기술을 사용했고, 두번째로는 깊이 감지 카메라를 이용, 세번째로는 RGB 또는 단색 카메라를 이용해서 Hand Tracking을 연구했다.

 

첫번째 16개의 카메라와 마커가 달린 장갑

첫번째인 장갑에 마커를 사용하는 기술은 인식률은 매우 좋다. Oculus에서 테스트를 할 때 무려 16대의 카메라가 존재하기 때문이다.

이 Hand Tracking 방식은 모션캡처 기술을 이용해서 실시간으로 손의 움직임을 보여줄 수 있어서, 실제로 가상에서 펜으로 글을 쓰거나 키보드를 타이핑하는 등의 행동을 자연스럽게 할 수 있었다.

 

하지만 이 어마무시한 카메라의 갯수를 감당할 수 있는 일반 유저들은 거의 없을 것이다.

 

 

두번째 깊이 감지 카메라

두번째인 깊이 감지 카메라를 사용한 Hand Tracking은 16개에서 대폭 줄어든 한개의 카메라로 손을 감지한다.

게다가 실제로 3D 정보를 제공하기 때문에 당신을 둘러싼 16개의 카메라보다 더 실용적이게 사용 될 수 있다.

 

하지만 깊이 감지 카메라도 이미 한계가 있다. 미세한 움직임까지는 잘 잡아내지 못했기 때문이다.

 

 

세번째 RGB 혹은 단색 카메라

세번째인 RGB 혹은 단색 카메라는 이미 Oculus Quest에 탑재되있다.

Oculus Quest에 장착된 4개의 카메라는 넓은 시야를 가지고 있으면서도 매우 작고 가벼우면서, 무게만큼이나 전력 사용도 적다. 물론 가격도 깊이 감지 카메라보다 싸다.

 

 

 

하지만 Oculus가 가진 문제는 2D 이미지만 가져오는 카메라로 핸드 트래킹 기술을 만드는 것이었다.

 

돔 안에 있는 16개의 카메라도 아니고 3D 정보를 보내는 깊이 감지 카메라도 아닌 4개의 단색 카메라로 Oculus는 과연 어떻게 핸드 트래킹을 해낸 것일까?

 

---

Oculus의 Hand Tracking

좀 전에 얘기했듯이 Oculus의 카메라로는 2D 이미지 밖에 가져올 수 없다.

그래서 Oculus에서는 2D 이미지를 VR 내에서 Hand Tracking으로 구현하기 위해서 몇가지 방법을 이용했다.

 

 

Step 1.

첫번째로 손의 위치를 파악하기 위해서 각 손을 따라다니는 사각형 경계를 그렸다.

 

Step 2.

두번째로 그려진 경계 내의 손에 관절 같은 부위에 키포인트를 설정했다.

 

Step 3.

세번째로 설정한 키포인트를 통해 손의 형태가 어떤 모양인지 추측하여 3D 이미지로 생성해냈다.

 

이게 전부다.

기존의 16대의 카메라도 필요없고 깊이 감지 카메라도 필요없는 단순히 4개의 단색 카메라를 이용해서 만든 Hand Tracking.

 

"정말 환상적이라는 말 밖에는 표현 할 수 없을 것 같다."

 

이 외의 더 기술이 있다면 딥러닝을 통해 손에 대한 많은 데이터를 모으고 학습시켜 좀 더 정밀한 Tracking이 가능하게 했다는 것이다.

 

Oculus는 아마 핸드트래킹을 더 정밀하게 만들어나감과 동시에 다음 Step을 준비하고 있을 것이다.

 

바로 ‘신경 인터페이스’를 말이다.

실제로 벌써 CTRL-labs가 이미 Oculus와 협력하고 있다. 단순 손목장치로 아직 프로토타입이지만 불가능한 기술은 아니라는 것이다.

 

 

내년 Oculus Connect에서는 신경 인터페이스 더 발전해서 발표되는 순간이 왔으면 하는 바램이다.