이용안내

VR(가상현실), AR(증강현실)이라는 키워드가 전 세계를 한번 훑고 지나갔다. 사실 아직은 개발해야 할 기술이 많음에도 불구하고, 유행처럼 지나간 VR, AR은 이제 좀 식상하게 느껴진다. 하지만 VR 콘텐츠를 경험해 보면 과거에 비해서는 많이 걸어왔지만, 가야할 길이 많이 남아있음을 본능적으로 알 수 있다. 콘텐츠 향유자는 가상과 실재의 간극을 너무나도 당연하게 느낄 수 밖에 없기 때문이다. 이러한 경험은 아직 기술이 우리의 감각을 완벽히 속일만큼 발전되지 못했음을 말해주고 있으며, 이러한 까닭에 VR 기술은 더욱 발전해야 할 것들이 남아있다.

올해 8월 캐나다 밴쿠버에서 열린 SIGGRAPH 2018은 세계 컴퓨터그래픽스 기술을 한 곳에서 소개하는 자리이다. 여기에서는 전 세계적으로 유명한 컴퓨터 그래픽스 애니메이션과 영상을 선보이는 세션 뿐 아니라 최첨단 컴퓨터 그래픽스 관련 업체들이 한 자리에 모여 제각기 신기술을 선보이는 전시장도 있으며, 새로운 실험적 미디어 아트를 선보이는 세션도 있다. 그 중 가장 하이라이트는 아마도 컴퓨터 그래픽스 분야의 최고 논문을 소개하는 Technical Papers 세션이 아닐까 싶다. 오늘 교수서평에서 소개하고자 하는 기술은 이 SIGGRAPH 2018에서 소개된 따끈따끈한 기술 논문이다.

논문의 제목은 'Towards Virtual Reality Infinite Walking: Dynamic Saccadic Redirection'으로 그래픽 카드로 유명한 nVidia와 포토샵으로 유명한 Adobe사의 연구원인 Qi Sun이 발표한 기술이다. 제목에서도 알 수 있듯이, 소개된 기술은 VR환경에서 무한히 걸을 수 있도록 방향을 조절해 주는 기술이다. 가상공간에서의 움직임을 실제 공간으로 1대1 매핑을 하는 것은 대부분의 경우 비현실적이며 효율성이 떨어진다. 그렇기 때문에 최근에는 방에서 체험할 수 있는 VR 시나리오의 경우 가상공간 안에 벽을 세워 사용자가 더 이상 가지 않도록 하거나, 텔레포트를 하는 등의 방법을 통해 움직임을 제어하고 있다. 이러한 방법들은 크기가 작거나 불규칙한 공간에서는 넓은 가상공간을 체험하지 못하는 문제가 발생한다. 또한 다수의 사용자들이 서로 부딪힐 수 있는 위험이 늘 존재하기 마련이다. 가장 이상적인 해결 방법은 작고 유한한 실제 공간에서도 가상공간에서는 무한히 걷고 있다고 인지하도록 하는 것이다.

사용자들에게 무한히 걷고 있다는 경험을 주기 위해서 기존에 개발된 방법으로는 트레드밀이 있었다. VR HMD를 끼고 트레드밀 위에서 무한히 걸음으로써 사용자는 지속적으로 VR 공간을 걷고 있다고 느낄 수 있다. 그러나 이러한 장치들이 대안이 될 수 있으나 가격이 비싸고, 방 안에 물리적인 공간을 차지하며, 무릎 꿇고 가는 자세나 점프하는 자세와 같은 자유로운 동작을 하기는 어렵다. 최근의 연구들은 HMD를 이용해 실제 공간과 가상공간 사이의 매핑을 제어함으로써 방향을 전환하며 걷는 방식에 대하여 연구가 진행되고 있다. 예를 들면 이전에 SIGGRAPH에서 발표된 기술로 가상공간을 비선형적 변형함수를 이용하여 외곡 시키거나 반복시키는 방법이 제안된 적 있다. 그러나 이 방법들은 최소한 36㎡ 아직 일반적인 집이나 사무실의 크기에 맞지 않은 큰 공간이 필요하다. 저자들은 이전 기법들이 실시간으로 사용자와 공간의 변화에 반응할 수 없는 인지에 의한 제한이 주된 이유라고 보았다.

저자들은 이 논문에서 새롭게 12.25㎡의 작은 공간에서 실현 가능한 동적인 솔루션을 제안하였다. 이들이 제안한 기술은 HTC Vive나 Oculus Rift 등의 상용화된 HMD 장치에도 사용할 수 있다. 논문에서 사용자가 훨씬 더 활동적으로 움직일 수 있는 방법으로 구체적으로 제안한 주요 혁신 기술은 HMD 내부에 시선 트래킹 카메라를 이용하여 사카드라고 하는 빠른 안구 운동을 트랙킹 하여 VR 시나리오를 바탕으로 하는 경로를 예측하고 지시하는 것이다.  

사카드는 빠른 안구 운동을 일컫는데, 사람이 일시적으로 장님처럼 볼 수 없는 현상을 사카드 억제(Saccadic Suppression)이라고 한다. 사카드는 의식적이든 의식적이지 않던, 초점 위치를 바꾸는 안구운동인데, 사카드 억제는 일시적으로 장님을 만들어서 사카드가 일어난 이후 시야에 비추어 지는 것들에 대해 캘리브레이션을 하는 중요한 시각 시스템이다. 저자는 이 개념을 활용하여 가상세계를 미세하게 변화시켜 예측되는 실제 세계에서의 충돌을 피하도록 하였다. 이 방법은 시각과 전정기관(머리의 수평, 수직 선형 가속도, 회전 운동을 감지하여 중추평형기관에 전달하여 신체의 균형을 유지하게 하는 기관) 경험에 있어도 신뢰도를 유지할 수 있어 기존의 방법보다 어지러움을 덜어준다. 이것은 기존의 VR 콘텐츠를 경험했을 때, 종종 멀미나는 경험을 느낄 수가 있었는데, 그 부작용을 줄일 수 있는 중요한 전환점이 될 수 있다. 예를 들면, 롤러 코스터와 같이 속도가 매우 빠른 VR 콘텐츠를 경험했을 때나 나이가 많은 경우에 주로 어지러운 현상이 심해지는데, 우리 몸의 중추평형기관을 속일 수 있다면 어지러움증을 대폭 줄일 수 있을 것이다. 이외에도, 저자는 이 기술의 효율성을 상승시키기 위하여 한쪽으로 유도할 수 있는 지시자와 콘텐츠 기반의 패스 플래너도 사용하였다.

이 기술 이전에 발표된 논문에서는 머리의 회전이 일어날 때 VR 공간에 있는 카메라의 회전 값을 조절함으로써 사용자의 움직임을 조절하였다. 여기서 새롭게 제시된 방법은 가상공간에서 유저가 이동하고 머리를 회전할 때, 카메라의 회전을 다시 고정시킬 뿐 아니라 눈의 사카드가 일어날 때, 주로 눈을 깜박일 때, 카메라의 회전을 조절함으로써 유저로 하여금 방향전환을 야기시키는 방법이다. 머리가 회전할 때 사용된 방법과 비슷하게 사카드 현상이 일어날 때 카메라 회전이 유저가 인지할 수 없을 만큼 조금씩 일어난다. 대신 머리 회전할 때보다는 자주 일어나기 때문에 많은 양의 방향 전환을 꾀할 수 있다.

방향전환 워킹 방법론은 3가지 부분으로 구성된다.

1. 사카드 탐지 : 시선 트랙킹을 이용하여 사카드를 인식하며 가상공간에서 방향 전환을 위한 기회를 탐색한다.

2. 다이나믹 패스 플래닝 : 사카드가 일어났을 때, 주변의 실제 공간을 인식하여 가상 카메라를 재조정 한다.

3. 미세하게 조절된 응시 방향 : 일시적으로 유저의 시각적 자극을 조절할 수 있도록 렌더링 한다.

다음 그림은 실제 이 기술이 적용된 VR 공간에서 사용자의 방향을 전환시킴으로써 앞에서 다가오는 다른 사용자와의 충돌을 피할 수 있도록 유도하는 장면이다. 

이 논문은 사카드 반응 시 회전 기반의 재방향 시스템으로 일반적인 방 사이즈의 VR과 큰 규모의 VR 모두에서 효율적인 시스템을 제안하였으며, GPU 기반으로 구현되어 실시간 연산이 가능하다. 새롭게 제시된 기술이 VR공간과 실재 공간에서 일어날 수 밖에 없는 크기의 차이를 효과적으로 극복하였으나, 그럼에도 불구하고 최근의 연구는 머신러닝이나 로보틱스 분야와 접목시켜 더 빠르고 정확한 연구들이 개발되고 있다. 앞으로 VR 기술은 타 분야와의 융합을 통해 더욱 새롭고 강력한 기술들이 선보이게 될 것이다.