비주얼 이펙트와 인공지능이 만나면…

증강현실 업계는 인수 열풍에 휩싸여 있다. 페이스북과 스냅, 애플을 비롯한 수많은 기업이 유저 인게이지먼트(User Engagement)를 높일 것으로 기대되는 팀과 기술에 돈을 쏟아 붓고 있다.

덴마크를 기반으로 한 스펙트럴(Spektral)은 이 분야에서 성공을 노리는 비주얼 이펙트 스타트업. 최근 스펙트럴은 머신러닝을 기반으로 한 실시간, 그린스크린 기술 개발을 위한 자금을 마련하기 위해 라이트캡, 앰프벤처스 등으로부터 280만 달러 투자를 유치하는 데 성공했다.

벤처캐피탈로부터 지원을 받은 스타트업 대부분은 제품 개발에 초점을 맞추지만 이 점에서 스펙트럴은 다르다. 시장 진출에 초점을 맞추기보단 연구 개발과 특허 확보에 심혈을 기울이는 것. 스펙트럴은 처음에는 클라우드컷아웃(CloudCutout)이라는 스틸 프레임에 초점을 맞췄지만 점점 그래프 이론과 머신러닝을 결합한 실시간 영상 쪽으로 방향을 옮기고 있다. 그래프 이론과 머신러닝을 결합, 배경에서 사람과 물체를 분리해 새로운 스트림에 겹치는 오버레이 기술을 연구 중인 것.

이런 기술이 스냅챗이나 페이스북 메신저에 구현되어 있다고 생각하기 쉽지만 널리 쓰이고 있는 건 아니다. 스펙트럴이 프로덕션과 광고 같은 다른 용도로도 이 기술을 쓸 수 있다는 걸 보여주려고 노력하는 이유도 여기에 있을 터다.

물론 이미 머신러닝을 통해 객체를 배경에서 분리해 새로운 가능성을 열어줄 수 있을지에 대한 연구를 스펙트럴만 해온 건 아니다. 어도비나 베크만첨단과학기술연구소, 일리노이대학 어바나샴페인캠퍼스가 공동 연구를 통해 처리 과정 자동화에 대한 연구 결과를 발표, 영상과 사진은 완전히 다르다는 점을 밝히기도 했다.

지금까지 인간의 머리카락 같은 가는 선은 컷아웃을 판단하는 핵심 기준이었다. 스펙트럴 창업자이자 CTO인 토크 잰슨(Toke Jansen)은 머리카락을 자르는 게 얼마나 어려운 일인지 사람들이 너무 쉽게 망각한다고 말한다. 사람이 가위로 자르기를 할 때에는 큰 어려움 없이 복잡한 모양도 자를 수 있다. 하지만 최신 딥러닝 기술을 이용한 모델을 활용해도 기계는 그렇지 못할 수 있다.

기업명에서 알 수 있듯 스펙트럴은 비디오 프레임 내에서 이미지 분할을 위한 스펙트럴 클러스터링 실험을 하고 있다. 이를 통해 기존 모델을 발전시키고 향후 이 기술로 지금보다 더 복잡한 영상 편집의 길을 열 수 있을 것으로 기대하고 있다. 스펙트럴은 다음 단계로 다른 사람의 손을 본인의 손으로 움직이는 것 같은 오브젝트 조작을 고려하고 있다.

스펙트럴은 이를 위해 분야별 전문가를 충원하고 있다. 이 중 눈길을 끄는 건 유니티 머신러닝 총괄이었던 대니 랭(Danny Lange)이 이사회에 참여했다는 것이다. 그는 우버의 머신러닝 부문 책임자를 맡기도 했다. 스펙트럴에 대한 자세한 내용은 이곳에서 확인할 수 있다.