웹툰 캐릭터가 화면 찢고 나온다?…카이스트, 세계 첫 XR 만화 플랫폼 개발

독자들이 현실 공간에서 웹툰을 더욱 입체적이고 다채롭게 즐길 수 있도록 돕는 차세대 확장현실(XR) 만화 플랫폼이 새롭게 등장했다.

한국과학기술원(KAIST) 전기및전자공학부 이안 오클리 교수 연구팀은 인간-컴퓨터 상호작용(HCI) 전문가를 비롯해 실제 웹툰 작가와 독자 등 15명이 참여한 체계적인 사용자 연구를 진행하고, 차세대 XR 만화가 지향해야 할 핵심 디자인 원칙과 발전 방향을 제시했다고 21일 발표했다.

연구팀은 XR 환경에서 만화를 감상하고 직접 제작까지 할 수 있는 플랫폼 '코믹스XR(ComiXR)'을 선보였다. 아울러 참가자들이 기존 종이 만화를 XR 환경에 맞춰 직접 변환해 제작하고 체험할 수 있도록 했다.

종이 만화책에서 시작된 만화는 스마트폰 보급과 함께 세로 스크롤 형태의 웹툰으로 진화하며 급격한 성장을 이뤘다. 연구팀은 이 같은 웹툰의 다음 단계로 XR 기기에 주목했다.

기존 화면에서는 구현하기 어려웠던 공간감과 입체 음향, 시선 추적 기술 등을 만화에 접목하기 위해 메타 퀘스트 프로를 기반으로 한 ComiXR 플랫폼을 구축했다.

실험에 참가한 이들은 기기를 착용한 상태로 실제 방 안에 3차원(3D) 캐릭터와 말풍선, 의성어 효과 등을 자유롭게 배치하면서, 본인에게 가장 편안하고 몰입감을 극대화할 수 있는 만화 공간을 직접 구성했다.

실험 결과, 참가자들은 단순히 평면 만화면을 가상 공간에 띄우는 형태보다 현실 공간의 깊이감을 적극적으로 활용한 연출에 훨씬 높은 선호도를 보였다. 배경 뒤편에 캐릭터를 배치하거나 말풍선을 별도의 레이어로 분리했을 때 몰입감이 대폭 향상됐다. 연출적인 면에서도 독자의 시선을 추적해 특정 캐릭터를 바라볼 때만 다음 대사가 등장하도록 설정함으로써 결말이 미리 노출되는 스포일러를 효과적으로 방지하는 효과를 확인했다.

이와 함께 독자의 표정 변화에 맞춰 특수효과가 구동되거나, 햅틱 기능을 이용해 등장인물의 심장 박동을 직접 전달하는 등 기존 만화 매체에서는 경험할 수 없었던 차별화된 감각적 경험도 함께 구현해 냈다.

연구팀은 참가자들이 XR 만화에 대해 전반적으로 긍정적인 반응을 보인 점을 이번 연구의 핵심 성과 중 하나로 꼽았다. 참가자들은 "마치 아이맥스 화면으로 만화를 감상하는 듯한 기분이다. 앞으로도 계속 이용해보고 싶다"라며 XR 만화가 작품의 그림과 세계관을 더욱 풍성하게 표현할 수 있는 매체라고 호평했다.

연구팀은 XR 만화가 기존 스마트폰 웹툰을 완전히 대체하기보다는, 작품 속 세계관을 더욱 생생하게 경험할 수 있는 특별 전시나 교육용 콘텐츠, 시각장애인 및 저시력자 등 다양한 사용자의 문화 접근성을 확장하는 신개념 플랫폼으로 자리 잡을 것으로 전망했다.

이안 오클리 교수는 "단순히 만화를 입체적으로 구현한 것이 아니라 독자의 공간과 시선, 움직임까지 고려해 미래의 만화를 어떻게 설계해야 하는지를 제시한 연구"라며 "앞으로 XR 기술은 누구나 만화를 더욱 몰입감 있게 경험할 수 있는 새로운 콘텐츠 환경을 만드는 데 중요한 역할을 할 것"이라고 설명했다.

이번 연구는 KAIST 정보전자연구소 아마르 알타이 박사후연구원이 제1저자로, 전기및전자공학부 한현영 박사과정생이 공동 저자로 참여했다. 연구 결과는 인간-컴퓨터 상호작용 및 디자인 분야의 국제학술대회인 '에이씨엠 디아이에스 2026(ACM DIS 2026)'에서 발표됐다.

한편, 이번에 개발된 ComiXR 플랫폼은 오픈소스로 공개되어 누구나 자유롭게 활용할 수 있다.