예혼 · 마령 · 시간홀
학교 지하의 예술혼 수집 연구소, 밤의 도시를 달리는 인공 마차, 시간을 조작하는 기계. 학생의 재능과 삶을 거래하는 학교의 비밀을 구성합니다.
관객의 반응이 장면의 분위기가 되고, 관객의 참여가 이야기 속 임무로 이어집니다. 예술혼을 사고파는 학교의 비밀, 시간을 멈춘 경찰대, 실제 배우와 연결되는 가상 인물 ‘하루’. AI 표정 반응과 로코코 무선 라이브 연기가 만나는 인터랙티브 무비입니다.
예술혼 학교 — 학교는 밤을 기억한다 —

화려한 예술 축제 뒤에 숨겨진 비밀.
멈춘 시간은 단 5분, 이제 관객도 수사에 참여합니다.
어려서부터 예술 영재로 자랐지만 유명 예술고등학교 진학에 실패한 학생들. ‘예술혼 학교’는 면접을 통해 이들을 받아들이고, 모든 학생에게 기숙사 생활을 요구합니다. 기숙사에서 벌어진 비극적인 사건으로 세상에 알려진 이 학교의 지하에는, 누구도 알아서는 안 되는 연구소 ‘예혼(藝魂)’이 숨어 있습니다.
밤마다 연구소장 이고출은 말과 자동차의 중간 형태인 특수 인공 마차 ‘마령’을 도시로 보냅니다. 마령의 임무는 뛰어난 예술혼을 지닌 학생을 찾아 그들의 예술혼을 수집하는 것. 연구소는 시간을 더하고 빼는 기계 ‘시간홀’로 예술혼을 배양하고, 시간 조작과 신분 대체를 대학 입시에 이용합니다. 재능을 사고파는 은밀한 거래 뒤에는 막대한 대가를 지불하는 학부모와 학교 운영진이 있습니다.
불법 거래를 추적하던 시간 경찰대는 학교의 연례 예술혼 대축제에 잠입하기로 합니다. 빨강·주황·노랑·초록·파랑, 다섯 색으로 상징되는 특수요원들이 버추얼 아이돌 그룹으로 위장해 무대에 오릅니다. 학생과 학부모가 공연에 환호하는 순간, 경찰대 수장 장대우가 시간을 멈춥니다. 그가 멈출 수 있는 시간은 단 5분입니다.
버추얼 그룹의 리더 ‘원데이’는 실제 배우와 연결된 인간 버추얼 캐릭터 ‘하루’로 전환됩니다. 하루와 다섯 특수요원, 그리고 영화를 지켜보던 관객들은 함께 학교의 비밀을 추적합니다. 시간이 다시 흐르기 전에, 지하 연구소의 범행을 입증할 증거를 찾을 수 있을까요?
관객에게 주어진 이야기 속 임무
멈춘 5분 동안 하루와 힘을 합쳐 예혼의 흔적을 찾고, 예술혼 거래의 비밀을 밝혀내는 것.
학교 지하의 예술혼 수집 연구소, 밤의 도시를 달리는 인공 마차, 시간을 조작하는 기계. 학생의 재능과 삶을 거래하는 학교의 비밀을 구성합니다.
장대우는 흐르는 시간을 잠시 멈추는 시간 경찰대의 수장입니다. 다섯 요원은 각자의 색을 하나로 모아 강력한 무기를 만들며, 버추얼 아이돌로 위장해 학교에 잠입합니다.
그룹의 리더 원데이는 시간이 멈추면 배우와 연결된 하루로 바뀝니다. 하루는 관객과 말을 주고받는 이야기 속 동료가 되어, 함께 증거를 찾는 임무를 이어갑니다.
연구소장 이고출과 그를 경호하는 스무 마리의 흰 비둘기는 학교의 또 다른 기묘한 존재입니다. 분리와 합체가 가능한 비둘기들, 살아 있는 듯 숨 쉬는 마령, 화려한 축제 아래 감춰진 연구소가 예술혼 학교의 낯선 세계를 만듭니다.
이 작품은 미리 완성된 영상을 같은 순서로 감상하는 대신, 실시간 3D 공간과 라이브 퍼포먼스를 결합합니다. 체험자는 휴대폰으로 장면 안을 탐색하고, 가상 인물 ‘하루’와 말을 주고받으며 학교에 남겨진 이야기를 발견합니다.
하루를 연기하는 배우는 상대의 말과 행동에 즉흥적으로 반응하고, 주변 관람객의 표정은 공용 화면의 빛과 안개를 바꿉니다. 탐색은 이야기를 진행하고, 연기는 대화를 만들며, 표정은 장면의 정서를 채웁니다. 서로 다른 참여가 만나 매 순간의 화면과 대화가 달라지는 인터랙티브 무비입니다.
AI 기반 얼굴 특징 추적이 관객의 입꼬리·눈썹·미간 움직임을 읽어 공용 화면의 조명과 안개, 입자 효과에 연결합니다. 작품에서 ‘감정 반응형’은 표정으로 드러난 감정 표현을 영상의 분위기로 바꾸는 방식입니다. 최대 다섯 얼굴의 유효 신호를 모아 관람객의 반응을 공간 연출에 반영합니다.
올라가는 입꼬리는 따뜻한 빛과 높아지는 밝기, 떠오르는 입자로 이어집니다.
눈과 눈썹의 확장은 푸른빛과 짙어지는 안개로 표현됩니다.
미간과 눈 주변의 움직임은 낮아지는 조명과 자주빛 안개를 만듭니다.
관객의 표정은 화면과 주고받는 표현의 통로입니다. 사람의 내면 감정을 단정하는 대신, 포착된 얼굴 움직임을 작품이 정한 시각 언어로 풀어냅니다. 주변 관람객이 장면의 분위기에 참여하는 동안 체험자는 단서를 찾고 하루와 대화하며 이야기를 이어갑니다.
관객의 반응이 장면이 되는 과정
표정 움직임 → AI 얼굴 특징 추적 → 연출 신호 → 빛·안개·입자의 실시간 변화
카메라 영상은 운영 기기에서 처리하며, 기기 간에는 얼굴 영상 대신 집계된 연출 신호를 공유합니다. 표정 반응은 빛과 안개 등 공간의 분위기를 바꾸는 데 사용됩니다.
몸짓과 손가락, 표정과 목소리로 하루를 연기합니다. 체험자의 행동과 말에 맞춰 반응하며, 준비된 영상이 아닌 지금 이 순간의 인물을 만들어냅니다.
휴대폰으로 가상 학교를 탐색하고 사물을 선택하며 하루에게 말을 겁니다. 시놉시스 속 공동 수사처럼, 관객의 발견과 대화가 작품에 참여하는 통로가 됩니다.
공용 화면으로 여정을 함께 지켜봅니다. 입꼬리와 눈썹, 미간의 움직임이 빛·안개·입자로 번지며 작품의 분위기에 참여합니다.

실시간 인터랙티브 무비 속 하루는 배우와 관객이 만나는 가상 인물입니다. 배우의 연기는 로코코(Rokoko) 모션 캡처와 무선 네트워크 전송을 통해 장면 안으로 이어집니다. M1 Max의 Rokoko Studio에서 받은 모션 데이터를 M5 실행 시스템으로 전달하고, 하루의 신체와 손가락 관절에 맞춰 움직임을 연결합니다. 얼굴 계수는 하루 모델의 표정 모프에 대응시켜 몸짓과 표정이 함께 드러나도록 구성했습니다.
라이브 모션 연결
배우의 움직임 → Rokoko Studio · M1 Max → 무선 네트워크 전송 → M5 실행 시스템 → 가상 인물 ‘하루’
고개를 돌리고 손을 내밀거나 몸을 움직이는 행동이 하루의 연기가 됩니다. 실제 공간에서 들어온 이동은 가상 학교의 벽과 가구, 인물의 충돌 규칙 안에 배치됩니다. 모션 입력이 잠시 끊기면 마지막 자세를 유지하도록 구성했습니다.
좁은 연기 공간에서도 장면을 이어갈 수 있도록 수평 위치 잠금 기능을 마련했습니다. 하루의 위치를 잠시 고정한 채 배우가 실연 공간의 중앙으로 돌아오고, 그 자리에서 이동을 다시 시작합니다. 그동안 몸·손·표정과 목소리의 표현은 계속 이어집니다.
체험자가 휴대폰으로 건넨 말은 음성 인식을 거쳐 배우 화면의 자막으로 전달됩니다. 배우는 그 말에 반응해 자신의 목소리로 답하고, 체험자는 하루의 음성으로 응답을 듣습니다. 몸짓뿐 아니라 대화도 두 사람을 같은 장면에 머물게 합니다.

배우는 모니터에서 상대의 위치와 휴대폰 카메라 방향을 살피고, 자신이 어떻게 보이는지도 확인합니다. 같은 Wi-Fi에 연결된 태블릿에서도 전용 QR로 배우 모니터를 열 수 있어, 모션·음성 입력 기기와 별도로 화면을 배치할 수 있습니다.
이 작품에서 AI는 두 가지 역할을 맡습니다. 얼굴 특징 추적 AI는 관객의 표정 움직임을 연출 입력으로 바꾸고, 생성형 AI는 이야기·공간·인터랙션의 기획과 구현을 돕습니다. 이야기와 공간·대사 구성안을 만들고, 필요한 기능을 구체화하며, 인터랙션 코드를 작성·수정하는 과정에 AI를 활용했습니다. 오류를 점검하고 실제 실행 화면을 확인하면서 장면과 동작을 반복해서 다듬었습니다.
하루와 나누는 대화, 복도와 교실의 분위기 등 장면을 구성하는 아이디어를 확장했습니다.
이동·선택·대화와 역할별 화면 연결에 필요한 요구를 정리하고 코드를 작성·수정했습니다.
직접 실행하며 충돌, 연결 상태, 화면 배치를 확인하고 발견한 문제를 다음 수정에 반영했습니다.
AI는 제작 과정의 협업 도구이고, 라이브 장면 속 하루의 몸짓과 목소리는 배우의 연기입니다. 관람객의 얼굴 특징을 읽는 기능은 생성형 AI 제작 지원과 별도로, 표정을 공간 연출에 연결하는 역할을 맡습니다.
예술혼 학교의 시놉시스는 관객을 비밀 수사의 동료로 초대합니다. 인터랙티브 무비의 장면은 배우의 몸, 체험자의 휴대폰, 관람객의 표정과 공용 화면 사이에서 만들어집니다. AI 기반 반응형 연출과 무선 라이브 퍼포먼스가 만나, 관객은 영화를 보는 사람에서 그 순간의 분위기와 대화를 함께 만드는 참여자가 됩니다.
LAB 작품 목록으로 ←