버츄얼 엔터테인먼트 LABRESEARCH & EXPERIMENTLAB HOME ↗
← LAB 작품 목록
AI-RESPONSIVE REAL-TIME INTERACTIVE MOVIE

AI 기반 관객 감정 반응형
실시간 인터랙티브 무비

관객의 반응이 장면의 분위기가 되고, 관객의 참여가 이야기 속 임무로 이어집니다. 예술혼을 사고파는 학교의 비밀, 시간을 멈춘 경찰대, 실제 배우와 연결되는 가상 인물 ‘하루’. AI 표정 반응과 로코코 무선 라이브 연기가 만나는 인터랙티브 무비입니다.

예술혼 학교 — 학교는 밤을 기억한다 —

STELLA SCHOOL · 관객 감정 표현 기반 연출 · 실시간 3D 영상 · 무선 라이브 퍼포먼스 · AI 활용 제작

어두운 교실과 중앙 동상이 보이는 가상 학교 공간의 개발 화면
가상 학교 공간의 개발 화면. 어두운 교실과 빛의 대비로 작품의 공간 분위기를 구성합니다.
01 / SYNOPSIS · 예술혼 학교

학교는 밤을 기억한다.

화려한 예술 축제 뒤에 숨겨진 비밀.
멈춘 시간은 단 5분, 이제 관객도 수사에 참여합니다.

어려서부터 예술 영재로 자랐지만 유명 예술고등학교 진학에 실패한 학생들. ‘예술혼 학교’는 면접을 통해 이들을 받아들이고, 모든 학생에게 기숙사 생활을 요구합니다. 기숙사에서 벌어진 비극적인 사건으로 세상에 알려진 이 학교의 지하에는, 누구도 알아서는 안 되는 연구소 ‘예혼(藝魂)’이 숨어 있습니다.

밤마다 연구소장 이고출은 말과 자동차의 중간 형태인 특수 인공 마차 ‘마령’을 도시로 보냅니다. 마령의 임무는 뛰어난 예술혼을 지닌 학생을 찾아 그들의 예술혼을 수집하는 것. 연구소는 시간을 더하고 빼는 기계 ‘시간홀’로 예술혼을 배양하고, 시간 조작과 신분 대체를 대학 입시에 이용합니다. 재능을 사고파는 은밀한 거래 뒤에는 막대한 대가를 지불하는 학부모와 학교 운영진이 있습니다.

불법 거래를 추적하던 시간 경찰대는 학교의 연례 예술혼 대축제에 잠입하기로 합니다. 빨강·주황·노랑·초록·파랑, 다섯 색으로 상징되는 특수요원들이 버추얼 아이돌 그룹으로 위장해 무대에 오릅니다. 학생과 학부모가 공연에 환호하는 순간, 경찰대 수장 장대우가 시간을 멈춥니다. 그가 멈출 수 있는 시간은 단 5분입니다.

버추얼 그룹의 리더 ‘원데이’는 실제 배우와 연결된 인간 버추얼 캐릭터 ‘하루’로 전환됩니다. 하루와 다섯 특수요원, 그리고 영화를 지켜보던 관객들은 함께 학교의 비밀을 추적합니다. 시간이 다시 흐르기 전에, 지하 연구소의 범행을 입증할 증거를 찾을 수 있을까요?

관객에게 주어진 이야기 속 임무
멈춘 5분 동안 하루와 힘을 합쳐 예혼의 흔적을 찾고, 예술혼 거래의 비밀을 밝혀내는 것.

  1. 축제 속으로 잠입하다 — 버추얼 아이돌의 공연 아래 비밀 수사가 시작됩니다.
  2. 시간이 멈추다 — 장대우가 만든 5분의 틈에서 학교의 이면을 마주합니다.
  3. 원데이가 하루가 되다 — 실제 배우의 연기로 연결된 하루가 관객과 만납니다.
  4. 함께 증거를 찾다 — 관객은 이야기를 바라보는 자리에서 비밀을 추적하는 동료가 됩니다.
02 / STORY WORLD & CHARACTERS

재능을 빼앗는 학교,
시간을 되찾는 사람들.

예혼 · 마령 · 시간홀

학교 지하의 예술혼 수집 연구소, 밤의 도시를 달리는 인공 마차, 시간을 조작하는 기계. 학생의 재능과 삶을 거래하는 학교의 비밀을 구성합니다.

장대우와 다섯 요원

장대우는 흐르는 시간을 잠시 멈추는 시간 경찰대의 수장입니다. 다섯 요원은 각자의 색을 하나로 모아 강력한 무기를 만들며, 버추얼 아이돌로 위장해 학교에 잠입합니다.

원데이 · 하루 · 관객

그룹의 리더 원데이는 시간이 멈추면 배우와 연결된 하루로 바뀝니다. 하루는 관객과 말을 주고받는 이야기 속 동료가 되어, 함께 증거를 찾는 임무를 이어갑니다.

연구소장 이고출과 그를 경호하는 스무 마리의 흰 비둘기는 학교의 또 다른 기묘한 존재입니다. 분리와 합체가 가능한 비둘기들, 살아 있는 듯 숨 쉬는 마령, 화려한 축제 아래 감춰진 연구소가 예술혼 학교의 낯선 세계를 만듭니다.

03 / A MOVIE THAT RESPONDS

재생되는 영상을 넘어,
지금 반응하는 영화로.

이 작품은 미리 완성된 영상을 같은 순서로 감상하는 대신, 실시간 3D 공간과 라이브 퍼포먼스를 결합합니다. 체험자는 휴대폰으로 장면 안을 탐색하고, 가상 인물 ‘하루’와 말을 주고받으며 학교에 남겨진 이야기를 발견합니다.

하루를 연기하는 배우는 상대의 말과 행동에 즉흥적으로 반응하고, 주변 관람객의 표정은 공용 화면의 빛과 안개를 바꿉니다. 탐색은 이야기를 진행하고, 연기는 대화를 만들며, 표정은 장면의 정서를 채웁니다. 서로 다른 참여가 만나 매 순간의 화면과 대화가 달라지는 인터랙티브 무비입니다.

04 / AUDIENCE EXPRESSION & AI

미소는 빛으로,
놀람은 안개로.

AI 기반 얼굴 특징 추적이 관객의 입꼬리·눈썹·미간 움직임을 읽어 공용 화면의 조명과 안개, 입자 효과에 연결합니다. 작품에서 ‘감정 반응형’은 표정으로 드러난 감정 표현을 영상의 분위기로 바꾸는 방식입니다. 최대 다섯 얼굴의 유효 신호를 모아 관람객의 반응을 공간 연출에 반영합니다.

미소 · 황금빛

올라가는 입꼬리는 따뜻한 빛과 높아지는 밝기, 떠오르는 입자로 이어집니다.

놀람 · 푸른 안개

눈과 눈썹의 확장은 푸른빛과 짙어지는 안개로 표현됩니다.

긴장 · 자주빛

미간과 눈 주변의 움직임은 낮아지는 조명과 자주빛 안개를 만듭니다.

관객의 표정은 화면과 주고받는 표현의 통로입니다. 사람의 내면 감정을 단정하는 대신, 포착된 얼굴 움직임을 작품이 정한 시각 언어로 풀어냅니다. 주변 관람객이 장면의 분위기에 참여하는 동안 체험자는 단서를 찾고 하루와 대화하며 이야기를 이어갑니다.

관객의 반응이 장면이 되는 과정
표정 움직임 → AI 얼굴 특징 추적 → 연출 신호 → 빛·안개·입자의 실시간 변화

카메라 영상은 운영 기기에서 처리하며, 기기 간에는 얼굴 영상 대신 집계된 연출 신호를 공유합니다. 표정 반응은 빛과 안개 등 공간의 분위기를 바꾸는 데 사용됩니다.

05 / THREE WAYS TO PARTICIPATE

다르게 참여하고,
같은 순간을 만납니다.

배우 · 하루가 되다

몸짓과 손가락, 표정과 목소리로 하루를 연기합니다. 체험자의 행동과 말에 맞춰 반응하며, 준비된 영상이 아닌 지금 이 순간의 인물을 만들어냅니다.

체험자 · 단서를 찾다

휴대폰으로 가상 학교를 탐색하고 사물을 선택하며 하루에게 말을 겁니다. 시놉시스 속 공동 수사처럼, 관객의 발견과 대화가 작품에 참여하는 통로가 됩니다.

관람객 · 분위기를 만들다

공용 화면으로 여정을 함께 지켜봅니다. 입꼬리와 눈썹, 미간의 움직임이 빛·안개·입자로 번지며 작품의 분위기에 참여합니다.

배우의 모션과 목소리, 체험자의 탐색과 대화, 관람객의 표정이 작품 안에서 연결되는 참여 구조
서로 다른 입력과 화면으로 연결되는 세 참여자. 같은 사건을 각자의 위치에서 경험합니다.
06 / ROKOKO · WIRELESS LIVE PERFORMANCE

현실의 몸짓이,
무선으로 하루에게.

실시간 인터랙티브 무비 속 하루는 배우와 관객이 만나는 가상 인물입니다. 배우의 연기는 로코코(Rokoko) 모션 캡처와 무선 네트워크 전송을 통해 장면 안으로 이어집니다. M1 Max의 Rokoko Studio에서 받은 모션 데이터를 M5 실행 시스템으로 전달하고, 하루의 신체와 손가락 관절에 맞춰 움직임을 연결합니다. 얼굴 계수는 하루 모델의 표정 모프에 대응시켜 몸짓과 표정이 함께 드러나도록 구성했습니다.

라이브 모션 연결
배우의 움직임 → Rokoko Studio · M1 Max → 무선 네트워크 전송 → M5 실행 시스템 → 가상 인물 ‘하루’

고개를 돌리고 손을 내밀거나 몸을 움직이는 행동이 하루의 연기가 됩니다. 실제 공간에서 들어온 이동은 가상 학교의 벽과 가구, 인물의 충돌 규칙 안에 배치됩니다. 모션 입력이 잠시 끊기면 마지막 자세를 유지하도록 구성했습니다.

좁은 연기 공간에서도 장면을 이어갈 수 있도록 수평 위치 잠금 기능을 마련했습니다. 하루의 위치를 잠시 고정한 채 배우가 실연 공간의 중앙으로 돌아오고, 그 자리에서 이동을 다시 시작합니다. 그동안 몸·손·표정과 목소리의 표현은 계속 이어집니다.

07 / A CONVERSATION ACROSS SCREENS

화면 너머에서도,
서로를 보며 대화합니다.

체험자가 휴대폰으로 건넨 말은 음성 인식을 거쳐 배우 화면의 자막으로 전달됩니다. 배우는 그 말에 반응해 자신의 목소리로 답하고, 체험자는 하루의 음성으로 응답을 듣습니다. 몸짓뿐 아니라 대화도 두 사람을 같은 장면에 머물게 합니다.

하루의 시점, 전신과 얼굴, 체험자 정보와 대화 자막을 함께 보여 주는 배우 모니터
배우 모니터 화면. 하루의 시점과 자신의 전신·표정, 상대의 위치와 대화 자막을 함께 확인합니다.

배우는 모니터에서 상대의 위치와 휴대폰 카메라 방향을 살피고, 자신이 어떻게 보이는지도 확인합니다. 같은 Wi-Fi에 연결된 태블릿에서도 전용 QR로 배우 모니터를 열 수 있어, 모션·음성 입력 기기와 별도로 화면을 배치할 수 있습니다.

08 / CREATED WITH GENERATIVE AI

AI가 반응을 읽고,
AI와 함께 장면을 만듭니다.

이 작품에서 AI는 두 가지 역할을 맡습니다. 얼굴 특징 추적 AI는 관객의 표정 움직임을 연출 입력으로 바꾸고, 생성형 AI는 이야기·공간·인터랙션의 기획과 구현을 돕습니다. 이야기와 공간·대사 구성안을 만들고, 필요한 기능을 구체화하며, 인터랙션 코드를 작성·수정하는 과정에 AI를 활용했습니다. 오류를 점검하고 실제 실행 화면을 확인하면서 장면과 동작을 반복해서 다듬었습니다.

이야기와 공간

하루와 나누는 대화, 복도와 교실의 분위기 등 장면을 구성하는 아이디어를 확장했습니다.

인터랙션 구현

이동·선택·대화와 역할별 화면 연결에 필요한 요구를 정리하고 코드를 작성·수정했습니다.

실행과 조정

직접 실행하며 충돌, 연결 상태, 화면 배치를 확인하고 발견한 문제를 다음 수정에 반영했습니다.

AI는 제작 과정의 협업 도구이고, 라이브 장면 속 하루의 몸짓과 목소리는 배우의 연기입니다. 관람객의 얼굴 특징을 읽는 기능은 생성형 AI 제작 지원과 별도로, 표정을 공간 연출에 연결하는 역할을 맡습니다.

09 / ONE SHARED MOMENT

영화의 관객에서,
장면의 참여자로.

예술혼 학교의 시놉시스는 관객을 비밀 수사의 동료로 초대합니다. 인터랙티브 무비의 장면은 배우의 몸, 체험자의 휴대폰, 관람객의 표정과 공용 화면 사이에서 만들어집니다. AI 기반 반응형 연출과 무선 라이브 퍼포먼스가 만나, 관객은 영화를 보는 사람에서 그 순간의 분위기와 대화를 함께 만드는 참여자가 됩니다.

LAB 작품 목록으로 ←