창원국제민주영화제

AI 수로부인

AI Mrs. Suro

(부제 : AI가 만든 영화)

감독 : 심은록

출연(아바타) : 수로부인, 백남준, 천룡(하늘신-노인), 해룡(용왕),

순정공, 백성들 등

장르 : AI 판타지, 교육 영화

프리미어 상영 : 제5회 창원국제민주영화제 - 씨네아트 리좀

러닝타임 : 약25분

제작사 : NARA AI Film

AI 테크닉

[시나리오] LLM: ‘나름’ (NA-LLM), ChatGPT4, ClovaX, 등

[이미지, 영상 생성] 나라지식정보가 파인튜닝한 Stable Diffusion, 미드저니, 등*
[목소리] DID, 클로바더빙, 등*

[음악 및 음향 생성] Musicbed, Artlist, Epidemicsound, 등*

박송묵 편집감독, 영상책임 박수연, 음향책임 노지윤, PM 손지호,

‘나름(NA-LLM) 개발자 이규민, SD 파인튜닝 박예인, 홍보 및 마케터 신난타

* 생성 AI 이미지나 영상, AI 음악, 목소리, 효과음은

상업적으로 이용 가능한 라이센스를 사용했다.

그럼에도 AI생성 프로그램의 빅데이터 사용으로 발생할 수 있는 저작권 문제에 대비하여,

편집 과정에서 섬세한 리터치를 했다.

Synopsis

세계 최초의 미디어 아티스트인 백남준은 첨단과학을 좋아하여 “전자무당”이라고 불렸다.

그런 그가 AI변곡점을 맞아 부활했다.

‘AI 무당’이 된 그는 지구뿐 아니라 우주의 모든 생명체와 자연을 위해 노래하며 춤을 춘다.

춤이 점점 흥겨워지면서, 그 주위에 있던 스크린들이 하나둘씩 켜지고, 서로 다른 생명체들이 소통하기 시작한다.

백남준은 이 스크린을 통해 신라 1000년의 다양한 인물들을 초대해서 함께 춤을 출 예정이다.

이번 영화에서는 그 첫 번째 인물로 수로부인이 등장한다.

수로부인 [AI가 만들어낸 최고의 미인, 기대하시라!] 은 너무나 아름다워서 하늘과 바다가 그의 미모를 탐낸다.

하늘 신(천룡, 陽)과 바다 신(해룡, 陰)이 수로 부인(인, 조화)의 맘에 들기 위해 각자의 방법으로 유혹한다.

이 과정에서 인간이 상상하기 어려운, AI가 생성하는 신비, 판타지, 환각이 펼쳐진다.

하늘 신은 우주에서, 바다 신은 용궁에서 각각 우주와 바다의 아름다움을 자랑하며, 수로부인을 유혹하는데... 갑자기 이들이 험악하게 변하며 수로부인을 죽이려고 한다. 왜 그럴까?

수로부인이 생명의 위기에 처했지만, 우주나 용궁에 갈 수 없던 신라인들은 어떻게 그녀를 구해 낼까?

제작동기

‘백남준이라면, AI시대를 어떻게 맞이했을까? 그리고 어떤 근사한 작품을 만들어 낼까?’

AI가 만든 영화인 “AI 수로부인”은 상기의 질문으로 시작됐고, 그래서 프롤로그에도 그 질문을 던지기 위해 백남준을 등장시켰다. 2022년~2023년은 생성형 AI의 변곡점의 시대로, 거대언어모델(LLM)과 AI 아트 생성기(AI art generators)의 놀라운 발전과 변혁이 일어나고 있다. 조지 오웰처럼 AI가 인간을 지배하는 어두운 미래를 예상하며 저항을 준비할 수도 있다. 혹은 어차피 맞부딪힐 미래라면 예술과 창의성으로 이를 극복하자는 백남준과 같은 긍정개혁파도 있다. 이를 위해서 후자는 전 세계 모든 사람, 자연, 기술이 조화해야 한다고 여기며, 상기 질문에 대해 아래와 같은 선취적인 대답을 했다.

“20세기를 인류가 자연을 정복하는 시대라고 한다면, 21세기는 자연과 인류가 전자매체를 매개로 공생하는 세기가 될 것이다.” ─ 백남준 (1993)

예술이 하늘, 바다, 땅(인간)을 화합하고, 구원할 수 있다는 이야기의 전형을 수로부인에게서 이미 찾아볼 수 있다. 이러한 화합과 조화는 현세계에 당면한 가장 위급한 시안은 ‘기후’와 ‘환경’과도 직결된다.

사람, 자본, 이데올로기, 등이 아닌 “별이 빛나는 밤하늘이 우리가 가야 할 길의 지도가 되어 주었던 시대” (G. Lukács, Theory of the Novel, 1916), 그 시대를 꿈꾸며, Nara AI Film팀은 오랫동안 잠들어 있던 수로부인과 백남준을 깨워 함께 춤추게 한다.

AI 영화 시대의 시작과 그 문제점

AI 생성 영상의 가장 큰 문제 중 하나는 영상 속의 신체 (특히 얼굴, 손, 등)의 일명 ‘뭉개짐 현상(Body Distortions’이다. 이를 이번 영화 ‘AI 수로부인’에서는 굳이 감추지 않았다. 수작업으로 수정하거나 CG를 많이 사용한다면 훨씬 자연스러운 이미지를 만들 수 있다. 하지만, 최대한 AI에 의해 영화를 생성하는 것을 목적으로 하는 나라 AI필름에서는, 수작업보다는 근본적인 해결책을 현재 시도하고 있다.

AI 기반의 비디오 생성기(예: Latent Diffusion Models, GANs 등)에서 영상 내 얼굴 이미지가 뭉개지는 현상에는 여러 원인이 있다.

우선은 AI 모델이 필요한 얼굴 이미지 데이터를 충분히 학습하지 않았기 때문으로, 나라지식 정보(나라 AI필름이 소속된 회사)는 Stable diffusion의 ControlNet을 사용해 각각의 비디오 프레임을 변환하는 방법과 Stable diffusion의 파인튜닝을 통해 영화 속의 얼굴 이미지 데이터를 활용하여 모델을 훈련시키고 있으며, 다음 영화부터는 이를 적용할 예정이다. 이 경우 이미 얼굴 뭉개짐이 거의 없고, 또한 원하는 신라시대의 인물을 생성하는 것이 가능하다.

또한 모델의 복잡성이 문제인데, 정규화 기법을 사용하거나, 데이터 확장 (data augmentation)을 통해 모델의 일반화 능력을 향상하고 있다.

이외에도 다양한 여러 문제(오버피팅, 학습 파라미터 설정, 손실 함수 선택, 등)가 있으며, 이를 해결하기 위해서는 무엇보다 꾸준한 실험과 반복적인 모델 튜닝이 필요하기에, 나라지식정보 메타버스 연구소 팀은 최신 연구 논문과 자료를 참고하여, 특정 문제에 최적화된 기법이나 모델 아키텍처도 참조하면서 파인튜닝을 하고 있다.

이번 영화 ‘AI 수로부인’은 “AI로 생성한” (AI 관련 영화가 아닌) 세계최초의 영화 중의 하나이다(영상이 아니라, 영화관과 영화제에서 상영하는). 다시 말하면, AI영화시대의 시작점을 보여주는 역사적인 출발점이기에, 현재 AI 영상 생성기의 한계를 보여주는 것 자체도 역사의 한 단면임을 기록하고 싶은 것도 제작 의도 중의 하나이다. AI 이미지 및 영상 생성기의 역사적인 측면을, 그것이 단점이라고 할지라도, 보여하고자 한다.

반면에, 다음 영상에서는 상기와 같은 문제를 보완한 AI 영화로 자연스러운 비교작업도 수행할 예정이다.

나라 AI필름 (NARA AI Film)

AI 예술 분야는 이미지에서 영상으로, 그리고 영화로 이어지는 추세이다. K-AI 영화는 세계적으로 인정받는 K-영화의 뒤를 이어 지속적으로 한국의 영화산업 발전에 기여할 것이다.

‘나라 AI 필름’ (NARA AI Film)은 조만간 쏟아질 AI 영화에 앞서 세계최초 중의 하나이기 위해 도전하고 있다. 이로써 한국영화가 일반영화뿐만 아니라 AI 영화에서도 선두가 될 수 있도록 기여하기 위해서다.

‘나라 AI 필름’ 팀은 기업 ‘나라지식정보’에 소속되어 있다.

‘나라지식정보’는 자체적으로 경량화된 거대언어모델(sLLM)인 ‘나름(NA-LLM)’을 개발하였고, 가장 중요한 AI 아트 생성기인 스테이블 디퓨전의 파인튜닝을 하고 있다. 이러한 나라지식정보의 자체 기술력을 바탕으로 ‘K-AI 영화’를 만드는 것은, 독창적이며 남다른 차별성을 지니고 있다.

또한 나라지식정보의 디지털 팀의 도움을 받아 수로부인의 배경인 신라시대의 오브제를 고증을 통해 최대한 정확하게 재현함으로써 교육적인 효과를 얻을 수 있다.

감독 심은록

현재 나라지식정보의 AI 아트 디렉터이자 메타버스연구소 연구위원으로 활동하고 있다.

1998년 도불 이후, 현재까지 프랑스를 거점으로 동서양을 오가며, AI art 디렉터, 연구원, 미술평론가, 전시기획가로 활동하고 있다.

프랑스 파리 고등사회과학원 (E.H.E.S.S.)에서 박사학위를 받은 후, 프랑스국립과학연구센터 (CNRS)의 CEIFR [UMR CNRS 8034]의 포닥 연구원으로 근무하고, 이후 동국대학교를 비롯한 여러 대학에서 객원교수를 역임했다.

영화제(창원) 및 지리산국제환경예술제(JIIAF)에 영상 및 AI영상을 지속적으로 출품해 왔으며, 광주디자인비엔날레와 FINA 세계수영선수권대회 기념전(2019), 평창패럴림픽 올림픽 전시(2018), 유네스코(파리 2018, 2015), 광주 비엔날레 특별전(2016), 130주년 한불수교전, 등 수십 회 국제전을 기획했다.