AI 마법으로 다시 태어난 ‘오즈의 마법사’

'오즈의 마법사'는 최초의 컬러 영화는 아니었지만, 도로시가 살던 캔자스 시골 마을 장면을 흑백으로 처리하여 컬러의 강렬함을 더욱 부각했기에 많은 이들의 기억 속에 혁신적인 컬러 영화로 남아있습니다. 마찬가지로, '오즈의 마법사'는 AI 기술로 구현된 최초의 영화는 아니지만, AI 기술로 재탄생한 혁신적인 영화로 앞으로 많은 이들에게 기억될 것입니다.

Google DeepMind, Google Cloud, Sphere Studios, Magnopus, Warner Bros. Discovery를 포함한 영화 및 기술 분야의 수많은 연구원, 프로그래머, 시각 효과 전문가, 기록 보관 전문가, 제작자들은 1939년에 개봉됐던 이 고전 영화를 라스베이거스의 초대형 몰입형 공연장인 스피어(Sphere)에서 재현하기 위해 수 개월 동안 협력해 왔습니다. 오는 8월 개봉될 이 영화에서는 주인공 도로시와 토토, 그리고 거대한 스크린에 다 담을 수 없을 만큼 수많은 캐릭터들이 Google의 첨단 AI 기술로 생생하게 구현됩니다.

과거에 영화의 한계를 넘어 섰던 작품이 다시 한번 새로운 지평을 열게 된 것은 정말 뜻깊은 일인데요. ‘스피어에서 만나는 오즈의 마법사’(The Wizard of Oz at Sphere)는 스토리와 기술이 결합된 또 하나의 거대한 도전으로, 17,600석 규모의 스피어의 구형 공간 전체를 활용하여 몰입감 넘치는 감각적인 경험을 선사할 예정입니다.

불과 몇 년 전만 해도 기존의 CGI 기술로는 이러한 프로젝트를 진행하는 것이 거의 불가능했지만, Google DeepMind의 혁신적인 생성형 AI 미디어 모델인 Imagen 및 Veo와 Gemini는 새로운 가능성을 열었습니다. 프로젝트 팀은 기존의 내용에 새로운 대사나 음악은 전혀 추가하지 않으면서, 오직 원본 자료만을 사용하여 몰입형 경험을 창조해야 했습니다.

아카데미 및 에미상 후보에 올랐던 프로듀서이자 ‘The Wizard of Oz at Sphere’의 프로듀서인 제인 로젠탈(Jane Rosenthal)은 "다양한 방식으로 시도해봤지만, 결국 이 영화를 되살리는데는 AI가 필수적이었다"고 말합니다.

AI로 명작이 되살아나기까지

이 프로젝트는 단순히 몇 번의 AI 프롬프트 입력으로 끝나는 것이 아니라, 해결해야 할 수많은 복잡한 과제를 안고 있었습니다. 할리우드에서 37년간 몸담았던 베테랑 프로듀서이자 Google Cloud의 엔터테인먼트 산업 솔루션 글로벌 총괄인 버즈 헤이즈(Buzz Hays)는 이번 프로젝트가 단순히 오래된 영화를 새로운 포맷에 맞춰 확장하는 것 이상의 의미를 지닌다고 강조합니다.

“원본 영화는 35mm 필름으로 촬영되었고, 4:3의 화면비율로 촬영됐죠. 테크니컬러라는 초기 컬러 영화 기술로 촬영됐기 때문에 필름은 세 개의 분리된 흑백 필름으로 이루어져 입자가 거칠었습니다”라고 헤이즈는 설명합니다.

"이 방식은 16만 평방피트에 달하는 스피어의 스크린에는 분명히 적합하지 않았죠. 그래서 저희는 Sphere Studios와 Magnopus, 전 세계의 시각 효과 아티스트들과 협력하고, 여기에 Google의 AI 모델을 활용하여 영화의 캐릭터와 환경을 완전히 새로운 캔버스에 효과적으로 구현했습니다. 이를 통해 원작을 모든 면에서 보존하면서도 완전히 몰입감 넘치는 엔터테인먼트 경험을 만들어냈죠."

프로젝트 초기에는 Google 내부를 포함한 많은 사람들이 AI 기술이 과연 이 프로젝트를 성공적으로 완수하여 목표를 달성할 수 있을지에 대한 확신을 갖지 못하는 상황이었습니다. 하지만 기존 CGI 방식으로는 막대한 비용과 오랜 시간이 소요될 것이 예상되고, 모두가 새로운 시도를 해보자는 열망이 컸기에 곧바로 작업에 착수했습니다.

"우리가 사용한 AI 모델은 엄청난 혁신을 보여줬습니다"라고 이 프로젝트를 담당한 Google DeepMind의 스티븐 힉슨(Steven Hickson) 박사는 말합니다. "저희가 할 수 없다고 생각했던 것, 불가능하다고 여겼던 것을 불과 한 달 뒤에는 '오, 할 수 있겠는데?'고 말할 수 있게 했죠."

하지만, '오즈의 마법사'를 스피어의 압도적인 스크린에 되살리는 과정은 결코 순탄하지만은 않았습니다.

세계 최고 해상도를 자랑하는 스피어의 16K LED 스크린에 기존의 거친 화면 이미지를 확대하는 것이 수많은 과제 중 하나였습니다. 제작팀은 기존의 영화에서 특정 장면의 인물을 지운 카메라 컷도 어떻게 처리해야 할지 고민했습니다. 일반적인 CGI(컴퓨터 생성 이미지)로 화면을 확대하는 문제는 해결할 수는 있었겠지만, 나머지 장면들을 효과적으로 채워 넣을 방법은 찾기가 어려웠습니다.

예를 들어, 겁쟁이 사자가 영화 초반에 허수아비와 양철 나무꾼에게 달려드는 장면에서 카메라는 허수아비와 양철 나무꾼 사이를 오가며, 멀리 나무 뒤에 숨어있는 도로시를 비춥니다. 스피어에서 이 장면을 구현하기 위해서는 이 모든 요소를 초현실적인 디테일로 한꺼번에 담아내야만 했습니다.

이를 위해 제작팀은 세 가지 주요 기술적 난관을 극복해야 했습니다.

디테일까지 생생하게 재현해낸 마법 같은 AI 기술

Google 팀과 파트너사들은 이번 프로젝트를 위해 특별히 Veo, Imagen, Gemini 모델을 활용하여 AI 기반의 '슈퍼 해상도(super resolution)' 도구를 개발했습니다. 이를 통해 1939년에 개봉된 작은 필름 원본을 스피어 스크린에 생생하게 구현될 초고해상도 이미지로 변환시켰습니다.

다음으로, 스피어의 거대한 공간을 채우고, 기존의 카메라 컷이나 화면 구성의 제한으로 인해 발생한 공백을 메우기 위해 AI 아웃페인팅(outpainting) 기술을 적용하여 장면의 범위를 확장했고, 마지막으로, '퍼포먼스 생성(performance generation)'을 통해 유명 배우들의 연기를 확장된 환경에 자연스럽게 접목시켰습니다.

이러한 AI 기술을 통해 기존의 CGI로는 구현하기 어려웠던 자연스러운 몸짓, 연출, 그리고 섬세한 디테일까지 완벽하게 표현할 수 있었습니다.

"제안이 들어왔을 때, 저는 날아갈 듯이 기뻤습니다"라고 Google DeepMind의 수석 연구원이자 애틀랜타 연구소 소장인 어판 에사(Irfan Essa) 박사는 말합니다. "마법 같은 저희 AI 기술을 선보일 최고의 기회였죠."

이러한 강력한 신기술을 동원하면서 재현에 큰 도움을 준 것은 전통적인 영화 제작에 활용된 자료였습니다. 제작팀은 기존 영상과 더불어 촬영 대본, 제작 삽화, 사진, 세트 도면, 악보 등 방대한 보조 자료를 수집하기 위해 아카이브를 샅샅이 뒤졌습니다. 그 후, Veo와 Gemini에 자료를 업로드하여 AI 모델이 원본 캐릭터들의 구체적인 디테일과 환경, 심지어 특정 장면의 카메라 초점 거리와 같은 세세한 제작 요소들까지 학습할 수 있도록 했습니다.

이와 같이 방대한 원본 자료를 활용하면서 결과물의 품질은 비약적으로 향상되었습니다. 도로시의 주근깨는 더욱 선명하게 드러나고, 토토는 더 많은 장면에서 자연스럽게 뛰어다닐 수 있게 됐죠. 프로젝트 팀은 이 모든 작업 과정에서 원작의 정신을 이어갈 수 있도록 워너 브라더스와 긴밀히 협력했습니다.

AI가 보여준 새로운 가능성

이번 프로젝트는 AI가 엔터테인먼트 뿐만 아니라 다양한 분야에서 가져올 수 있는 비약적인 가능성을 보여줍니다.

스피어 엔터테인먼트의 짐 돌란(Jim Dolan) 회장 겸 CEO는 "혁신적인 기술이 앞으로 어떻게 발전될지 예측하기는 어렵습니다. 하지만 과감하게 도전해야 할 때입니다”라며 “‘스피어에서 만나는 오즈의 마법사'는 이러한 용감한 시도의 놀라운 결실을 보여줄 것"이라고 설명했습니다.