MARZ에서 Visual FX에 AI 활용
"사람들이 W&B의 가치를 보기 시작하자 그 가치는 폭발적으로 증가했고 이제 ML 팀의 모든 구성원이 회사의 모든 것을 이를 기반으로 구축합니다."
Thomas Davies
Research Team Lead
에미상 후보에 오른 스타트업
WandaVision, Watchmen, Wednesday—이 영화들은 무엇이 공통점일까요? 놀라운 시각 효과(VFX)입니다.
우연히도, 이 모든 작품은 같은 VFX 회사인 MARZ에서 제작했습니다. MARZ는 Monsters Aliens Robots Zombies의 줄임말입니다. 이런 영화적 마법을 선보이는 데는 많은 자원과 돈이 필요하다는 것은 놀라운 일이 아닙니다. 적어도 예전에는 그랬습니다. MARZ는 업계를 뒤흔드는 AI 기반 VFX 스튜디오로, 기술을 활용하여 기록적인 타임라인으로 동급 최고의 제품을 제공한다는 명성을 얻었습니다. 몰입형 스트리밍 TV 시대에 MARZ는 머신 러닝(ML)과 VFX를 주입하여 시간, 노력, 비용을 절감할 수 있는 문을 열고 있습니다.
엔터테인먼트에서의 효율성 향상
VFX가 떠오르면, 사람들은 괴물, 외계인, 로봇, 심지어 좀비와 같이 존재하지 않는 생물을 만드는 것을 자연스럽게 떠올립니다. 주목을 받지 못하는 또 다른 응용 분야(그리고 관객이 거의 눈치채지 못하는)는 연속성을 보장하기 위한 평범하지만 필요한 작업입니다.
영화 제작에서 연속성은 샷과 샷, 장면과 장면의 모든 세부 사항에서 일관성을 유지하는 원칙입니다. 각 샷은 이전 샷에서 매끄럽게 흘러가는 것처럼 느껴져야 하며, 사실감을 강화해야 합니다. 하지만 일관성을 유지하고 유동성과 연속성을 유지하는 것은 적어도 어렵습니다. 일부 제작진은 효과 예산의 최소 80%를 눈에 띄는 가발 선을 고치는 데 사용했다고 말합니다.
MARZ에서 ML 팀의 목표는 크리에이티브가 전통적으로 수동적이고 번거로운 워크플로를 가속화하여 예술에 집중할 수 있도록 도구를 구축하는 것입니다. 첫 번째 ML 제품인 Vanity AI는 노화, 탈노화, 보철 및 디지털 메이크업을 위해 제작된 최초의 엔드투엔드 할리우드 레디 ML 도구입니다. 이 기술은 기존 VFX 파이프라인보다 300배 빠르고 비용 효율성이 훨씬 높으며 용량 제약이 없습니다.
예를 들어, 눈 밑 주머니를 살펴보겠습니다. 전통적으로 VFX 스튜디오는 아티스트가 주머니를 추적하고, 해당 영역에 몇 가지 추가 효과를 적용하고, 필름 전체에 걸쳐 모든 프레임, 모든 샷에 대해 이를 반복해야 하는 수동 프로세스에 의존했습니다. Vanity AI를 사용하면 아티스트가 자동으로 눈 밑 주머니 제거를 적용할 수 있으며, 다이얼을 움직여 원하는 편집과 일치하는 결과를 선택하는 것만큼 간단합니다.
Vanity AI를 사용한 편집 전후
W&B를 사용한 모델 평가
현재 MARZ에서 ML을 많이 사용하고 있지만 항상 그런 것은 아니었습니다. MARZ는 ML 팀을 구성하기 전에 5년 동안 존재했습니다. 이는 MARZ에 흥미로운 이점을 제공합니다. 즉, 이 회사는 모델을 구축하기 위한 훈련 데이터로 사용할 수 있는 과거 작업이 많다는 것을 의미합니다.
우수한 품질의 학습 데이터, 확장 가능한 GPU 컴퓨팅 인프라에 대한 액세스, 적절한 개발자 도구는 모델 개발 프로세스의 중요한 부분입니다. MARZ는 확장 가능한 데이터 스토리지와 고성능 컴퓨팅 리소스에 대한 액세스를 위해 NVIDIA GPU와 Amazon Web Services를 모두 활용합니다. 최상의 모델이 프로덕션에 푸시되도록 하기 위해 MARZ는 W&B Tables 와 같은 특수 목적의 AI 개발자 도구를 사용합니다 .
각 샷에 대해 MARZ는 모든 세부 사항을 추적하고, 더 중요한 것은 고수준 패턴을 이해하는 데 도움이 되는 표를 생성합니다. 아래 표는 팀이 다양한 실험에 대해 프레임당 픽셀 오류를 나타낸 것입니다.
더불어, 모든 샷의 전반적인 오류를 확인하기 위해 요약 표가 생성됩니다.
Tables를 사용하여 팀은 중요한 정보를 수집하여 어떤 특정 프레임에서 어려움을 겪고 있는지 쉽게 파악할 수 있었고, 이를 통해 빠르게 움직여 다음 단계를 생각해낼 수 있었습니다. MARZ의 연구팀장인 Thomas Davies는 “W&B는 우리 데이터에 맞는 테스트 프로세스를 구축할 수 있는 도구를 제공했습니다.”라고 말했습니다.
MARZ는 테이블에 대한 추가 컨텍스트를 포함하고 다른 주요 결과를 문서화하기 위해 W&B Reports를 활용합니다 . MARZ 보고서의 대부분은 다양한 실험이 어떻게 수행되었는지 살펴보는 샷별 분석입니다. 팀은 보고서를 정기적으로 사용하므로 모든 사람이 무슨 일이 일어나고 있는지 볼 수 있고 전체 팀이 같은 페이지에 있게 됩니다.
토마스가 W&B의 초기 챔피언이었지만, 오늘날 MARZ의 모든 사람이 W&B에서 실험을 진행합니다. “사람들이 W&B의 가치를 알게 된 후, 그것은 폭발적으로 증가했고, ML 팀의 모든 사람이 이제 회사에서 모든 것을 W&B에 구축하고 있습니다.”라고 토마스는 말했습니다.
창의성이 번창하도록 허용하기
VFX 용량 부족을 해결하기 위해 자체 AI 부서를 설립한 것으로 시작한 것이 업계에서 가장 빠르게 성장하는 VFX 스튜디오 중 하나로 변모했습니다. MARZ가 구축하는 도구는 아티스트가 워크플로에서 종종 마주치는 중복된 단계를 제거하고 가장 중요한 것, 즉 예술에 집중할 수 있도록 합니다.
MARZ는 VFX 솔루션을 위한 최고의 AI를 개발하기 위해 W&B에 의존하여 데이터 세트를 분석하고 이해하고, 모델 성능을 측정하고 디버깅하고, 팀 전체에서 주요 통찰력을 공유합니다. MARZ는 아티스트의 요구를 우선시하는 방식으로 엔터테인먼트 산업을 혁신하고 있으며, W&B는 이러한 노력에 작은 역할을 하게 되어 기쁩니다.
Vanity AI에 대해 자세히 알아보려면 여기에서 MARZ 데모 영상을 확인하세요 !