Nutzung von KI für visuelle Effekte bei MARZ
„Als die Leute den Wert von W&B erkannten, explodierte die Entwicklung, und jetzt baut jeder im ML-Team alles im Unternehmen darauf auf.“
Thomas Davies
Leiter des Forschungsteams
Ein Emmy-nominiertes Startup
WandaVision, Watchmen und Wednesday – was haben diese Filme gemeinsam? Atemberaubende visuelle Effekte (VFX).
Zufällig wurden sie alle auch von derselben VFX-Firma produziert: MARZ , die Abkürzung für Monsters Aliens Robots Zombies. Es überrascht nicht, dass die Präsentation einer solchen Filmmagie viele Ressourcen und Geld erfordert, oder zumindest war das früher so. MARZ ist ein KI-gestütztes VFX-Studio, das die Branche aufmischt und dafür bekannt ist, Technologie zu nutzen, um erstklassige Produkte in Rekordzeiträumen abzuliefern. Im Zeitalter des Streaming-Fernsehens öffnet MARZ die Tür für die Verbindung von maschinellem Lernen (ML) und VFX – und spart so Zeit, Aufwand und Kosten.
Effizienzsteigerung im Unterhaltungsbereich
Wenn man an visuelle Effekte denkt, denkt man natürlich an die Erschaffung von Kreaturen, die es gar nicht gibt, wie Monster, Aliens, Roboter oder sogar Zombies. Die andere Anwendung, die sich dem Rampenlicht entzieht (und die das Publikum kaum wahrnimmt), ist die banale, aber notwendige Arbeit, um Kontinuität zu gewährleisten.
Kontinuität beim Filmemachen ist das Prinzip, die Konsistenz aller Details von Einstellung zu Einstellung und von Szene zu Szene beizubehalten. Jede Einstellung sollte sich so anfühlen, als würde sie nahtlos in die vorherige übergehen, was den Eindruck von Realismus verstärkt. Aber konsistent zu bleiben und Flüssigkeit und Kontinuität beizubehalten, ist, gelinde gesagt, schwierig. Einige Produktionsteams sagen, sie hätten mindestens 80 % ihres Effektbudgets ausgegeben , um sichtbare Perückenlinien zu korrigieren.
Bei MARZ besteht das Ziel des ML-Teams darin, Tools für Kreative zu entwickeln, die traditionell manuelle und mühsame Arbeitsabläufe beschleunigen, sodass sie sich auf die Kunst konzentrieren können. Ihr erstes ML-Produkt, Vanity AI, ist das erste durchgängige, Hollywood-taugliche ML-Tool für Alterung, Verjüngung, Prothetik und digitales Make-up. Die Technologie ist 300-mal schneller als herkömmliche VFX-Pipelines, deutlich kostengünstiger und hat keine Kapazitätsbeschränkungen.
Nehmen wir zum Beispiel Tränensäcke. Bisher verlassen sich VFX-Studios auf einen manuellen Prozess, bei dem die Künstler die Tränensäcke nachzeichnen, einige zusätzliche Effekte auf die Region anwenden und das für jedes einzelne Bild, jede einzelne Einstellung im gesamten Film wiederholen müssen. Mit Vanity AI können Künstler Tränensäcke automatisch entfernen. Das geht ganz einfach, indem sie Regler bewegen und ein Ergebnis auswählen, das der gewünschten Bearbeitung entspricht.
Vorher- und Nachher-Bearbeitungen mit Vanity AI
Modelle mit W&B auswerten
Obwohl ML bei MARZ mittlerweile stark genutzt wird, war das nicht immer der Fall. MARZ existierte bereits fünf Jahre, bevor es überhaupt ML-Teams gab. Das stellt für MARZ einen interessanten Vorteil dar. Es bedeutet, dass das Unternehmen über reichlich frühere Arbeiten verfügt, die es als Trainingsdaten zum Erstellen seiner Modelle verwenden kann.
Qualitativ hochwertige Trainingsdaten, Zugriff auf eine skalierbare GPU-Recheninfrastruktur und die richtigen Entwicklertools sind wichtige Bestandteile des Modellentwicklungsprozesses. MARZ nutzt sowohl NVIDIA-GPUs als auch Amazon Web Services für den Zugriff auf skalierbare Datenspeicher und leistungsstarke Rechenressourcen. Um sicherzustellen, dass die besten Modelle in die Produktion gelangen, verlässt sich MARZ auf speziell entwickelte KI-Entwicklertools wie W&B Tables .
Für jede Aufnahme generiert MARZ eine Tabelle, die ihnen hilft, jedes kleine Detail zu verfolgen und, was noch wichtiger ist, Muster auf höherer Ebene zu verstehen. Die folgende Tabelle zeigt dem Team den Pixelfehler pro Frame für ihre verschiedenen Experimente.
Darüber hinaus wird eine Übersichtstabelle erstellt, in der die Gesamtfehler aller Aufnahmen angezeigt werden.
Mithilfe von Tabellen erfasste das Team wichtige Informationen, sodass es leicht erkennen konnte, mit welchen bestimmten Frames es Schwierigkeiten hatte. So konnte es schnell handeln und die nächsten Schritte festlegen. „W&B hat uns die Tools zur Verfügung gestellt, um Testprozesse speziell für unsere Daten zu entwickeln“, sagte Thomas Davies, Leiter des Forschungsteams bei MARZ.
Um zusätzlichen Kontext zu den Tabellen hinzuzufügen und andere wichtige Ergebnisse zu dokumentieren, nutzt MARZ W&B-Berichte . Viele der Berichte von MARZ sind Einzelanalysen, die die Leistung der verschiedenen Experimente untersuchen. Das Team verwendet regelmäßig Berichte, damit jeder Einblick in das Geschehen hat und das gesamte Team auf dem gleichen Stand ist.
Während Thomas der anfängliche Verfechter von W&B war, führt heute jeder bei MARZ seine Experimente mit W&B durch. „Als die Leute den Wert von W&B erkannten, explodierte es geradezu, und jeder im ML-Team baut jetzt alles im Unternehmen darauf auf“, sagte Thomas.
Der Kreativität freien Lauf lassen
Was mit der Gründung einer eigenen KI-Abteilung begann, um dem Mangel an VFX-Kapazitäten zu begegnen, hat sich zu einem der am schnellsten wachsenden VFX-Studios der Branche entwickelt. Die von MARZ entwickelten Tools beseitigen die redundanten Schritte, mit denen Künstler in ihrem Workflow häufig konfrontiert sind, und ermöglichen es ihnen, sich auf das Wesentliche zu konzentrieren: ihre Kunst.
Um sicherzustellen, dass sie die beste KI für VFX-Lösungen entwickeln, verlässt sich MARZ auf W&B, um Datensätze zu analysieren und zu verstehen, die Modellleistung zu messen und zu debuggen und wichtige Erkenntnisse im Team weiterzugeben. MARZ revolutioniert die Unterhaltungsbranche auf eine Weise, bei der die Bedürfnisse der Künstler an erster Stelle stehen, und W&B freut sich, einen kleinen Beitrag zu diesem Vorhaben zu leisten.
Um mehr über Vanity AI zu erfahren, sehen Sie sich hier das Demo-Video von MARZ an!