Der YouTube-Kanal Incredible Junction demonstriert die beeindruckenden Fähigkeiten von OpenAIs Video-KI Sora anhand eines faszinierenden Projekts: In nur einem Wochenende wurde ein kompletter Werbespot für ein fiktives Videospiel namens „Foreverland“ erstellt. Der kreative Prozess offenbart dabei das enorme Potenzial dieser neuen Technologie.
Von Little Big Planet inspiriert 🎮
Das Projekt begann mit der Entwicklung einer eigenen Spielwelt, inspiriert vom beliebten Spiel Little Big Planet. Mithilfe eines speziell trainierten GPT-Modells wurde ein einzigartiger visueller Stil entwickelt, der sich durch Makrofotografie-Ästhetik, sichtbare Nähte und weiche Schatten auszeichnet. Nach etwa 30 Minuten Feinabstimmung konnte das System konsistent Objekte, Umgebungen und Charaktere in diesem Stil generieren.
Die Hauptfiguren des Spiels 🦝
Als Protagonist wurde ein abenteuerlicher Waschbär mit Rucksack und Schutzbrille entwickelt. Nach mehreren Iterationen entstand der finale Charakter. Auch ein beeindruckender Endgegner wurde kreiert: ein Oktopus-Elefant mit Knopfaugen. Die Spielwelt umfasst klassische Videospiel-Umgebungen wie Höhlen, Minen, Dschungel und Stadtlandschaften.
Animation mit Sora: Der Durchbruch 🎬
Die eigentliche Innovation liegt in der Nutzung von Soras „Image-to-Video“-Modus. Durch geschicktes Experimentieren mit der Platzierung von Bildern in der Timeline wurden überraschende Ergebnisse erzielt. Ein entscheidender Durchbruch gelang mit einer 180-Grad-Kamerarotation um den Waschbären: Diese Aufnahme ermöglichte es Sora, den Charakter aus verschiedenen Perspektiven konsistent darzustellen.
Mit diesem „Rotations-Shot“ als Basis konnten verschiedenste Szenarien generiert werden – von Münzsammel-Sequenzen bis hin zu Sprüngen und Höhlenexploration. Ein zufällig entstandener verspielter Drehsprung des Waschbären inspirierte sogar zu einer kompletten Sequenz, die später zum Herzstück des Werbespots wurde.
Vom Rohmaterial zum fertigen Spot ✨
Der finale Schnitt erfolgte in Final Cut Pro, ergänzt durch Musik und Soundeffekte von Epidemic Sound. Der gesamte Produktionsprozess erstreckte sich über nur drei Tage:
- Zwei Tage für GPT-Training, Visualentwicklung und Sora-Animationen
- Ein halber Tag für Schnitt und Audiobearbeitung
Praktische Tipps für Sora-Nutzer 💡
Der Creator teilt wichtige Erkenntnisse für die Arbeit mit Sora:
- KI wird immer auch „Nonsense“ produzieren – das ist normal
- Wenn man „Gold“ findet, sollte man den Recut-Befehl nutzen
- Nach mehreren Generationen hat man genug Material für konsistente Szenen
- Kontrolle und Konsistenz entstehen durch systematisches Aufbauen auf gelungenen Clips
Ein Meilenstein der KI-Videoproduktion
Das Foreverland-Projekt demonstriert eindrucksvoll, wie Sora die Videoproduktion revolutioniert. Was früher wochenlange Arbeit eines ganzen Teams erforderte, kann nun – mit der richtigen Herangehensweise – in wenigen Tagen von einer einzelnen Person realisiert werden. Dabei zeigt sich auch: Der Schlüssel zum Erfolg liegt nicht nur in der KI selbst, sondern in der geschickten Kombination von kreativer Vision und technischem Verständnis.
Die Zukunft der Videoerstellung steht damit an einem spannenden Wendepunkt. Tools wie Sora demokratisieren die Videoproduktion und eröffnen völlig neue kreative Möglichkeiten. Gleichzeitig wird deutlich: Die Rolle des Menschen als kreativer Regisseur bleibt unerlässlich – die KI ist ein mächtiges Werkzeug, aber die Vision und Führung muss weiterhin vom Menschen kommen.
Backtranslation des Videos:
Wie ich Foreverland zu einer fiktiven Videospiel-Werbung gemacht habe.
Ich habe es an einem Wochenende erstellt. Also, lassen Sie uns loslegen.
Schritt 1: Die Welt erschaffen.
Meine Kinder liebten Little Big Planet, also wollte ich es mit Foreverland ehren. Dafür habe ich ein benutzerdefiniertes GPT erstellt. Es dauerte etwa 30 Minuten, bis ich mit der Makrofotografie, dem sichtbaren Naht, weiche Schatten usw. Aber sobald ich alles hatte, musste ich nur noch die Objekteinstellung oder den Charakter eingeben, an den ich dachte, und es wurden die Bilder erstellt, wie dieser rote Briefkasten oder die Goldmünzen oder sogar ein süsser Igel, alles im gleichen Stil für den Spielprotagonisten. Ich stelle mir einen abenteuerlustigen Waschbären mit Rucksack und kleiner Schutzbrille vor, und nach ein paar Versuchen kam ich auf diesen Typen. Ich habe auch den Boss-Charakter erstellt, diesen Tintenfisch-Elefanten mit Knopfaugen. Als Nächstes musste ich einige Umgebungen erstellen, und ich habe mich dabei an klassischen Videospiel-Tropen orientiert, wie z. B. eine unterirdische Höhle oder eine Bergbauebene oder Dschungel und Stadt und so weiter. Jetzt hatte ich also meine Welt.
Schritt 2: Animation
Einer von Soras vielen Erstellungsmodi ist „Bild zu Video“. Was mir daran am besten gefällt, ist das Experimentieren damit, wo ich dieses Bild in der Zeitachse platziere. Ich habe damit begonnen, dieses Heldenbild meines Waschbären an den Anfang zu setzen, und habe einige interessante Ergebnisse erzielt, die Sie hier sehen können. Aber sehen Sie sich diese Generation an, die ich erhalten habe, als ich das Bild am Ende der Zeitachse platzierte. Beachten Sie, dass es mit einigen bizarren, inkonsistenten Bildern beginnt , aber schauen Sie sich an, was in den letzten 2 Sekunden passiert. Ich meine, dieser Teil ist ziemlich gut, wirklich gut. Ich meine, das ist das Gold, nach dem ich gesucht habe. Also habe ich den Clip neu geschnitten und auf die letzten 2 Sekunden gekürzt und ihn am Ende eines neuen 5-Sekunden-Clips platziert.
Dann habe ich die Kamera um 180° um den Waschbären rotieren lassen und nach ein paar Versuchen habe ich diese Aufnahme bekommen, sodass Sora nun weiss, wie der Waschbär aus vielen Blickwinkeln aussieht, und damit konnte ich aus dieser einzigen Aufnahme alle möglichen Szenarien generieren. Der Schlüssel war immer, diese Drehaufnahme zu verwenden, um meine neuen Generationen zu starten. Dann konnte ich ihn dazu bringen, herumzulaufen und Dinge wie Münzen zu sammeln, zu springen oder eine Höhle zu betreten, und er wusste, wie der Waschbär aussah. So habe ich jetzt die Konsistenz erreicht.
In einer der Generationen bat ich den Waschbären, mit einer spielerischen Drehung umzudrehen, und ich bekam diese coole Bewegung, die seine Persönlichkeit zeigte, als er die Straße entlanglief. Das brachte mich auf eine Idee und ich begann, eine Sequenz in meinem Kopf zu sehen, die mir wirklich gefiel. Zuerst benutzte ich diese rotierende Eröffnungsaufnahme, dann die Drehbewegung und zum Schluss fügte ich diese Höhlensequenz hinzu. Dann fügte ich diese drei Aufnahmen zu einer neuen Zeitachse hinzu, damit Sora die Zwischenmomente erzeugen konnte, die alles miteinander verbinden, oder wie wir in der Welt der Animation nennen, das Tween. Jetzt hatte ich eine nahtlose Einzelaufnahme von fast 35 Sekunden Länge mit einem völlig konsistenten Charakter, die uns zu
Schritt drei bringt, in dem alles zusammengeführt wird.
Nachdem ich alle meine Clips einschließlich der anderen Charaktere, der Umgebungen und der Titelanimation hatte, brachte ich alles in Final Cut Pro für eine schnelle Bearbeitung und für die Musik und Soundeffekte, die ich über Epidemic Sound bezogen habe. Insgesamt habe ich etwa 2 Tage damit verbracht, den GPT und die visuellen Effekte zu erstellen und ihn dann über Sora zu animieren und dann etwa einen halben Tag für den letzten Schnitt mit dem Audio aufzuwenden. Ich meine, das ist nicht schlecht, wenn man bedenkt, dass ich an einem Freitagabend bei Null angefangen und dann bis Montagmorgen fertig war.
Ein letzter Gedanke bei der Arbeit mit Sora: Denken Sie daran, dass es viel KI-Unsinn erzeugen wird. Ich meine, das sind schließlich KI-Systeme, aber es wird auch etwas absolute Magie erzeugen und sobald Sie das «Gold» gefunden haben, verwenden Sie den Befehl «Recut», um darauf aufzubauen, denn nach ein paar Generationen haben Sie genug Clips und Momente, um eine völlig neue Szene mit Konsistenz und weitaus mehr Kontrolle aneinanderzureihen, und so habe ich letztlich Overland aufgebaut.