Wenn ihr in den letzten paar Jahrzehnten irgendwann mal einen Kino Blockbuster gesehen, ein Videospiel mit 3D Grafik gespielt oder einen Blick ins Metaverse gewagt habt, dann habt ihr mit extrem hoher Wahrscheinlichkeit das Ergebnis von Motion Capture Technologie gesehen. Diese Technologie, auch liebevoll MoCap genannt, existiert in unterschiedlichen, meist eher kostspieligen Formen seit geraumer Zeit – aber erst seit kurzem ist sie für eine breite Palette an Kreativen zugänglich geworden, Deep Learning und Computer-Vision sei Dank. Bevor ich euch erzähle, wie wir bei Junge Römer das neueste, KI-gestützte MoCap Verfahren einsetzen, um alle möglichen 3D Charaktere im besten Sinn unserer Kunden „anders tanzen“ zu lassen, wollen wir kurz so tun, als hätte ich einen Bildungsauftrag zu erfüllen, und einen kleinen Ausflug in die Vergangenheit unternehmen:
MOCAP ANNO DAZUMAL: GEIL ABER TEUER
MoCap wird verwendet, um Bewegungsabläufe von Menschen oder Tieren in Echtzeit aufzuzeichnen. Traditionellerweise erfolgt die Aufzeichnung durch Sensoren, die an einem entsprechenden Anzug oder einer Maske befestigt sind. Die Bewegungen der Akteure werden durch diese Sensoren erfasst, abgespeichert, von 3D Artists weiter verarbeitet – und bilden schließlich die Grundlage für alle möglichen Animationen.
Die ersten Versuche, Bewegungen aufzuzeichnen, gehen auf das 19. Jahrhundert zurück, als Fotografen versuchten, die Bewegungen von Tieren oder Menschen in Einzelbildern festzuhalten. In den 1920er Jahren experimentierte der russische Regisseur Sergei Eisenstein mit der Verwendung von Stop-Motion-Animationen in seinen Filmen.
In den 1970er Jahren wurde die Technologie der Infrarot-Reflexions-Fotogrammmetrie entwickelt, die es ermöglichte, die Bewegungen von Menschen mit hoher Genauigkeit aufzuzeichnen. Dabei wurden Marker auf dem Körper befestigt, die von Infrarotsensoren erfasst wurden. Diese Technologie wurde in den 1980er Jahren weiterentwickelt, als die Firma VICON den ersten kommerziellen Motion-Capture-Anzug auf den Markt brachte.
In den 1990er Jahren wurden optische Systeme mit Infrarotkameras und aktiven Markern entwickelt, die eine höhere Genauigkeit und eine größere Reichweite ermöglichten. Gleichzeitig wurden passive Marker-Systeme entwickelt, die auf reflektierenden Markern basieren und eine höhere Bewegungsfreiheit der MoCap Schauspieler ermöglichen.
Heutzutage ist Motion Capture ein wichtiger Bestandteil der Film- und Spieleindustrie, da es dadurch möglich wird, realistische Animationen zu erzeugen und die Interaktion zwischen digitalen Charakteren und der realen Welt zu verbessern. Ohne MoCap würde sich Lara Croft nicht annähernd so grazil durch die Lüfte schwingen – und etliche „spezielle“ Filmfiguren wie Gollum, Thanos oder James Camerons Weltall-Schlümpfe hätten nie das Licht der Welt erblickt. Aber auch in der Medizin wird MoCap eingesetzt, um Bewegungsstörungen zu diagnostizieren und zu behandeln.
Die Technologie ist de facto unverzichtbar geworden und es ist zu erwarten, dass der Bedarf in Zukunft nur noch weiter ansteigen wird. Jetzt hat aber nicht jeder ein entsprechendes Filmstudio, funktionierende MoCap Anzüge und die dazugehörigen Expert*innen, die solche Systeme effektiv verwenden können, zur Hand. Und nicht jedes Projekt, das lebensechte Animationen erfordern würde, hat ein Budget, welches die Möglichkeit eines traditionellen Motion Capture Verfahrens auch nur annähernd in Reichweite rückt. Wie gut, dass es hier und heute unglaublich starke Alternativen gibt.
MOCAP HEUTE: IMMER NOCH GEIL ABER LEISTBAR
Das Junge Römer Team konnte in den vergangenen Jahren bereits mehrere Projekte mit einer KI-basierten Cloud-Technologie namens „Move.ai“ umsetzen, die ganz ohne Studio, MoCap Suits und Markern auskommt, und die Ergebnisse haben uns und unsere Kunden jedes Mal aufs Neue begeistert. Diese Lösung verwendet künstliche Intelligenz und Computer-Vision, um Bewegungen, die mit mehreren GoPro Kameras (alternativ dazu können mittlerweile auch iPhones zum Einsatz kommen) aus unterschiedlichen Blickwinkeln gefilmt werden, zu erfassen und in 3D Animationsdaten umzuwandeln. Das versetzt uns in die Lage, in allen möglichen Settings Bewegungsdaten zu erfassen, die den Ergebnissen, die in einem traditionellen Motion Capture Studio erreicht werden können, in Punkto Qualität in nichts nachstehen – und das zu einem Bruchteil der Kosten.
Es gibt unterschiedliche Herangehensweisen, um Move.ai zu nutzen – wir bei Junge Römer haben viel mit der Technologie experimentiert und mit dem folgenden Setup die besten Erfahrungen gemacht: Sechs GoPro 10 Kameras werden rund um die Capture Area (bis zu 6 x 6 Meter) aufgebaut und filmen die Action in einer Auflösung von 4K bei 120 Frames in der Sekunde. Wenn man jetzt noch darauf achtet, dass die Beleuchtung stimmt, die Kalibrierung fehlerfrei vonstattengeht und die Akteure, deren Bewegungen man erfassen will, eng anliegende und kontrastreiche Kleidung tragen, kann eigentlich fast nichts mehr schief gehen. Ganz egal, wie komplex oder temporeich die Bewegungen der Akteure vor den Kameras auch sein mögen – die allermeisten Bewegungen werden von der KI zuverlässig erkannt und in all ihren Details in die entsprechende 3D Animation übertragen. Wir haben u.a. bereits die wildesten Tanzchoreografien und Poledance-Performances mit Move.ai analysiert und damit unglaublich präzise Ergebnisse erzielt.
Natürlich müssen die 3D-Animationen, die von der KI ausgespuckt werden, noch ein wenig „von Hand“ nachbearbeitet werden, um eine Genauigkeit von 100% zu erreichen, aber der Aufwand ist absolut überschaubar. Und bei den vergleichsweise sauteuren traditionellen MoCap Lösungen ist das übrigens auch nicht anders. Die Marker-basierten Systeme, die in den großen MoCap Studios eingesetzt werden, sind letztlich nicht präziser, sondern lediglich aufwändiger und entsprechend kostspielig.
MOCAP MIT JUNGE RÖMER: AM ALLERGEILSTEN – IN JEDER HINSICHT
Dank immenser Fortschritte im Bereich der KI- und Computer-Vision-Software, wie sie von Unternehmen wie Move.ai vorangetrieben werden, können wir unseren Kunden eine kosteneffektive, skalierbare und hochpräzise Lösung für Motion-Capture anbieten. Durch die Beseitigung der Notwendigkeit spezieller Ausrüstung und Studioräume können wir in einem leistbaren Verfahren super-präzise Bewegungsdaten erfassen, um wirklich lebensechte Animationen zu erstellen – für Projekte und Budgets aller Größenordnungen.
Nachdem wir uns viele Monate lang intensiv mit „Move.ai“ beschäftigen konnten, haben wir den Dreh heraus und wissen genau, wie die Lichtsetzung und das Kamera-Setup funktioniert, um das Maximum an Animationsqualität für unsere Kunden herauszuholen. Kontaktiert uns bitte jederzeit, wenn ihr auch mit kleineren Budgets lebensechte 3D Animation für eure Projekte realisieren wollt (und wer will das nicht). Wir beraten euch gerne und unterstützen euch mit unserem Knowhow und unserem Equipment bei eurem Vorhaben.
