Dynamic Intelligent Virtual Imaging

Virtuelle Abbildungen in bewegten (Live-)Aufnahmen durch Künstliche Intelligenz

Augmented Reality (AR) ist die Bezeichnung einer Technologie, die unsere reale Umgebung um virtuelle Inhalte ergänzt, ohne dabei eine neue virtuelle Realität zu erschaffen. Beim Dynamic Intelligent Virtual Imaging findet ebenfalls eine Erweiterung der Realität um virtuelle Inhalte mittels AR-Technologie statt. Das Besondere dabei ist die Kombination von Augmented Reality und Künstlicher Intelligenz (KI). Dadurch erhalten wir eine dynamische, sich der Bewegung anpassende, intelligente virtuelle Abbildung auf diversen digitalen Endgeräten.

Wie wird AR heute schon verwendet?

Betrachten wir die Verwendung von AR aus betriebswirtschaftlicher Sicht, offenbart sich ungenutztes ökonomisches Potenzial. Bisher findet eine Erweiterung der Realität mittels AR primär zu Informations- oder Unterhaltungszwecken statt. Kombinieren wir aber AR-Technologie mit KI, betreten wir eine ganz neue Dimension der Erweiterung unserer Realität um virtuelle Inhalte. Einen Vorgeschmack auf das Potenzial dieser Kombination bietet zum Beispiel die virtuelle Bandenwerbung bei Live-Übertragungen von Sportveranstaltungen.

AR, als alleinstehende Technologie, bietet vor allem für Werbezwecke eine immersivere Möglichkeit, Informationen in Form eines einzigartigen Erlebnisses für Kunden aufzubereiten. Ein großer Vorteil insgesamt ist, dass durch die geringe Anschaffungsschwelle der benötigten Hardware, zum Beispiel Smartphones und Tablets, mit einer Vielzahl von Nutzungen der Anwendung zu rechnen ist.  AR-Applikationen, die auf mobilen Endgeräten genutzt werden, stärken durch die Interaktionsmöglichkeiten eine emotionale Bindung zu dem Produkt. Aber AR ist nicht nur auf mobile Endgeräte beschränkt, es kann auf fast allen neueren digitalen Endgeräten verwendet werden. Dem gegenüber steht der Nachteil, dass oftmals eine Erweiterung der Realität mittels eines kostengünstigeren 2D-Overlays unter der Akzeptanz qualitativer Mängel bei Bewegungen stattfindet, oder es wird ein deutlich hochwertigeres 3D-Objekt verwendet, welches mehr Interaktion gestattet, dafür in der Regel aber auch deutlich teurerer ist.

© Fraunhofer IAIS / M.Style, macrovector, Graf Vishenka, alexdndz - stock.adobe.com

Augmented Reality und Künstliche Intelligenz

AR bietet uns die Möglichkeit, die Realität unserer Mitmenschen, um diverse Objekte und Inhalte zu erweitern. Bisher scheitern eine gute Umsetzung und Integration dieser Technologie in betriebswirtschaftliche Bereiche oftmals an mangelhafter Qualität und hohen Kosten.  An dieser Stelle bringt eine KI den Durchbruch. Mit einer KI lassen sich AR-Inhalte flüssiger in Bewegungen integrieren. Sie wird zur Bildanalyse und für die Modellierung der Kamerasicht auf die Welt verwendet. Die KI ist dazu in der Lage, die Ränder der zu ersetzenden Fläche zu erfassen und erkennt dimensionale Veränderungen auf der entsprechenden Oberfläche. Dadurch können virtuelle Inhalte in Echtzeit auf Oberflächen projiziert werden und sich an Bewegungen sowie Veränderungen im Vordergrund anpassen. Die Umsetzung sowie die Pflege eigener AR-Projekte sind mit einer KI auch für Menschen möglich, deren Fokus bisher nicht auf der Arbeit mit dieser Technologie lag. Das folgende Beispiel veranschaulicht, wie eine reale Umsetzung dieses Ansatzes aussehen kann.

Success Story: Virtuelle Bandenwerbung

Wie eine gelungene Kombination von AR und KI für Werbezwecke aussehen kann, zeigt ein erfolgreich durchgeführtes Projekt: Das ViBa-System (ViBa steht für Virtuelle Banden) ist ein virtuelles Bandensystem, das in Live-Fernsehübertragungen von Sportveranstaltungen verwendet werden kann. Ziel des Projekts war es, ein System zu entwickeln, das den Inhalt von LED-Banden im Fernsehbild in Echtzeit durch andere, personalisierte Werbung virtuell ersetzt, ohne dass dies von den Zuschauern im Stadion oder für nationale Feeds erkennbar ist. Das System lässt sich einfach in die bestehenden Produktionsabläufe von professionellem Broadcasting integrieren und funktioniert unabhängig vom Übertragungsformat (HD oder UHD). Unsere Expert*innen lassen die LED-Bande einen Lichtimpuls senden, der für das bloße menschliche Auge nicht erkennbar ist, aber für Videokameras schon. Die Farbe des von uns ausgewählten Lichtimpulses kann anschließend für das Fernsehbild überblendet werden. Dafür machen wir unter anderem von einer Technik Gebrauch, die zum Beispiel für die Arbeit mit Greenscreens in der Filmindustrie benutzt wird. Dank dem Einsatz einer KI zeichnet sich das ViBa-System durch eine zuverlässige Funktionsweise auch bei schwierigen Wetterbedingungen, wie Regen und Nebel, aus. Es ist zum Beispiel dazu in der Lage, die virtuelle Werbung auch in die Spiegelung einer Bande in einer Pfütze zu projizieren. Die KI und Algorithmen hinter unserem System sind bereits erfolgreich in UEFA-Spielen eingesetzt worden.

 

Mehr zu dem Thema:

Im E-Book-Special Smart Stadium des Magazins Stadionwelt veranschaulicht unser Senior Research Engineer Dr.-Ing. Stefan Eickeler Einsatzmöglichkeiten Künstlicher Intelligenz in Sportstadien.

Das Interview in voller Länge gibt es im digitalen Special der Stadionwelt: https://www.stadionwelt.de/ebooks/smart_stadium/6/
 

Datenschutz und Datenverarbeitung

Wir setzen zum Einbinden von Videos den Anbieter YouTube ein. Wie die meisten Websites verwendet YouTube Cookies, um Informationen über die Besucher ihrer Internetseite zu sammeln. Wenn Sie das Video starten, könnte dies Datenverarbeitungsvorgänge auslösen. Darauf haben wir keinen Einfluss. Weitere Informationen über Datenschutz bei YouTube finden Sie in deren Datenschutzerklärung unter: https://policies.google.com/privacy

© Fraunhofer IAIS

© Fraunhofer IAIS

Ausblick

Unser gemeinsames Projekt mit der Vibotec AG hat uns eine Vorschau auf die Welt der dynamisch-integrierten personalisierten Werbeflächen gezeigt. Diese Form der AR-Technologie ermöglicht uns beispielweise eine neue Art der Bewegungsanpassung sämtlicher Greenscreen-Varianten. Bei Fernsehproduktionen bedeutet das zum Beispiel, dass Inhalte und Werbung in Post-Produktionen auf bewegten und unförmigen Oberflächen relativ simpel angepasst und ausgetauscht werden können. Bei Live-Übertragungen mit großer Reichweite können real genutzte Werbeflächen auf (z.B. demografische) Besonderheiten der Zuschauenden vor den Endgeräten angepasst werden. Ermöglicht werden diese neuen dynamischen Oberflächen durch das Zusammenspiel von KI und AR-Technologie. Theoretisch lässt sich dieses Verfahren mit verhältnismäßig wenig Anpassungsarbeit auf viele weitere Oberflächen übertragen.

Zum Beispiel kann man diverse Anzeigetafeln in Fernsehproduktionen als Werbeflächen benutzen. In der Zukunft könnten wir so (Live-)Veranstaltungen jeglicher Art für Werbepartner attraktiver gestalten, indem sie ihre Logos, Schriftzüge, Produkte usw. auf diverse Objekte und Oberflächen projizieren können, ohne dass dadurch für die Produzenten ein großer Kostenaufwand entsteht. In Livestreams auf Social-Media-Plattformen wie z.B. Twitch und YouTube, bei Übertragungen von Sport- und E-Sport-Events, in TV-Shows, bei Inhalten von Streaming-Plattformen und Mediatheken, in Werbespots usw. können personalisierte Inhalte innovativ und dynamisch untergebracht werden.

© Fraunhofer IAIS / macrovector, ONYXprj, alexdndz, ylivdesign, elenabsl - stock.adobe.com

Was ist Augmented Reality?

Augmented Reality ist eine Technologie, mit der die Realität durch virtuelle Inhalte ergänzt werden kann. Ohne dass wir uns dessen richtig bewusst sind, benutzen wir heutzutage AR schon regelmäßig im Alltag. Im September 2022 veröffentlichte Statista eine Umfrage bezüglich der unterschiedlichen Einsatzmöglichkeiten von AR-Technologie, durchgeführt von Bitkom Research. Die befragten Personen sollten angeben, welche Art von AR-Inhalten sie bereits verwendet haben, dabei waren Mehrfachantworten möglich.  Mit 64 Prozent der Befragten stehen Computer- und Videospiele an der Spitze der Umfrage dicht gefolgt von Foto- und Video-Filtern auf Social-Media-Plattformen, mit einem Anteil von 63 Prozent der befragten Personen. Ein bekanntes Beispiel für AR-Technologie in Spielen ist das Handyspiel Pokémon Go. Dabei bewegt sich die spielende Person in ihrer realen Umgebung und betrachtet diese durch das Handydisplay, um Pokémon (tierähnliche Wesen) zu finden. Auch auf vielen Social-Media-Plattformen hat sich AR-Technologie bereits in unseren Alltag integriert. Die Plattformen TikTok und Instagram bieten beispielsweise eine Vielzahl diverser AR-Filter. AR bringt, im Gegensatz zu Virtual Reality, den Vorteil mit sich, dass die Endnutzenden kein besonderes Ausgabegerät für die Verwendung benötigen. Um AR zu erleben, reicht in der Regel ein AR-fähiges (mobiles) Endgerät. Heutzutage sind die meisten Mobiltelefone und Tablets AR-fähig.

Grundsätzlich gibt es zwei unterschiedliche Darstellungsmöglichkeiten für die virtuellen Inhalte, die die Nutzenden bei der Verwendung von AR sehen können. Auf der einen Seite haben wir 2D-Overlays. Diese Objekte sind zweidimensional gestaltet und erscheinen in der AR-Anwendung an vordefinierten Stellen. Da diese Objekte nur zweidimensional designt sind, erleiden sie in der Regel Qualitätsmängel bei stärkerer Bewegung der Kamera oder der Marker. Auf der anderen Seite haben wir 3D-Objekte. Diese Objekte werden von 3D-Künstler*innen designt und können von jeder Seite und aus jedem Winkel betrachtet werden. In der Regel weisen sie eine deutlich ausgeprägtere Qualität auf als die 2D-Overlays. Durch den aufwendigen Gestaltungsprozess sind sie in der Herstellung jedoch oftmals deutlich teurer.

AR bringt durch seine vielseitigen Einsatzmöglichkeiten und den unkomplizierten Zugang für die Endnutzenden großes Potenzial für die Zukunft mit sich. Dieses Potenzial ist der Motor für eine kontinuierliche Weiterentwicklung und Forschung im Sektor der AR-Technologie.