GigaResponse

XR-Entscheidungsunterstützung mit KI-gestützten semantischen Digital Twins für echtzeitgestützte Einsatzleitung

Technologie für die Einsatzleitung der Zukunft

GigaResponse verbindet 5G, 3D-Erfassung, künstliche Intelligenz und Extended Reality (XR) zu einer technologischen Grundlage für die Einsatzleitung der Zukunft.


Das Ziel: Daten aus dem Einsatzgebiet sollen möglichst schnell erfasst, verarbeitet und übertragen werden, damit daraus ein aktuelles, räumlich detailliertes und interaktives digitales Lagebild entsteht.


Dabei geht es nicht um eine einzelne Technologie. Entscheidend ist das Zusammenspiel von Kommunikation, Datenverarbeitung, 3D-Erfassung, KI und XR – und darum, diese Komponenten an die Anforderungen eines zeitkritischen Einsatzes anzupassen.


5G - Kommunikation auch unter schwierigen Bedingungen

In abgelegenen oder schwer zugänglichen Einsatzgebieten kann die vorhandene Kommunikationsinfrastruktur schnell an ihre Grenzen kommen. Gleichzeitig können 3D-Modelle, Bilder und Sensordaten große Datenmengen erzeugen.


GigaResponse untersucht deshalb den Einsatz von 5G Stand Alone (5G-SA) für die Übertragung einsatzrelevanter Daten. Dabei wird erforscht, welche Bandbreiten, Übertragungs- und Reaktionszeiten für eine XR-gestützte Einsatzleitung tatsächlich benötigt werden.


Ein besonderer Fokus liegt auf der adaptiven Datenübertragung: Kritische Informationen sollen abhängig von der aktuellen Einsatzsituation priorisiert und möglichst verzögerungsfrei übertragen werden.


Network Slicing

Durch die dynamische Priorisierung von Datenströmen kann die verfügbare Netzwerkkapazität an die jeweilige Einsatzsituation angepasst werden.


Edge Computing

Wo eine vollständige Übertragung an die Einsatzzentrale nicht sinnvoll oder aufgrund der Netzsituation nicht möglich ist, können Daten bereits direkt vor Ort vorverarbeitet oder aggregiert werden.


So erforscht GigaResponse, wie Kommunikations- und Rechenressourcen möglichst effizient zusammenspielen können.


3D-Erfassung - die Umgebung in Echtzeit digitalisieren

Eine zentrale Grundlage des digitalen Lagebilds ist die schnelle Erfassung der Umgebung.


Dafür wird ein mobiles Aufnahmesystem erforscht, das unter anderem aus


  • einem 3D-Laserscanner,
  • einer kalibrierten Kamera,
  • einem Inertialsystem,
  • einem On-Board-Prozessor und
  • einem 5G-SA-Modul


besteht.


Damit können Einsatzkräfte ihre Umgebung während der Erkundung dreidimensional erfassen. Die gewonnenen Daten werden übertragen und zu einem räumlich annotierten digitalen Zwilling des Einsatzgebiets verarbeitet.


Erforscht werden dabei unter anderem die effiziente Verarbeitung von 3D-Daten, die Erkennung relevanter Objekte und die möglichst echtzeitfähige Visualisierung.


Digitale Zwillinge - das Einsatzgebiet als dynamisches Modell

Aus den erfassten Umgebungsdaten entsteht ein digitaler Zwilling, der die reale Situation räumlich abbildet und mit aktuellen Informationen angereichert werden kann.


So können beispielsweise Gebäude, Gelände, Verkehrswege, Einsatzorte oder relevante Objekte in ihrem räumlichen Zusammenhang dargestellt werden.


Der digitale Zwilling dient damit als gemeinsame Grundlage für Lagebeurteilung, Einsatzplanung und Kommunikation – und perspektivisch auch für Training und Simulation.


KI – Informationen intelligent aufbereiten

Bei komplexen Einsatzlagen entstehen große Mengen an Daten. Für die Einsatzleitung ist nicht jede Information gleichermaßen relevant.


GigaResponse untersucht deshalb den Einsatz von KI-gestützten Verfahren, um aus den erfassten Daten handlungsrelevante Informationen zu gewinnen und die Darstellung an die jeweilige Situation anzupassen.


Ein besonderer Forschungsansatz ist die adaptive Informationspräsentation: Die XR-Umgebung soll relevante Informationen situationsabhängig hervorheben und die Einsatzleitung dadurch bei zeitkritischen Entscheidungen unterstützen.


XR - das digitale Lagebild wird zum interaktiven Einsatzraum

Extended Reality ermöglicht eine immersive Interaktion mit dem digitalen Lagebild.


Einsatzleiter können das Krisengebiet aus der Distanz betrachten, räumliche Zusammenhänge analysieren, Informationen direkt im 3D-Modell verorten und Einsatzstrategien entwickeln.


Dabei wird nicht nur die Darstellung erforscht. Auch die Interaktion und Kommunikation zwischen Einsatzleitung und Teams vor Ort sind zentrale Bestandteile des Projekts.


Human Factors - den Menschen im System berücksichtigen

Entscheidungen in Katastrophensituationen müssen häufig unter hohem Zeitdruck und hoher mentaler Belastung getroffen werden.


GigaResponse untersucht deshalb, wie Biosignal-gestützte Wearables und Eye-Tracking eingesetzt werden können, um Belastung, Aufmerksamkeit und Situationsbewusstsein zu erfassen.


Die gewonnenen Erkenntnisse sollen dabei helfen, die XR-Umgebung und die Informationsdarstellung besser an die Anforderungen der Einsatzleitung anzupassen.


Das Zusammenspiel

Die verschiedenen Technologien bilden eine durchgängige Kette:


Erfassen

3D-Scanner, Kameras, Drohnen und weitere Datenquellen erfassen die Umgebung.


↓


Vorverarbeiten

Edge Computing ermöglicht die Verarbeitung und Aggregation von Daten bereits vor Ort.


↓


Übertragen

5G Stand Alone ermöglicht den schnellen und bedarfsgerechten Austausch großer Datenmengen.


↓

Analysieren

KI unterstützt bei der Verarbeitung und Identifikation relevanter Informationen.


↓


Visualisieren

Aus den Daten entsteht ein räumlich annotierter digitaler Zwilling.


↓


Interagieren

XR macht das digitale Lagebild für die Einsatzleitung intuitiv nutzbar.


↓


Entscheiden & Kommunizieren

Einsatzstrategien können entwickelt und handlungsrelevante Informationen mit den Teams vor Ort geteilt werden.



Von der Datenerfassung zum digitalen Lagebild

GigaResponse erforscht damit eine durchgängige technologische Kette – von der mobilen Erfassung im Einsatzgebiet bis zur immersiven Entscheidungsunterstützung in der Einsatzleitung.