XR-Entscheidungsunterstützung mit KI-gestützten semantischen Digital Twins für echtzeitgestützte Einsatzleitung
In abgelegenen oder schwer zugänglichen Einsatzgebieten kann die vorhandene Kommunikationsinfrastruktur schnell an ihre Grenzen kommen. Gleichzeitig können 3D-Modelle, Bilder und Sensordaten große Datenmengen erzeugen.
GigaResponse untersucht deshalb den Einsatz von 5G Stand Alone (5G-SA) für die Übertragung einsatzrelevanter Daten. Dabei wird erforscht, welche Bandbreiten, Übertragungs- und Reaktionszeiten für eine XR-gestützte Einsatzleitung tatsächlich benötigt werden.
Ein besonderer Fokus liegt auf der adaptiven Datenübertragung: Kritische Informationen sollen abhängig von der aktuellen Einsatzsituation priorisiert und möglichst verzögerungsfrei übertragen werden.
Durch die dynamische Priorisierung von Datenströmen kann die verfügbare Netzwerkkapazität an die jeweilige Einsatzsituation angepasst werden.
Wo eine vollständige Übertragung an die Einsatzzentrale nicht sinnvoll oder aufgrund der Netzsituation nicht möglich ist, können Daten bereits direkt vor Ort vorverarbeitet oder aggregiert werden.
So erforscht GigaResponse, wie Kommunikations- und Rechenressourcen möglichst effizient zusammenspielen können.
Eine zentrale Grundlage des digitalen Lagebilds ist die schnelle Erfassung der Umgebung.
Dafür wird ein mobiles Aufnahmesystem erforscht, das unter anderem aus
besteht.
Damit können Einsatzkräfte ihre Umgebung während der Erkundung dreidimensional erfassen. Die gewonnenen Daten werden übertragen und zu einem räumlich annotierten digitalen Zwilling des Einsatzgebiets verarbeitet.
Erforscht werden dabei unter anderem die effiziente Verarbeitung von 3D-Daten, die Erkennung relevanter Objekte und die möglichst echtzeitfähige Visualisierung.
Aus den erfassten Umgebungsdaten entsteht ein digitaler Zwilling, der die reale Situation räumlich abbildet und mit aktuellen Informationen angereichert werden kann.
So können beispielsweise Gebäude, Gelände, Verkehrswege, Einsatzorte oder relevante Objekte in ihrem räumlichen Zusammenhang dargestellt werden.
Der digitale Zwilling dient damit als gemeinsame Grundlage für Lagebeurteilung, Einsatzplanung und Kommunikation – und perspektivisch auch für Training und Simulation.
Bei komplexen Einsatzlagen entstehen große Mengen an Daten. Für die Einsatzleitung ist nicht jede Information gleichermaßen relevant.
GigaResponse untersucht deshalb den Einsatz von KI-gestützten Verfahren, um aus den erfassten Daten handlungsrelevante Informationen zu gewinnen und die Darstellung an die jeweilige Situation anzupassen.
Ein besonderer Forschungsansatz ist die adaptive Informationspräsentation: Die XR-Umgebung soll relevante Informationen situationsabhängig hervorheben und die Einsatzleitung dadurch bei zeitkritischen Entscheidungen unterstützen.
Extended Reality ermöglicht eine immersive Interaktion mit dem digitalen Lagebild.
Einsatzleiter können das Krisengebiet aus der Distanz betrachten, räumliche Zusammenhänge analysieren, Informationen direkt im 3D-Modell verorten und Einsatzstrategien entwickeln.
Dabei wird nicht nur die Darstellung erforscht. Auch die Interaktion und Kommunikation zwischen Einsatzleitung und Teams vor Ort sind zentrale Bestandteile des Projekts.
Entscheidungen in Katastrophensituationen müssen häufig unter hohem Zeitdruck und hoher mentaler Belastung getroffen werden.
GigaResponse untersucht deshalb, wie Biosignal-gestützte Wearables und Eye-Tracking eingesetzt werden können, um Belastung, Aufmerksamkeit und Situationsbewusstsein zu erfassen.
Die gewonnenen Erkenntnisse sollen dabei helfen, die XR-Umgebung und die Informationsdarstellung besser an die Anforderungen der Einsatzleitung anzupassen.
Die verschiedenen Technologien bilden eine durchgängige Kette:
3D-Scanner, Kameras, Drohnen und weitere Datenquellen erfassen die Umgebung.
↓
Edge Computing ermöglicht die Verarbeitung und Aggregation von Daten bereits vor Ort.
↓
5G Stand Alone ermöglicht den schnellen und bedarfsgerechten Austausch großer Datenmengen.
↓
KI unterstützt bei der Verarbeitung und Identifikation relevanter Informationen.
↓
Aus den Daten entsteht ein räumlich annotierter digitaler Zwilling.
↓
XR macht das digitale Lagebild für die Einsatzleitung intuitiv nutzbar.
↓
Einsatzstrategien können entwickelt und handlungsrelevante Informationen mit den Teams vor Ort geteilt werden.
GigaResponse erforscht damit eine durchgängige technologische Kette – von der mobilen Erfassung im Einsatzgebiet bis zur immersiven Entscheidungsunterstützung in der Einsatzleitung.