GigaResponse
XR-Entscheidungsunterstützung mit KI-gestützten semantischen Digital Twins für echtzeitgestützte Einsatzleitung
Neue Wege für die Einsatzleitung
Anforderungen an die Einsatzleitung
Am Beginn steht die Frage: Welche Informationen benötigen Einsatzleiter wann und in welcher Form?
Dazu werden bestehende Handlungsabläufe, Informationsquellen und Entscheidungsprozesse untersucht. Gemeinsam mit Einsatzorganisationen werden Anforderungen an eine zukünftige XR-gestützte Einsatzplanung und -führung erarbeitet.
Dabei geht es unter anderem um:
- Welche Informationen sind für bestimmte Einsatzentscheidungen relevant?
- Wie schnell müssen diese Informationen verfügbar sein?
- Wie sollen Einsatzleitung und Teams vor Ort miteinander interagieren?
- Welche Informationen müssen räumlich verortet werden?
- Wie kann die Informationsdarstellung auch unter hoher Belastung intuitiv bleiben?
Die Ergebnisse bilden die Grundlage für die Gestaltung des Proof-of-Concept.
Datenübertragung als Forschungsfrage
Ein zentrales Forschungsproblem ist die Übertragung großer Datenmengen aus dem Einsatzgebiet.
3D-Scans, Bilder und weitere Sensordaten können erhebliche Datenmengen erzeugen. Gleichzeitig müssen kritische Informationen möglichst schnell verfügbar sein.
GigaResponse untersucht deshalb die notwendigen Bandbreiten, Übertragungszeiten und Reaktionszeiten und erforscht Konzepte für:
- adaptive Datenübertragung
- dynamische Priorisierung von Datenströmen
- Edge Computing
- Network Slicing
- situationsabhängiges Streaming
Dabei wird untersucht, wie sich verfügbare Kommunikations- und Rechenressourcen an die aktuelle Einsatzsituation anpassen lassen.
Echtzeitfähige 3D-Erfassung
Wie schnell lässt sich ein Einsatzgebiet dreidimensional erfassen und daraus ein nutzbares digitales Lagebild erzeugen?
Für diese Fragestellung wird ein mobiles 3D-Erfassungssystem als Proof-of-Concept erforscht. 3D-Laserscanner, Kamera, Inertialsystem, On-Board-Prozessierung und 5G-Kommunikation werden dabei zu einem mobilen System kombiniert.
Untersucht werden die gesamte Prozesskette:
Erfassung → Verarbeitung → Übertragung → Analyse → Visualisierung
Ein besonderer Fokus liegt auf der schnellen Verarbeitung von Scandaten und der Extraktion handlungsrelevanter Objekte und Informationen.
XR und Entscheidungsunterstützung
Eine zentrale Forschungsfrage lautet: Wie muss eine XR-Umgebung gestaltet sein, damit sie Einsatzleiter bei zeitkritischen Entscheidungen tatsächlich unterstützt?
Dazu werden unterschiedliche Formen der Visualisierung und Interaktion untersucht und gemeinsam mit relevanten Stakeholdern in iterativen Fokus-Workshops evaluiert.
Dabei wird betrachtet, wie Informationen räumlich dargestellt, wie Einsatzstrategien entwickelt und wie Informationen zwischen Einsatzleitung und Teams vor Ort ausgetauscht werden können.
Der Mensch im Mittelpunkt
Technologie allein macht noch keine bessere Entscheidung. Einsatzleiter müssen auch unter Stress komplexe Informationen erfassen und bewerten können.
Deshalb untersucht GigaResponse die kognitiv-emotionale Beanspruchung während der Nutzung der XR-Umgebung.
Mithilfe von Biosignal-gestützten Wearables und Eye-Tracking werden unter anderem Belastungsindikatoren und das Situationsbewusstsein untersucht.
Die Ergebnisse sollen dazu beitragen, die Informationsdarstellung und Interaktion so zu gestalten, dass sie die Einsatzleitung auch in zeitkritischen Situationen bestmöglich unterstützt.
Adaptive Entscheidungsunterstützung mit KI
Ein weiterer Forschungsansatz beschäftigt sich mit der Frage, wie KI die Darstellung von Informationen in XR situationsabhängig optimieren kann.
Dabei wird unter anderem der Einsatz von Reinforcement Learning explorativ untersucht.
Die Idee: Die XR-Umgebung soll nicht einfach möglichst viele Informationen darstellen, sondern die für die jeweilige Situation relevanten Informationen priorisieren.
So wird erforscht, wie eine adaptive Entscheidungsunterstützung gestaltet werden kann, die sich an Situation, Informationsbedarf und Nutzer anpasst.
Was ist daran innovativ?
GigaResponse betrachtet die Einsatzleitung nicht isoliert, sondern verbindet mehrere Forschungsbereiche zu einer gemeinsamen Prozesskette:
Mobile 3D-Erfassung
↓
5G-basierte Datenübertragung
↓
Edge Computing & adaptive Kommunikation
↓
KI-gestützte Datenanalyse
↓
Digitaler Zwilling
↓
XR-basierte Entscheidungsunterstützung
↓
Biosignal-gestützte Anpassung
Der innovative Ansatz liegt damit insbesondere im Zusammenspiel von Echtzeit-Datenerfassung, leistungsfähiger Kommunikation, intelligenter Datenverarbeitung und menschzentrierter XR-Interaktion.
Vom Forschungsansatz zum Proof-of-Concept
Die verschiedenen Forschungsarbeiten werden in einem Proof-of-Concept zusammengeführt.
Dabei soll explorativ gezeigt werden, wie eine datenintensive, reaktive und XR-gestützte Einsatzführung technisch und organisatorisch umgesetzt werden kann.
GigaResponse schafft damit eine Grundlage für zukünftige Systeme, die Einsatzleitungen ermöglichen, Krisengebiete aus der Distanz räumlich zu verstehen, relevante Informationen situationsgerecht zu erfassen und aufzubereiten sowie Einsatzstrategien gemeinsam mit den Teams vor Ort zu koordinieren.
Die zentrale Forschungsfrage
>>Wie können aktuelle Informationen aus einem Krisengebiet so schnell erfasst, übertragen, analysiert und in XR dargestellt werden, dass sie Einsatzleiter bei zeitkritischen Entscheidungen tatsächlich unterstützen?<<
Genau dieser Frage geht GigaResponse nach.