Fusion von Tauchroboter- und Satellitenmessungen über unterschiedliche Skalen, Messmodelle und spektrale Abtastungen

In den Ingenieurswissenschaften haben sich in den letzten Jahren Digital Twins etabliert (siehe z. B. [3, 5, 12]), um komplexe Systeme zu untersuchen und zu verstehen. Auch in den Naturwissenschaften werden beobachtete Phänomene und Zusammenhänge in der echten Welt oft durch physikalische oder chemische Modelle beschrieben, z. B. wie CO² zwischen Ozean und Atmosphäre ausgetauscht wird. Solange kleinere Modelle für Simulation oder das Verständnis nützlich sind, nimmt man in Kauf, dass die Modellierung bestimmter Aspekte eine recht grobe Approximation der gesamten Welt sein kann. Somit können spezifische Aspekte hinreichend genau verstanden oder vorhergesagt werden, wie etwa der Effekt von Düngemitteln in Abwässern oder die Auswirkungen des Meeresanstiegs [2, 11].

Mit zunehmender Menge und Diversität von Sensordaten wird es immer schwieriger, Muster in den Daten zu erkennen, die unterschiedlichen Daten und Metadaten zu kombinieren und die Zusammenhänge manuell zu modellieren, d. h. diese zu fusionieren (siehe Abb. 1). Satellitenbasierte Beobachtungen der Wassersäule können z. B. als Proxy für die Primärproduktion [10], für Zooplankton Schwärme [1] oder Wasserqualität genutzt werden oder können die Seegrasbedeckung im Flachwasser bestimmen helfen [6]. Die Beobachtungen sind aber begrenzt auf wenige Meter Wassersäule, da der Satellit auf die Eindringtiefe der Sonnenstrahlung angewiesen ist. Es ist schwierig, fusionierte Modelle auf tiefere Gewässer auszudehnen (siehe Abb. 2), da etwa die tauchroboterbasierte Unterwasserbildgebung mit Kameras und künstlichen Lichtquellen (siehe Abb. 3) andersartige Beobachtungen ergeben [8]. Zudem sind die Repräsentation der optischen Effekte in der Wassersäule sowie die räumlichen und spektralen Auflösungen sehr unterschiedlich. Des Weiteren sind manche Prozesse, die ein Tauchroboter oder andere Messgeräte in der Tiefe beobachten können, nicht oder nur in bedingtem Maße von den Bedingungen in der direkt darüber liegenden Oberflächenschicht abhängig. So kann z. B. die Partikel- und Planktonabundanz in der Tiefe von den Oberflächenbedingungen abhängig sein, die zwei Wochen zuvor in 20 km Entfernung vorherrschten, da Meeresströmungen, Subduktions- oder Sinkprozesse die Partikel und Organismen entsprechend verfrachtet haben können.

Nach Kenntnis der Autoren gibt es zur Zeit Ansätze für Digital Twins of the Ocean im frühen Forschungsstadium, jedoch keine im produktiven Einsatz. Die Fusion verschiedenster Daten, Modelle und Repräsentationen ist eine Schlüsseltechnologie für Digital Twins, wie wir auch schon in einem Überblicksartikel argumentiert haben [4]. Zusätzlich ist das Sehen eine der wichtigsten Sinneswahrnehmungen des Menschen, und daher erwarten wir, dass besonders die Einbringung von visueller Information in Digital Twins diese intuitiver zugänglich, nutzbar und erfahrbar macht.

In diesem Zusammenhang stellen sich folgende Forschungsfragen: (1) Wie können wir auf verschiedenen Skalen arbeiten und dennoch die Messungen fusionieren, sodass sie von gegenseitigem Nutzen sind (für Kalibrierung und Extrapolation in die Breite oder Tiefe)? (2) Wie können wir spektrale Koeffizienten des Wassers (z. B. Absorption) aus einfachen Breitbandkoeffizienten einer RGB-Kamera extrahieren und für die Kalibrierung von Satellitenprodukten verwenden? Können wir neue multispektrale Kameras unterstützen? (3) Wie können wir Einzelbeobachtungen von Organismen in der Wassersäule oder auch Seegras auf dem Meeresboden mit Satellitendaten fusionieren? (4) Wie können wir die Methodiken aus Unterwassermodellen (differenzierbare Monte-Carlo-basierte Simulation [9]) und Satellitendaten (Inversion von Strahlungstransfermodellen mit geschlossener Gleichung) mit höherer spektraler Auflösung kombinieren und evtl. mit Ansätzen aus dem Machine Learning zusammenbringen? (5) Wie müssen hierbei die Brechungseffekte an der Wasseroberfläche und die Komponenten von Vorwärts- und Rückwärtsstreuung in der Wassersäule berücksichtigt werden? (6) Welchen Einfluss haben Wetterbedingungen, Wellendynamik und Strömungen auf die Güte der Fusion? Mittelfristig stellt sich zusätzlich die Frage, wie wir Kalibrierungen durchführen können, wenn Satellit und Tauchroboter nicht zur selben Zeit denselben Ort gesehen haben. Können Strömungsmodelle den ganzen Ansatz weiter generalisieren, indem sie die Position der betrachteten Wassermasse für einen anderen Zeitpunkt vorhersagen, wo dann eine Messung des anderen Sensors vorgenommen werden kann, oder kann eine Referenzmessung für eine Wassermasse anhand einer berechneten Trajektorie gesucht werden?

Die Herausforderungen der Fragestellung liegen in der Heterogenität der Daten und Modelle. Während der Fußabdruck des Satelliten eine große Bandbreite von Submeter bis Kilometer groß ist, beobachtet der Tauchroboter nur im Nahbereich. Es gibt daher keine 1‑zu-1-Relation zwischen den Messungen und zudem einen Skalenunterschied von mindestens einer Größenordnung in der räumlichen Auflösung. Auch spektral unterscheiden sich die Auflösungen stark, wobei der Satellit meist eine bessere spektrale Auflösung aufweisen kann. Arbeitet der Tauchroboter mit künstlicher Beleuchtung, erzeugt er selbst sehr viel Streulicht, das analytisch nicht mehr herauszurechnen ist, sondern nach aktuellem Stand der Technik durch inverse Methoden (Monte-Carlo-Simulation) kompensiert werden kann. Die Satellitendaten werden hingegen mit invertierten Strahlungstransfermodellen der Atmosphäre und der Wassersäule korrigiert, sodass die Rohdaten nicht direkt vergleichbar sind. Vielmehr wird eine sensor- und mediumagnostische Zwischenrepräsentation benötigt.

Da genau bekannt ist, zu welchen Zeiten welche Satelliten bestimmte Gebiete abdecken, kann kurz zuvor oder wenig später das abgedeckte Gebiet mittels Tauchroboter untersucht werden, sodass Messungen desselben Wasserzustandes bei gleichen Wetterbedingungen vorliegen. Langfristig wäre die Einbeziehung von Strömungsmodellen wünschenswert, sodass bei nicht exakt gleichzeitiger Messung die Position der betrachteten Wassermasse vorhergesagt werden kann. Anhand von den überlappenden Messungen zwischen Tauchroboter und Satellit sollen die jeweiligen Messungen und Modelle miteinander in Beziehung gesetzt werden. So können Satellitendaten mittels Tauchrobotermessungen in die Tiefe extrapoliert werden oder Tauchroboterdaten mittels Satellitenmessungen in die Fläche. Zusätzlich gehen wir davon aus, dass die optischen Wasserparameter (z. B. Partikelgrößenverteilung, Abschwächung, Albedo, Phase Function [7]) durch Nutzung beider Modelle und Messungen genauer bestimmt werden können, insbesondere unter Berücksichtigung der relativ breitbandigen Sensorik der Tauchroboterkamera gegenüber der feineren spektralen Auflösung des Satelliten. Die Kenntnis dieser Wasserparameter soll dann dazu genutzt werden, benthische Karten ohne Wassereffekte zu erzeugen, in denen die tatsächlichen Oberflächenfarben, z. B. des Sediments oder Seegrases, wiederhergestellt werden. Die Kombination von in situ und Satellitenbeobachtungen kann jedoch immer nur in einem kleinen Zeitfenster gelingen, da Tauchrobotereinsätze logistisch schwierig sind. Somit können die besten optischen Fenster (windstill, wolkenfrei, keine Wassertrübung durch Algen) nur sehr selten, wenn überhaupt für die Gewinnung von Fusionsdaten genutzt werden. Da jedoch der Satellit, aufgrund langer Einsatzzeit und großem Footprint, optimale optische Fenster oft treffen sollte, kann eine genaue Fusion der Daten und vor allem auch eine Messung der Wassereigenschaften im Grenzbereich der Satellitensichttiefe eine Verbesserung des finalen Produkts generieren. Zusätzlich sollen mithilfe dieser Parameter synthetische Bilder der beobachteten Region unter anderen Bedingungen (What-if-Szenarios) erzeugt werden können. In den Überlappungsbereichen der unterschiedlichen Messverfahren sollen zunächst die Modelle und Vorhersagen über die Wasserparameter gegeneinander verglichen werden, idealerweise unterstützt durch eine Probennahme und Untersuchung der Wasserparameter.

In diesem Beitrag wurde die Relevanz der kombinierten Analyse von Daten unterschiedlicher Messsysteme (Satellit und Tauchroboter) für aktuelle Fragen in der Meeresforschung diskutiert und herausgestellt, dass die Fusion von verschiedenartigen Daten, Modellen und Methoden eine Schlüsseltechnologie für zukünftige Digital Twins des Ozeans im Rahmen des Cross-Domain-Fusion-Verbundprojekts darstellt. Es wurde gezeigt, welche Herausforderungen zu lösen sind, um satellitenbasierte Beobachtungen mit andersartigen In-situ-Messungen von Tauchrobotern zu verschneiden.