EUMETSAT Destination Earth Data Lake (DEDL) Cube
Das Projekt „Destination Earth Data Lake Cube“ (DEDL Cube) wird von EUMETSAT finanziert und soll die Datenermittlung, den Datenzugriff und die Datenverarbeitung der im Rahmen von „Destination Earth Harmonized Data Access“ (HDA) angebotenen Produkte erleichtern. Der HDA bietet ein umfangreiches Sortiment mit Hunderten von Produkten, darunter die neuesten atmosphärischen Digital Twins des ECMWF.
Der DEDL Cube wird aus mehreren Komponenten bestehen, die jeweils von Experten des Konsortiums implementiert und geprüft werden. Die DataCube Generation Komponente ist für die Konvertierung ausgewählter Datensätze in analysefertige, cloudoptimierte (ARCO) Datensammlungen verantwortlich. Sie umfasst Funktionen zur Datenermittlung über die HDA-STAC-API, sowie zum Herunterladen und zur Verarbeitung der Daten, einschließlich der Umwandlung in das cloudnative Zarr-Format und der Projektion auf ein diskretes globales Rastersystem (DGGS). Die zweite Hauptkomponente besteht aus einem openEO-API-Dienst, der Datenerkennungs- und -verarbeitungsfunktionen in der Cloud gemäß dem openEO-Standard bietet. Dadurch werden sowohl die Portabilität als auch die Reproduzierbarkeit gefördert und die Unabhängigkeit von externen Anbietern sichergestellt. Die Implementierung wird unter Wiederverwendung und Erweiterung bestehender Open-Source-Projekte mit etablierter Nutzerbasis erfolgen und der gesamten openEO-Community neue Funktionen bieten.
Die Advanced-Computing-Gruppe des Instituts für Erdbeobachtung verfügt über umfangreiche Erfahrung in der Verarbeitung und Verwaltung cloudnativer Geodaten und wird mit ihrem Fachwissen zum Entwurf der DEDL-Cube-Architektur, zur Implementierung und Validierung der openEO-API und schließlich zur Projektdokumentation beitragen.
Dieses Projekt festigt die Akzeptanz der openEO-API und etabliert sie damit auch bei einem großen Datenproduzenten wie EUMETSAT. Eurac Research spielte von Beginn des Projektes an eine Schlüsselrolle bei der Entwicklung von openEO und nutzt und entwickelt es weiterhin in vielen Projekten.
Kontakt: Michele Claus michele.claus@eurac.edu
Eurac Research activities in the project are divided among the three work packages:
Service Design & Architecture: we will be responsible for coordinating the requirements analysis, the update of the system architecture documenting the rationale for chosen stack and finally updating the identified design constraints. The work will result in the deliverable D01 due to KO+3 months (end of February).
Minimum Viable Product: we will contribute to the DataCube Generation component development, testing out the products converted by DevelopmentSeed with openEO. We will extend the openEO Python software stack to be compatible with the EUMETSAT products (Sentinel-3 WFR, MSG, MTG, ASCAT), initiating the integration of data projected on the HEALPix DGGS.
Increment A: we will contributor the the openEO API deployment, focusing on the User Defined Functions (UDFs) implementation to run custom workflows, based on either custom Python scripts or on containers defined by a Common Workflow Language (CWL) document.
Eurac Research is also responsible for the whole project documentation, covered in all the work packages
- Project duration: -
- Project status:
- Funding: Public institutions (Other projects /Project)
- Institute: Institut für Erdbeobachtung
Discover
Verwandte Expertinnen und Experten, Publikationen und Forschungsthemen ansehen.
Meine Cookie Einstellungen
