NetCDF
Network Common Data Format (netCDF) ist ein Dateiformat für den Austausch wissenschaftlicher Daten. Es handelt sich um ein binäres Dateiformat, das durch die Angabe der Byte-Reihenfolge im Header maschinenunabhängig ist. NetCDF ist ein offener Standard; das Projekt wird von der University Corporation for Atmospheric Research (UCAR) betreut.
| Network Common Data Form | |
|---|---|
| Dateiendung: | .nc, .cdf |
| MIME-Type: | application/netcdf application/x-netcdf |
| Magische Zahl: | CDF\x01 |
| Entwickelt von: | UCAR |
| Container für: | wissenschaftliche Daten |
| Erweitert von: | CDF |
| Website: | unidata.ucar.edu/software/netcdf/ |
NetCDF basiert zwar auf dem ähnlich klingenden Common Data Format (CDF) der NASA, hat sich jedoch von diesem fortentwickelt und ist nicht mehr kompatibel. Aktuell ist die netCDF-Version 4 (netCDF4). Version 4 baut auf Hierarchical Data Format Version 5 (HDF5) auf und beinhaltet dadurch HDF5 Features wie Deflate (Komprimierung). Version 3 war noch unabhängig von Hierarchical Data Format. Die netCDF4-Bibliothek erlaubt es weiterhin mit Dateien im klassischen netCDF (netCDF Version 3) zu arbeiten.
Verwendung findet netCDF vor allem in der Erdsystemmodellierung (z. B. in der numerischen Wettervorhersage oder der Klimatologie)[1][2][3] und kann in Geoinformationssystemen genutzt werden.
Formatbeschreibung
Das Dateiformat ist selbstbeschreibend – es gibt einen Header, in dem neben Metadaten (in Form von geordneten Paaren aus Schlüsseln und Attributen) auch die Struktur des Datenbereichs beschrieben ist. Die Daten selbst sind als (ein- oder mehrdimensionale) Arrays abgelegt, was einen schnellen Zugriff ermöglicht.[4]
Die Programmierschnittstelle (API, für engl. application programming interface) der Version 3 unterscheidet sich deutlich vom API der Version 2, das jedoch zur Rückwärtskompatibilität vollständig enthalten ist. Die aktuelle Version 4 des netCDF-APIs verwendet als Basis das HDF5-Format, jedoch ist das API auch rückwärtskompatibel zu den alten Datenformaten. Damit werden für netCDF-Programme bei Verwendung des neuen Formats neue Funktionen möglich, beispielsweise größere Dateien und eine unbegrenzte Anzahl an Datendimensionen. Somit soll die Leistungsfähigkeit des HDF5-Formats mit der einfachen Benutzung des netCDF-APIs kombiniert werden.
Software
Von der UCAR gibt es eine Programmbibliothek, die Lese- und Schreibzugriff auf netCDF-Dateien bietet. Diese Bibliothek ist in C[5] geschrieben, es gibt jedoch Schnittstellen zu C++[6], Fortran[7], R[8][9], Perl, Python[10], Ruby, Matlab, IDL und Octave. Zudem gibt es von UCAR noch eine Implementierung in Java[11].
Folgende Programme zur Arbeit mit netCDF Dateien sind verfügbar:
- nur Visualisierung:
- NcBrowse: Ein netCDF-Dateibetrachter mit Unterstützung für Grafik, Animationen und 3D-Visualisierung. Es ist lauffähig unter Linux, macOS und Microsoft Windows.
- NcView: Ein einfacher netCDF-Dateibetrachter; bietet Animationen, Veränderung der Farbpalette, Betrachtung verschiedener Dimensionen der Datensätze etc. Es ist lauffähig unter Linux und macOS.
- Panoply: In Java geschriebener netCDF-Dateibetrachter, entwickelt vom Goddard Institute for Space Studies mit Schwerpunkt auf die Darstellung von Geodaten und Unterstützung von Kartenprojektionen. Es ist lauffähig unter Linux, macOS und Microsoft Windows.
- nur Verarbeitung:
- Climate Data Operators (cdo): Ein Kommandozeilenprogramm mit vielfältigen Operatoren zur Verarbeitung von Daten im netCDF und GRIB Format.
- NetCDF Operators (NCO): Eine Sammlung von Programmen zur Analyse und Bearbeitung von netCDF-Dateien.
- OpenChrom kann Chromatogramme im Analytical Data Interchange Format importieren und schreiben.[12]
- Skriptsprachen zur Verarbeitung und Visualisierung:
- Ferret Data Visualization and Analysis: Visualisierungsprogramm für Ozeanographen und Meteorologen, mit einer Mathematica-ähnlichen interaktiven Schnittstelle und Auswahlmöglichkeit für beliebig geformte Ausschnitte.
- NCAR Command Language (NCL): Eine Sprache zur wissenschaftlichen Verarbeitung und Visualisierung von Daten in den Formaten netCDF, HDF, GRIB, shape und ASCII.
- Python-Module:
Parallel netCDF
Für den Einsatz auf Parallelrechnern wurde Parallel netCDF vom Argonne National Laboratory und der Northwestern University entwickelt. Dieses basiert auf MPI-I/O, der I/O-Erweiterung von MPI.[13]
Weblinks
- NetCDF Homepage
- NetCDF 4
- An Introduction to Distributed Visualization; in Abschnitt 4.2 werden CDF, HDF und netCDF verglichen.
- NetCDF Operator Homepage
- xarray Homepage
Einzelnachweise
- Example netCDF files (Beispiel netCDF Dateien). unidata, abgerufen am 9. April 2020.
- Was sind netCDF-Daten? esri, abgerufen am 9. April 2020.
- Globalstrahlung (Leistungen des DWD). DWD, abgerufen am 9. April 2020.
- R. Rew, G. Davis: NetCDF: an interface for scientific data access. In: IEEE Computer Graphics and Applications. Band 10, Nr. 4, 1990, ISSN 1558-1756, S. 76–82, doi:10.1109/38.56302.
- Unidata NetCDF at GitHub. Unidata, abgerufen am 9. April 2020.
- netCDF-4 C++ library at GitHub. Unidata, abgerufen am 9. April 2020.
- Unidata NetCDF Fortran Library at GitHub. Unidata, abgerufen am 9. April 2020.
- ncdf4: Interface to Unidata netCDF (Version 4 or Earlier) Format Data Files. David Pierce, abgerufen am 9. April 2020.
- RNetCDF: Interface to 'NetCDF' Datasets. Milton Woods and Pavel Michna, abgerufen am 9. April 2020.
- netCDF4 Python module at GitHub. Unidata, abgerufen am 9. April 2020.
- netCDF-java. unidata, abgerufen am 9. April 2020.
- Philip Wenig, Juergen Odermatt: OpenChrom: a cross-platform open source software for the mass spectrometric analysis of chromatographic data. In: BMC Bioinformatics. Band 11, Nr. 1, 30. Juli 2010, ISSN 1471-2105, S. 405, doi:10.1186/1471-2105-11-405, PMID 20673335.
- Jianwei Li, Wei-keng Liao, A. Choudhary, R. Ross, R. Thakur, W. Gropp, R. Latham, A. Siegel, B. Gallagher, M. Zingale: Parallel netCDF: A High-Performance Scientific I/O Interface. 2003, S. 39–39, doi:10.1109/SC.2003.10053.