Uvod i resursi NetCDF – Spremanje znanstvenih podataka

Objava: Vaša podrška pomaže održavanju web mjesta! Naplaćujemo naknadu za preporuku za neke usluge koje preporučamo na ovoj stranici.


Mrežni uobičajeni obrazac podataka ili NetCDF skup je softverskih sučelja i knjižnica dizajniranih za strojno neovisno predstavljanje znanstveno podataka usmjerenih na niz. NetCDF format podataka je otvoreni standard. To je samoopisujući, prenosiv i skalabilan. Samo sučelje za programiranje NetCDF (API) omogućava stvaranje, pristup i razmjenu znanstvenih podataka.

Te su činjenice urotile za to da je NetCDF postao popularan u zajednici geoznanosti tijekom posljednjih desetljeća.

Kratka povijest

Projekt NetCDF pokrenuo je 1989. Sveučilišna korporacija za atmosferska istraživanja (UCAR), neprofitni konzorcij više od 100 sveučilišta i visokih učilišta. UCAR je osnovan 1959. radi potpore atmosferskim istraživanjima i promicanju znanosti.

Softver NetCDF razvili su Glenn Davis, Russ Rew, Ed Hartnett, John Caron, Dennis Heimbigner, Steve Emmerson, Harvey Davies i Ward Fisher u programskom centru Unidata u Boulderu, Colorado. Unidata je zajednica obrazovnih i istraživačkih institucija s zajedničkim ciljem razmjene podataka o geoznanosti i alata za pristup i vizualizaciju tih podataka. Unidata je jedan od UCAR-ovih programa zajednice (UCP), koji prvenstveno financira Nacionalna zaklada za znanost. Unidata je također izvor NetCDF softvera, razvoja standarda i ažuriranja.

NetCDF je ažuriran i promijenjen tijekom svog vijeka trajanja, od verzije 3.x koja potiče iz 1997., preko verzije 4.0 od 2008. do verzije 4.1 objavljene 2010. Sve ove različite verzije NetCDF-a održava i ažurira Unidata. Dobra vijest je da je NetCDF nazad kompatibilan kad su u pitanju njegove podatkovne datoteke, što znači da sve NetCDF datoteke ikad stvorene mogu biti pročitane i korištene u najnovijem izdanju NetCDF-a..

NetCDF knjižnice

Knjižnice softvera sastavni su dio NetCDF paketa, pružajući pristup čitanju / pisanju za NetCDF datoteke podataka. Jezgrena knjižnica NetCDF napisana je na C i pruža API-je za C, C ++, Fortran 77 i Fortran 90. Pored ovih programskih jezika, NetCDF API-ji bazirani na C dostupni su i za Perl, Ruby, Python, Haskell, Mathematica, MATLAB, IDL , i R.

Za Javu je dostupna i zasebna implementacija NetCDF-a, Unidata je također razvila i održava i nazvana NetCDF Java.

NetCDF formati datoteka

Najnovije izdanje NetCDF podržava tri različita binarna formata za NetCDF datoteke podataka. Ovi formati su se s vremenom razvijali i uvode se u različite NetCDF izdanja.

Klasični format izvorno je korišten u prvom izdanju NetCDF-a i još je zadani format za stvaranje NetCDF datoteka s podacima. Klasični NetCDF format ima stroga ograničenja u pogledu strukture datoteka podataka veće od dva gigabajta. Obavezno provjerite ta ograničenja ako planirate koristiti i stvarati velike datoteke u klasičnom formatu.

64-bitni offset format uveden je u NetCDF verziji 3.6.0 2004. godine, uvelike povećavajući veličinu varijabli i datoteka podržanih u NetCDF. 64-bitni offset format vrlo je koristan za upravljanje velikim podacima s podacima (preko dva gigabajta), no samo korisnici koji imaju NetCDF verziju 3.6.0 ili noviju mogu koristiti ovaj format.

Format NetCDF-4 / HDF5 predstavljen je u NetCDF verziji 4.0 objavljenoj 2008. Taj format omogućava upotrebu hijerarhijskog formata podataka 5 (HDF5) uz potpuno korištenje novih ljestvica dimenzija HDF5, naručivanje stvaranja i druge napredne značajke HDF5 verzija 1.8.0.

Svi ovi formati datoteka su neovisni o platformi i samo-opisuju, što znači da podatkovna datoteka sadrži odjeljak zaglavlja koji opisuje izgled podataka koji se nalaze u ostatku datoteke.

Bez obzira na verziju NetCDF-a koju odaberete, klasični format za tvorničke datoteke podataka je zadani format. Korištenje drugog formata mora biti određeno i deklarirano tijekom stvaranja datoteke.

NetCDF uobičajena upotreba i aplikacije

Budući da je NetCDF posebno dizajniran za manipuliranje ogromnim količinama znanstveno orijentiranih podataka, on se obično koristi u aplikacijama meteorologije, klimatologije i oceanografije. NetCDF se koristi kao uobičajeni format podataka u mnogim aplikacijama za informacije o geografskom sustavu (GIS) i za razmjenu znanstvenih podataka.

Mnoge znanstvene aplikacije koriste NetCDF, poput Ferret, GrADS, ArcGIS, NetCDF Explorer. Unidata ima dobar popis softvera koji koriste NetCDF.

Resursi NetCDF

Ako trebate saznati više o NetCDF-u, predlažemo da pogledate neke od sljedećih mrežnih resursa:

  • Službena dokumentacija NetCDF-a prvo je mjesto za posjetiti. Možete naći mnoge korisne uskrsnice, kao i službeni NetCDF korisnički priručnik, vodič, programske bilješke i primjere.
  • Službena stranica za podršku za NetCDF može pomoći u rješavanju problema s NetCDF-om, vezama za često postavljana pitanja, arhive, popise pošte i podršku e-pošte..
  • Web stranica Imperial College London ima lijep odjeljak o NetCDF-u, s kratkim uputama za dobivanje i izgradnju NetCDF-a, korisničkim vodičem i korisničkim vodičem s praktičnim primjerima.

NetCDF knjige

Knjige koje posebno pokrivaju NetCDF teško je pronaći, a poglavlja o NetCDF-u obično ćete pronaći u knjigama o GIS-u i geoznanostima. Nekoliko Fortraninih knjiga također spominje NetCDF. To ne predstavlja problem, jer postoje mnogi kvalitetni NetCDF resursi dostupni na mreži.

Zaključak

NetCDF postoji već desetljećima, a uskoro neće nikamo. Iako je rješenje za nišne aplikacije, NetCDF je još uvijek živ i šik, a široko se koristi za pohranu znanstvenih podataka širom svijeta..

Budući da znanost o klimi ne može čekati da programeri osiguraju kompatibilnost sa svakim novim izdanjem softvera, NetCDF povoljno nudi povratnu kompatibilnost. Ako laboratorij ima skup podataka s kraja devedesetih, još uvijek ga može ponovno učitati i koristiti kao povijesni model koristeći najnovije izdanje NetCDF-a, što je od vitalne važnosti u slučajevima znanstvene uporabe.

Pored hardcore znanstvenih aplikacija, NetCDF također ima istaknutu ulogu u nekoliko industrija, naime u onima koji se svakodnevno oslanjaju na GIS.

NetCDF je otvoreni standard, slobodan za upotrebu i priključivanje na različite platforme, što je izvrsna vijest za ljude koji su zainteresirani za njegovo korištenje, ali postoji nedostatak otvorenog, ali nišnog softverskog rješenja – nema toliko resursa i zajednica je ograničena.

Daljnje čitanje i izvori

Imamo više vodiča, tutorijala i infografika vezanih za matematičko i znanstveno računarstvo:

  • LabVIEW Programiranje Uvod i resursi: znanstveni programski sustav koji se koristi za sučelje s hardverskim sustavima.
  • Resursi MATLAB: industrijski standard u matematičkom računanju visoke razine.
  • Četvrti programski resursi: znanstveno programiranje dizajnirano posebno za sučelje s hardverom.

Koji kôd treba naučiti?

Zbunjeni u koji programski jezik treba naučiti kodirati? Pogledajte našu infografiku. Koji kôd treba naučiti? Ne samo da raspravlja o različitim aspektima jezika, već odgovara i na važna pitanja poput: “Koliko ću novca zaraditi programiranje Java za život?”

Koji kôd treba naučiti?
Koji kôd treba naučiti?

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me