NetCDF ievads un resursi – zinātnisko datu glabāšana

Atklāšana: Jūsu atbalsts palīdz vietnei darboties! Mēs nopelnām nodošanas maksu par dažiem pakalpojumiem, kurus mēs iesakām šajā lapā.


Tīkla kopējā datu forma jeb NetCDF ir programmatūras saskarņu un bibliotēku kopums, kas paredzēts mašīnneatkarīgam uz masīvu orientētu zinātnisko datu attēlošanai. NetCDF datu formāts ir atvērts standarts. Tas ir pašraksturošs, pārnēsājams un pielāgojams. NetCDF lietojumprogrammu saskarne (API) pati ļauj izveidot, piekļūt un koplietot zinātniskos datus.

Šie fakti ir kļuvuši par sacerējumu, lai padarītu NetCDF pēdējās desmitgadēs ļoti populāru ģeozinātņu sabiedrībā.

Īsa vēsture

NetCDF projektu 1989. gadā uzsāka Atmosfēras pētījumu universitātes korporācija (UCAR) – bezpeļņas konsorcijs, kas sastāv no vairāk nekā 100 universitātēm un koledžām. UCAR tika izveidots 1959. gadā, lai atbalstītu atmosfēras izpēti un veicinātu zinātni.

NetCDF programmatūru izstrādāja Glens Deiviss, Russ Ruds, Eds Hartnetts, Džons Karons, Deniss Heimbigners, Stīvs Emmersons, Hārvijs Deiviss un Wards Fišers Unidata programmu centrā Boulderā, Kolorādo. Unidata ir izglītības un pētniecības iestāžu kopiena, kuras kopējais mērķis ir dalīties ar ģeoloģijas zinātnes datiem un rīkiem, lai piekļūtu un vizualizētu šos datus. Unidata ir viena no UCAR kopienas programmām (UCP), ko galvenokārt finansē Nacionālais zinātnes fonds. Unidata ir arī NetCDF programmatūras, standartu izstrādes un atjauninājumu avots.

NetCDF visā tā darbības laikā ir atjaunināts un mainīts no 3.x versijas, kas datēta ar 1997. gadu, no versijas 4.0 no 2008. gada uz versiju 4.1, kas izlaista 2010. gadā. Visas šīs dažādās NetCDF versijas uztur un atjaunina Unidata. Labā ziņa ir tā, ka NetCDF ir savietojams ar atpakaļejošu datumu, kas nozīmē, ka visus NetCDF failus, kas jebkad ir izveidoti, var lasīt un izmantot jaunākajā NetCDF laidienā.

NetCDF bibliotēkas

Programmatūras bibliotēkas ir NetCDF pakotnes neatņemama sastāvdaļa, nodrošinot lasīšanas / rakstīšanas piekļuvi NetCDF datu failiem. NetCDF galvenā bibliotēka ir rakstīta C valodā un nodrošina API C, C ++, Fortran 77 un Fortran 90. Bez šīm programmēšanas valodām NetCDF API, kas balstās uz C, ir pieejamas arī Perl, Ruby, Python, Haskell, Mathematica, MATLAB, IDL. un R.

Atsevišķa NetCDF ieviešana ir pieejama arī Java, to arī izstrādā un uztur Unidata un sauc par NetCDF Java.

NetCDF failu formāti

Jaunākais NetCDF izlaidums atbalsta trīs dažādus NetCDF datu failu bināros formātus. Šie formāti laika gaitā attīstījās un tika ieviesti dažādās NetCDF reelases.

Klasiskais formāts sākotnēji tika izmantots pirmajā NetCDF laidienā, un tas joprojām ir noklusējuma formāts NetCDF datu failu izveidošanai. Klasiskajā NetCDF formātā ir stingri ierobežojumi attiecībā uz tādu datu failu struktūru, kuru lielums pārsniedz divus gigabaitus. Noteikti pārbaudiet šos ierobežojumus, ja plānojat izmantot un izveidot lielus failus klasiskajā formātā.

64 bitu nobīdes formāts 2004. gadā tika ieviests NetCDF versijā 3.6.0, ievērojami paplašinot NetCDF atbalstīto mainīgo un failu izmērus. 64 bitu nobīdes formāts ir ļoti noderīgs lielu datu failu (vairāk nekā divu gigabaitu) pārvaldībā, tomēr šo formātu var izmantot tikai lietotāji, kas darbojas ar NetCDF versiju 3.6.0 vai jaunāku..

NetCDF-4 / HDF5 formāts tika ieviests NetCDF versijā 4.0, kas izlaista 2008. gadā. Šis formāts ļauj izmantot Hierarchical Data Format 5 (HDF5), pilnībā izmantojot jaunās HDF5 dimensiju skalas, izveidošanas pasūtīšanu un citas uzlabotās funkcijas. HDF5 versija 1.8.0.

Visi šie failu formāti ir no platformas neatkarīgi un sevi raksturo, kas nozīmē, ka datu failā ir galvenes sadaļa, kurā aprakstīts pārējā failā esošo datu izkārtojums.

Neatkarīgi no izvēlētās NetCDF versijas, datu failu izveidošanas noklusējuma formāts ir klasiskais formāts. Faila izveides laikā ir jāprecizē un jādeklarē cita formāta izmantošana.

NetCDF parastā lietošana un lietojumprogrammas

Tā kā NetCDF bija īpaši izstrādāts, lai manipulētu ar lielu daudzumu uz zinātnisko datu bāzēm orientētu datu, to parasti izmanto meteoroloģijā, klimatoloģijā un okeanogrāfijā. NetCDF tiek izmantots kā kopīgs datu formāts daudzās Ģeogrāfiskās sistēmas informācijas (GIS) lietojumprogrammās un zinātnisko datu apmaiņai.

Daudzās zinātniskās lietojumprogrammās tiek izmantots NetCDF, piemēram, Ferret, GrADS, ArcGIS, NetCDF Explorer. Unidata ir labs programmatūras saraksts, izmantojot NetCDF.

NetCDF resursi

Ja jums vajadzēs uzzināt vairāk par NetCDF, iesakām apskatīt dažus no šiem tiešsaistes resursiem:

  • NetCDF oficiālā dokumentācija ir pirmā apmeklētā vieta. Jūs varat atrast daudz noderīgu atnākšanu, kā arī oficiālo NetCDF lietotāja rokasgrāmatu, apmācību, programmēšanas piezīmes un piemērus.
  • NetCDF oficiālā atbalsta lapa var palīdzēt atrisināt NetCDF problēmas, izmantojot saites uz FAQ, arhīviem, adresātu sarakstiem un e-pasta atbalstu.
  • Imperial College London vietnē ir jauka sadaļa par NetCDF, kurā ir īsi norādījumi par NetCDF iegūšanu un izveidi, lietotāja rokasgrāmata un lietotāja apmācība ar praktiskiem piemēriem..

NetCDF grāmatas

Grāmatas, kas īpaši aptver NetCDF, ir grūti atrast, un parasti grāmatās par ĢIS un ģeozinātnēm atradīsit nodaļas par NetCDF. Dažās Fortran grāmatās ir minēts arī NetCDF. Tas nerada problēmas, jo tiešsaistē ir pieejami daudzi kvalitatīvi NetCDF resursi.

Secinājums

NetCDF darbojas jau gadu desmitiem ilgi, un tas drīz nekur neliksies. Lai gan tas ir risinājums nišu lietojumprogrammām, NetCDF joprojām ir dzīvs un sāk darboties, un to plaši izmanto zinātnisko datu glabāšanai visā pasaulē.

Tā kā klimata zinātne nevar gaidīt, kamēr izstrādātāji nodrošinās saderību ar katru jauno programmatūras izlaidumu, NetCDF ērti piedāvā savietojamību ar atpakaļejošu datumu. Ja laboratorijai ir datu kopa no deviņdesmito gadu beigām, tā joprojām var to atkārtoti ielādēt un izmantot kā vēsturisku modeli, izmantojot jaunāko NetCDF izlaidumu, kas ir ļoti svarīgi zinātniskos gadījumos.

Papildus nopietnajiem zinātnes lietojumiem, NetCDF ir arī ievērojama loma vairākās nozarēs, proti, tajās, kuras ikdienas darbībā paļaujas uz ĢIS..

NetCDF ir atvērts standarts, kuru var brīvi izmantot un pārvietot uz dažādām platformām, un tas ir lielisks jaunums cilvēkiem, kurus interesē tā izmantošana, taču ir arī negatīvie apstākļi atvērtā, tomēr nišas programmatūras risinājuma izveidē – apkārt nav tik daudz resursu un kopiena ir ierobežota.

Turpmākie lasījumi un resursi

Mums ir vairāk ceļvežu, mācību materiālu un infografiku, kas saistīti ar matemātisko un zinātnisko skaitļošanu:

  • LabVIEW programmēšanas ievads un resursi: zinātniska programmēšanas sistēma, ko izmanto saskarnei ar aparatūras sistēmām.
  • MATLAB resursi: nozares standarts augsta līmeņa matemātiskajā aprēķinā.
  • Ciešie programmēšanas resursi: zinātniskā programmēšana, kas īpaši paredzēta saskarnei ar aparatūru.

Kāds kods jums jāiemācās?

Neizpratnē par to, kādā programmēšanas valodā jums vajadzētu iemācīties iekļūt? Iepazīstieties ar mūsu infografiku. Kāds kods jums jāiemācās? Tajā aplūkoti ne tikai dažādu valodu aspekti, bet arī sniegti atbildes uz svarīgiem jautājumiem, piemēram, “Cik daudz naudas es nopelnīšu Java programmēšanai iztikai?”

Kāds kods jums jāiemācās?
Kāds kods jums jāiemācās?

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me