50 Cele mai bune surse de date deschise gata de a fi utilizate chiar acum

Intreprinderile sunt constiente de datele pe care le detin asupra clientilor lor, de campaniile de marketing, de social media si multe altele.

Acest tip de date provine din surse interne precum software CRM, sisteme ERP, instrumente de automatizare de marketing, baze de date si alte depozite. Prin analiza datelor, afacerile colecteaza si analizeaza aceste informatii pentru a lua decizii mai calculate.

Dar, pe masura ce lumea devine mai mult bazata pe date si pe masura ce volumele de date mari cresc, este important sa ia in considerare datele care nu se afla in sfera organizatiei tale. O portiune considerabila din ea este considerata „date deschise”.

Ce este datele deschise?

Datele deschise sunt seturi de date mari, care sunt disponibile pentru dvs., oricine are conexiune la internet.

Acest tip de date provine din surse externe din intreaga lume. Poate fi orice, de la datele publice colectate de agentiile guvernamentale pana la intreruperile tendintelor economice de la banci si conglomerate financiare.

De ce sunt importante datele deschise? Ei bine, datele deschise sunt cunostinte accesibile publicului de catre oricine. In ceea ce priveste afacerile, aceste date pot fi utilizate pentru informatii si prognoza predictiva, dezvaluirea modelelor de cumparare a grupurilor demografice, gasirea de noi oportunitati de inovare si multe altele.

Odata cu aparitia datelor mari, intreprinderile nu ar trebui consumate doar in propriile date. De aceea, am compilat primele 50 de surse de date deschise, gata de a fi utilizate chiar acum.

50 de surse de date deschise

In timpul procesului de analiza a datelor, o parte din generarea de informatii exacte este extragerea de date din locuri relevante. Faceti clic pe una dintre categoriile de mai jos pentru a gasi un set de date deschis care este relevant pentru afacerea dvs.

Date guvernamentale si globale

1.

Array

Data.gov – De la stiinta si cercetare la productie si clima, data.gov este una dintre cele mai cuprinzatoare surse de date de pe glob. Seturile de date sunt disponibile in formate tipice, cum ar fi CSV, JSON si XML. De asemenea, metadatele sunt actualizate frecvent, oferind utilizatorului transparenta si claritate completa.

2. Biroul de recensamant al SUA – Pentru datele demografice despre locuitorii SUA, aceasta sursa de date deschisa este extrem de utila. Sursele birourilor de recensamant sunt guvernele federale, de stat si locale, precum si entitatile comerciale.

3. Data.gov.uk – Similar cu sursa data.gov pentru datele americane, exista si una pentru intregul Regat Unit. Rapoartele contin date despre toate, de la criminalitate si justitie la aparare si cheltuieli guvernamentale.

4. Serviciul de date din Marea Britanie – Un complement perfect pentru data.

Array

gov.uk este Serviciul de date din Marea Britanie, un motor de cautare pentru seturi de date recente despre tendintele de socializare, politica, finante, relatii internationale si multe altele in Marea Britanie.

5. Portalul de date deschise al Uniunii Europene – Cu aproape 14.000 de seturi de date disponibile, EUROPA este unul dintre cei mai buni furnizori de date deschise din UE pentru informatii despre energie, educatie, comert, agricultura, probleme internationale si multe altele.

6. Open Data Network – Aceasta sursa permite utilizatorilor sa caute date folosind un motor de cautare robust. Aplicati filtre avansate cautarilor dvs. si trageti date despre orice, de la siguranta publica, finante, infrastructura, locuinte si dezvoltare si multe altele.

7. UNICEF – Aceste valoroase seturi de date deschise monitorizeaza si raporteaza situatiile copiilor si femeilor de pretutindeni. Ultimele actualizari privind focarele de boala, sex si educatie, atitudini cu privire la normele sociale si alte seturi de date sunt disponibile pe scara larga prin UNICEF, precum si vizualizari de date.

Date financiare si economice

8. Datele deschise ale Bancii Mondiale – aceasta este una dintre cele mai frecvent actualizate si complete surse de date deschise pentru informatii despre ratele PIB, logistica, consum global de energie, descarcarea si gestionarea fondurilor globale si multe altele. Exista chiar si instrumente de vizualizare pentru anumite seturi de date.

9.

Financial Times – Financial Times poate arata ca un ziar online, dar este de fapt una dintre cele mai solide surse de date pentru pietele globale, America, Europa si Africa si Asia-Pacific.

10. Date financiare globale – Cu un abonament gratuit, utilizatorii pot accesa seturile de date complete si cercetarile GFD pentru a analiza pietele si economiile majore la nivel mondial. Sursele sunt periodice, carti si numeroase arhive.

11. Baza de date Comtrade ONU – Prelucrata de Comtrade Labs, aceasta baza de date de acces gratuit detine munti de seturi de date privind comertul global si este accesibila prin API. De asemenea, sunt disponibile instrumente de vizualizare si extragere a datelor.

12. Fondul Monetar International – Pentru informatii despre perspectivele economice globale, stabilitatea financiara, monitorizarea fiscala si multe altele, seturile de date ale FMI ar trebui sa va acopere.

13. Biroul de analiza economica – Adus de Departamentul de Comert al SUA, aceasta sursa larga de date deschise este actualizata frecvent cu seturi de date despre PIB, tranzactii internationale de bunuri si servicii, tranzactii internationale si multe altele.

14. Comisia pentru valori mobiliare si schimburi americane – In fiecare trimestru datand din 2009, SEC a publicat seturi de date deschise cu privire la situatiile financiare corporative si informatii despre dezvaluire.

15. Biroul National de Cercetari Economice – NEBR este o mare sursa de date deschisa atat pentru cercetarea calitativa cat si cantitativa. Cateva exemple in acest sens includ seturi de date cu privire la salariile nominale, scutirile de impozit pe proprietate bazate pe varsta, conditiile de credit post-locuitor si multe altele.

16. Baza de date Economice a Rezervei Federale – Aproape 530.000 de seturi de date americane si internationale sunt generate de Rezerva Federala. Unele exemple includ indicii preturilor de consum, PIB, indici de productie industriala, cursuri de schimb valutar si altele.

Date despre criminalitate si droguri

17. Program uniform de raportare a criminalitatii – Curat de FBI, Programul UCR agrega puncte din peste 18.000 de orase, universitati si colegii, judete, state, triburi si agentii federale de aplicare a legii.

18. Statistica Biroului de Justitie – In timp ce Programul UCR are mai multe statistici specifice criminalitatii, aceasta sursa de date deschisa colecteaza date despre toate, de la decese legate de arest si consens CPDO pana la statisticile camerelor de urgenta si anchetele anuale privind armele de foc.

19. Arhiva Nationala de Date privind Justitia Criminalistica – NACJD este o resursa cuprinzatoare pentru descoperirea atat seturilor de date de acces public, cat si restrans despre recidiva, violenta in banda, terorism, crime de ura si multe altele.

20. Institutul National pentru Abuzul de Droguri – NIDA este o resursa excelenta pentru seturi de date privind tutunul, alcoolul, drogurile ilicite si abuzul de prescriptie de opioide din SUA

21. Oficiul Natiunilor Unite pentru Droguri si Crima – Pentru seturi de date despre productia si traficul de droguri, studii globale privind ratele de omucideri, criminalitatea organizata, coruptia si multe altele, UNODC a actualizat frecvent publicatiile.

Sanatate si date stiintifice

22. Organizatia Mondiala a Sanatatii – Unul dintre cele mai complete depozite de date deschise pentru ratele globale de mortalitate, focare de boli, boli mintale, finantarea sanatatii si multe altele este Organizatia Mondiala a Sanatatii.

23. Administrarea alimentelor si a drogurilor – cunoscuta in mod obisnuit ca FDA, aceasta sursa de date deschisa serveste ca o biblioteca educationala pentru orice, de la boli transmise de alimente si contaminanti pana la stiri in suplimente alimentare si reamintiri din SUA

24. HealthData.gov – Continand peste 3.000 de seturi de date pe o perioada de 125 de ani, aceasta sursa de date deschise este dedicata sa faca accesul datelor de inalta valoare pentru antreprenori, cercetatori si factorii de decizie.

25. Institutul larg – Institutul larg este o sursa de date deschise clar, cu cercetari stiintifice si de sanatate in special asupra multor tipuri de cancer.

26. Institutul National al Cancerului – Un complement al Institutului general ar fi NIH. Cu filtre avansate, utilizatorii pot crea rezultate de cautare hiper-directionate pentru o varietate de seturi de date deschise referitoare la cancer.

27. Centrul pentru controlul bolilor – Accesul la o mare varietate de seturi de date deschise despre boli cronice, cancer, boli de inima, defecte la nastere si multe altele prin CDC.

28. NHS Digital – Pentru seturi de date de inalta calitate privind starea sistemelor de sanatate si asistenta sociala din Anglia, NHS Digital este un serviciu gratuit usor de utilizat, de luat in considerare.

29. Open Science Data Cloud – Cu mai mult de un petaby de seturi de date mari disponibile, OSDC permite cercetatorilor stiintifici sa gestioneze, sa partajeze si sa analizeze cu usurinta datele deschise.

30. Sistemul de date planetare NASA – Necesita date planetare? Ei bine, NASA v-a acoperit. Indiferent daca sunteti cercetator, educator, student sau doar o parte a publicului larg, cautati mii de seturi de date deschise pe planetele sistemului nostru solar.

31. Datele Pamantului NASA – Doriti sa le extindeti pe planeta Pamant? Accesati sursa completa de date a NASA pentru stiinta Pamantului. Monitorizati atmosfera, criosfera, tara, oceanul, radiatia calibrata si radiatia solara.

Date academice

32. Google Scholar – In ceea ce priveste moda motoarelor de cautare, Google Scholar le permite utilizatorilor sa caute seturi de date precum ar face cu orice alta cautare Google. Gasiti surse de date educative, revizuite de la egal la egal cu orice subiect!

33. Pew Research Center – Pew este una dintre cele mai mari surse de date deschise din SUA, cu seturi de date agregate prin sondaje de inalta calitate. Datele din sondaje sunt de obicei publicate la doi ani de la emiterea rapoartelor. Va trebui sa creati o autentificare gratuita pentru a accesa Pew Research Center.

34. Centrul National de Statistica a Educatiei – Seturi de date deschise, cum ar fi codul NCES, sunt utilizate astazi pe scara larga in institutiile de invatamant pentru a imbunatati ratele de pastrare a studentilor, atingerea gradului, intelegerea obiceiurilor de invatare si multe altele.

Date de mediu

35. Datele climatice online – Pentru seturi de date climatice istorice si in timp real in intreaga lume, CDO actioneaza ca o sursa de date deschisa excelenta. Cautati zilnic rezumate, date marine, radare meteorologice si multe altele.

36. Centrul National pentru Sanatate de Mediu – Acordat de CDC, aceasta sursa de date deschisa evidentiaza sisteme majore de date cu un scop national in care pot fi colectate date de sanatate publica si de mediu.

37. Atlasul energetic al IEA – Cand vine vorba de ratele de consum global de energie si energie electrica, AIE a cuprins seturi de date deschise si vizualizari de harta pentru accesul tuturor.

Date din directorul de afaceri

38. Glassdoor – Site-ul de revizuire a locurilor de munca are, de asemenea, o multime de date deschise pregatite pentru analiza. Unele exemple includ analiza de actualizare frecventa a sexului Glassdoor, rapoarte salariale lunare, rapoarte locale de plata si multe altele.

39. Yelp – Accesati milioanele de recenzii comerciale existente folosind seturile de date deschise ale lui Yelp pentru a obtine o intelegere mai profunda a sentimentului fata de companii, precum si a oricaror modele si tendinte.

40. Corporatii deschise – Una dintre cele mai mari baze de date deschise ale companiilor din lume detine sute de milioane de seturi de date in esenta oricarei tari.

Date despre mass-media si jurnalism

41. FiveThirtyEight – Una dintre cele mai cuprinzatoare si de inalta sursa de date cu privire la orice, de la politica la sport este FiveThirtyEight.

42. Reteaua de dezvoltatori din New York Times – Prin crearea unui cont si inregistrarea aplicatiei, puteti atinge rezumate, link-uri, multimedia, carti, listari, povesti si alte materiale care dateaza din 1851.

43. Associated Press Developer – Asemanator retelei dev-NYT, puteti construi integrari puternice cu serviciile Associated Press pentru dezvoltatori. Aceasta consta in continut de stiri, date de sondaj, metadate si multe altele.

Marketing si date de socializare

44. API API grafica – Curated de Facebook, Graph API este principalul mod in care aplicatiile pot citi si scrie in graficul social Facebook. Este in esenta o reprezentare a tuturor informatiilor pe Facebook acum si in trecut.

45. Mentiune sociala – Obtineti date in timp real despre sentimentele sociale, utilizarea cuvintelor cheie, utilizatorii si hashtag-urile cu ajutorul motorului de cautare Social Mention.

46. ​​Google Trends – Cautati ce cauta lumea folosind seturi de date Google Trends in ultimele tendinte de cautare. Marketerii pot identifica campanii in timp util folosind aceste date.

Date diverse

47. Kaggle – Sub supravegherea Google, Kaggle este o comunitate online de oameni de stiinta de date care publica seturi de date aparent aleatorii pe tot, de la urmarirea frecventei meme-urilor pe internet pana la „ultimele cuvinte ale detinutilor de la moarte”.

48. Seturi de date Subreddit – Reddit este o vasta comunitate online, iar aceasta sursa particulara este alcatuita din Redditorii care raspund web pentru seturi de date interesante in limbajul de programare R.

49. DBpedia – Ganditi-va la Wikipedia, cu exceptia bazelor de date. Cu DBpedia, utilizatorii pot explora milioane de intrari pe Wikipedia si fiecare relatie. Acest lucru a ajutat companii precum Apple, Google si IBM sa sustina proiecte de inteligenta artificiala.

50. Google Public Data Explorer – Multe dintre sursele incluse in aceasta lista sunt de fapt consolidate in Google Public Data Explorer. Daca nu sunteti sigur de unde sa incepeti sa trageti date, acesta ar putea fi un bun punct de plecare. De asemenea, exista acces gratuit la motorul de cautare Google Dataset.

Utilizarea datelor deschise

Indiferent daca efectuati o analiza exploratorie sau pur si simplu trageti date pentru distractie, datele deschise permit transmiterea fara probleme a informatiilor valoroase. Luati in considerare cateva dintre sursele de mai sus pentru urmatoarea analiza.

Este curios daca datele deschise se incadreaza in marea schema a lucrurilor? Am solicitat 10 experti in date despre informatiile lor despre datele deschise, inteligenta artificiala, invatarea automata si cum contribuie toate acestea la tendintele analitice acum si in viitor.

Devin Pickell

Devin este un fost specialist in marketing de continut la G2, care a scris despre date, analitice si marketing digital. Inainte de G2, a ajutat la crearea startup-urilor timpurii din scena tehnologiei in plina expansiune din Chicago. In afara muncii, ii place sa-i priveasca pe iubitii sai, sa joace baseball si sa joace. (El / l / lui)