Data Scientist vs Data Engineer, hver er munurinn?

Gagnafræðingar og gagnaverkfræðingar geta verið nýir starfsheitir, en meginhlutverkin hafa verið um skeið. Hefð er fyrir því að allir sem greindu gögn yrðu kallaðir „gagnagreiningaraðilar“ og hver sá sem bjó til stuðningsvettvang til að styðja við gagnagreiningar væri „Business Intelligence (BI) Developer“.

Með tilkomu stórra gagna fóru ný hlutverk að birtast í fyrirtækjum og rannsóknarmiðstöðvum - nefnilega Gagnafræðingum og gagnaverkfræðingum.

Hér er yfirlit yfir hlutverk gagnagreiningaraðila, BI verktaka, gagnafræðings og gagnaverkfræðings.

Gagnfræðingur

Gagnasérfræðingar eru reyndir sérfræðingar í gögnum sínum sem geta fyrirspurnir og unnið úr gögnum, lagt fram skýrslur, dregið saman og sjónrænt gögn. Þeir hafa sterkan skilning á því hvernig hægt er að nýta núverandi tæki og aðferðir til að leysa vandamál og hjálpa fólki frá öllu fyrirtækinu að skilja sérstakar fyrirspurnir með sértækum skýrslum og töflum.

Hins vegar er ekki gert ráð fyrir að þeir takist á við greiningu stórra gagna og heldur er heldur ekki gert ráð fyrir að þeir hafi stærðfræðilega eða rannsóknar bakgrunn til að þróa nýjar reiknirit fyrir sérstök vandamál.

Kunnátta og verkfæri: Gagnagreiningaraðilar þurfa að hafa grunnskilning á nokkrum grunnfærni: tölfræði, gögnum, upplýsingagögnum, könnunargögnum, Microsoft Excel, SPSS, SPSS Modeler, SAS, SAS Miner, SQL, Microsoft Access, Tableau, SSAS .

Hönnuðir viðskiptagreindar

Hönnuðir viðskiptagreindar eru gagnasérfræðingar sem eiga í meiri samskiptum við innri hagsmunaaðila til að skilja skýrslugerðarþörfina og síðan til að safna kröfum, hanna og byggja BI og skýrslugerðarlausnir fyrir fyrirtækið. Þeir verða að hanna, þróa og styðja við ný og núverandi gagnageymslur, ETL pakka, teninga, mælaborð og greiningarskýrslur.

Að auki vinna þeir með gagnagrunna, bæði venslaða og fjölvíddar, og ættu að hafa mikla SQL þróunarhæfileika til að samþætta gögn frá mismunandi auðlindum. Þeir nota alla þessa hæfileika til að mæta sjálfsafgreiðsluþörfum fyrirtækisins. Yfirleitt er ekki gert ráð fyrir að BI-verktaki geri gagnagreiningar.

Kunnátta og verkfæri: ETL, þróa skýrslur, OLAP, teninga, vefnjósnir, hönnun viðskiptahluta, töflu, verkfæri mælaborðs, SQL, SSAS, SSIS.

Gagnaverkfræðingur

Gagnaverkfræðingar eru sérfræðingar í gögnum sem útbúa „stóra gagna“ innviði til að greina af gagnafræðingum. Þeir eru hugbúnaðarverkfræðingar sem hanna, smíða, samþætta gögn úr ýmsum auðlindum og hafa umsjón með stórum gögnum. Síðan skrifa þeir flóknar fyrirspurnir um það, ganga úr skugga um að það sé aðgengilegt, virki vel og markmið þeirra er að hámarka afköst stóru gagnakerfis fyrirtækisins.

Þeir gætu einnig keyrt ETL (Extract, Transform, and Load) ofan á stórum gagnapökkum og búið til stór gögn vörugeymsla sem hægt er að nota til skýrslugerðar eða greiningar hjá vísindamönnum. Þar fyrir utan, vegna þess að gagnaverkfræðingar einbeita sér meira að hönnun og arkitektúr, er yfirleitt ekki gert ráð fyrir að þeir viti neitt vélanám eða greiningar fyrir stór gögn.

Færni og verkfæri: Hadoop, MapReduce, Hive, Pig, MySQL, MongoDB, Cassandra, Gagnastraumur, NoSQL, SQL, forritun.

Gagnafræðingur

Gagnafræðingur er gullgerðarfræðingur 21. aldarinnar: einhver sem getur breytt hráum gögnum í hreinsaða innsýn. Gagnafræðingar beita tölfræði, vélanámi og greiningaraðferðum til að leysa mikilvæg viðskiptavandamál. Meginhlutverk þeirra er að hjálpa stofnunum að breyta magni stóru gagna í verðmæta og framkvæmanlega innsýn.

Reyndar eru gagnavísindi ekki endilega nýtt svið í sjálfu sér, en það má líta á það sem háþróað stig gagnagreiningar sem er ekið og sjálfvirkt með vélanámi og tölvunarfræði. Í öðru orði, í samanburði við „gagnagreiningaraðila“, til viðbótar við greiningarhæfileika gagna, er búist við að gagnafræðingar hafi sterka forritunarhæfileika, getu til að hanna nýja reiknirit, meðhöndla stór gögn, með nokkurri þekkingu á lénsþekkingunni.

Þar að auki er einnig gert ráð fyrir að gagnafræðingar túlki og skili ágætlega niðurstöðum niðurstaðna sinna, með tækni til að koma á framfæri, byggja forrit á gagnavísindum eða segja frá áhugaverðum sögum um lausnir á gögnum (viðskipta) vandamálum þeirra.

Vandaleysifærni gagnafræðings krefst skilnings á hefðbundnum og nýjum gagnagreiningaraðferðum til að byggja tölfræðilíkön eða uppgötva mynstur í gögnum. Til dæmis að búa til meðmælavél, spá hlutabréfamarkaðnum, greina sjúklinga út frá líkingu þeirra eða finna munstur sviksamlegra viðskipta.

Gagnavísindamönnum er stundum heimilt að fá stór gögn án sérstaks viðskiptavandamála í huga. Í þessu tilfelli er búist við því að forvitinn gagnafræðingur muni kanna gögnin, koma með réttar spurningar og koma með áhugaverðar niðurstöður! Þetta er erfiður vegna þess að sterkur gagnafræðingur, til að greina gögnin, ætti að hafa mjög víðtæka þekkingu á mismunandi aðferðum í vélanámi, námuvinnslu gagna, tölfræði og grunngagnauppbyggingu.

Þeir ættu að hafa reynslu af því að vinna með mismunandi gagnasett af mismunandi stærðum og gerðum og geta keyrt reiknirit sín á gögnum í stórum stærðum á skilvirkan og skilvirkan hátt, sem þýðir venjulega að vera uppfærður með nýjustu nýjustu tækni. Þess vegna er grundvallaratriði að þekkja grundvallaratriði tölvunarfræðinnar og forritun, þar með talið reynslu af tungumálum og gagnagrunni (stórum / litlum) tækni.

Færni og verkfæri: Python, R, Scala, Apache Neisti, Hadoop, gagnaframleiðsluverkfæri og reiknirit, vélinám, tölfræði.

MUORO - Data & Analytics Genius muoro.io