Ha már a IT-ipar , tudnia kell, hogy Nagy adat a nap beszélgetése. Legyen szó akár új induló vállalkozásokról, amelyek innovatív üzleti modellekkel készülnek, vagy kollégáiról, akik csatlakoznak ezekhez a startupokhoz, valamilyen oknál fogva a mai zöldebb legelők úgy tűnik, hogy az Nagy adat ipar.
Ha kíváncsi rá, miért, akkor azt javaslom, olvassa el ezt a legvégéig, mert ez egy önfelfedező blog lehet, amely oda vezet, amire hivatott.
Szóval, miért mindezHYPEkörnyező NAGY ADAT?
Csak egy másik területről van szó, amely ideiglenesen elszállítja a menekülteket az összes többi területről? Vagy itt lesz a hosszú távra?
Ha találgatnék, azt mondanám, hogy nemcsak hosszú távon lesz itt, hanem a Big Data ipar is a technológiai fejlődés epicentrumában lesz.
Mert minden kbADAT!
Akárcsak a NapemelkediktólKeletiéskészletekban,-bennyugat, a számítástechnikai / nem számítástechnikai eszközök folyamatos használata kezelhetetlen adatok kitörését eredményezi.
Amikor ezek az adatok átlépik azt a küszöböt, hogy az Excel vagy bármelyik adatbázis-kezelő rendszer kezeli őket, akkor ezt nevezzük NAGY ADAT .
Gondoljon, melyik terméket vásárolta utoljára az Amazon-tól? Melyik lehet a következő termék, amelyet korábbi tevékenysége alapján vásárolhat? Az ilyen kérdésekre adott válaszokat a Big Data tárolja.
Van egy növekvő tendencia a termék mögött? Vagy csökkenő tendencia van? Megvásárolja-e az ügyfél a „Harisnyát”, amikor „Cipőt” vásárol? Ezek üzleti problémamegoldó kérdések.
És ezek a kérdések könnyen felmerülhetnek válaszolta használva Big Data Analytics .
Végül is, mi az adat felhasználása, ha még nem elemezve azt?
Tehát a Big Datateljesen kbAnalitika?Nem teljesen, de az Analytics a végső díj.
A Big Data további főbb adatfolyamai:TárolásésMenedzsment.
Itt járulhat hozzá Ön, mint szakember. Feladhatja a következők egyikét:
- Big Data Engineer
- Big Data Solution építész
És győződjön meg arról, hogy a generált nagy adatok mindig rendelkezésre állnak, és később felhasználhatók elemzésre. Tehát ez eljutott a kérdéshez és a pokolig
Hol tárolják a Big Data-t?
Tárolható-e egyExcel fájl? Tárolható-e arelációs adatbázis-rendszer?
Isten ments!
Ha lehetett volna, akkor lett volna!
És nevezzék együtt valami másnak. Talán valami ilyesmiExcel-DatavagyRDBMS-adatok: D
És ez visszavezetne minket 1. LÉPÉS : - Miért nem kezelhető a Big Data az Excel segítségével? MivelA Big Data túl forró ahhoz, hogy az Excel kezelni tudja. És még más adatbázis-kezelő rendszerek is.
Mi az alternatíva?
mi a kontextusszűrő a tablóban
A Big Data kezeléséhez van HADOOP . Lehet, hogy Ön is tisztában van ezzel a szóval. De lehet, hogy kíváncsi, hogyan működik pontosan?
Kezdetnek a HADOOP aAPACHE Alapítvány. Az Apache egy amerikai non-profit szervezet, amely támogatja a nyílt forráskódú szoftverek fejlesztését.
A Hadoop egy nyílt forráskódú Java-alapú programozási keretrendszer, amely rendkívül nagy adathalmazok feldolgozását és tárolását támogatja elosztott számítási környezetben.
Mit tehet Hadoop, de az Excel nem?
Feldolgozni és megérteni a strukturálatlan adatokat!A táblázatos formában vagy más módon strukturált adatok könnyen kezelhetők. Az Excel meg tudja csinálni, és bármely más RDBMS is.
De amikor az olvashatóság csökken, és az adatok strukturálatlanok, akkor a Big Dataolyan eszközök, mint Hadooppontszám. A strukturálatlan adatokra példa syslog . Az alábbiakban egy minta kép található.
Az ilyen naplók biztosan nem lekérdezhetők az Excel használatával.
A Hadoop, a Big Data eszközökhöz hasonlóan, meg tudja érteni az adatokat olyannak, amilyenek, mintákat feltárva és kapcsolatokat alakítva ki a különböző mezők között. És ha az adatoknak viszonylagos érintése van, akkor az isAnalytics-kész.
Az Analytics az üzleti hatással lesz a szervezetre! Karrierjének nagy hasznát veszi, ha részt vesz ebben a Big Data domainben.
' Készíthetek Hadoop-erőként? '
... ez lehet a következő kérdés a fejedben. És jól gondolva, a Big Data olyan piac, amely forró, mint valaha, és olyan fontos, mint valaha.
Hadoop nélkül a vállalatoknak nehéz dolguk lesz a Big Data-val foglalkozni. És a hozzád hasonló képzett szakemberek nélkül a vállalatoknak nehéz dolguk lesz a Hadoop-tal foglalkozni.
Van egy jelentés, amely szerint tehetséghiány van ezen a területen. A kalkulációs hiány kevesebb szakembert jelent, de nagy a kereslet. És ez globális szinten zajlik, és nem korlátozódik egy adott földrajzra.
Szeretne számokat?
NAK NEK McKinsey Globális Intézet A tanulmány szerint az USA-ban körülbelül 190 000 adatkutató és 1,5 millió menedzser és elemző hiányával kell szembenézni, akik 2018-ig meg tudják érteni és meghozhatják a döntéseiket a Big Data segítségével.
Karrier tanácsok neked? Szörföljön, ha alacsony az árapály!
De te vagy korlátozott hogy csak Hadoop ?
Nem igazán. Számos eszköz létezik a Big Data feldolgozásához, és a Hadoopot az egyik legjobbnak tartják. De nem mindig!
Van, amikor a Hadoop nem a legalkalmasabb. Például, ha nem technikai személy vagy, aki nem nagyon tud írni a MapReduce programokat.
Ilyen esetekben használhatjaTALEND, amely grafikus kezelőfelületet ad, hogy bármit megtehessen, amit egyébként tett volna a MapReduce-tal.
Egyszerűbb Java kódok írásához használhatjaMALAC.
Ha SQL-jellegű lekérdezéseket szeretne futtatni a Big Data-on, akkorKAPTÁRhasználható.
Ha NoSQL adatbázisban tárolt adatokat kíván használni, akkorHBasehasználható.
Az analitika valós időben történő elvégzéséhez használhatjaSZIKRA.
Ezek a Big Data eszközök, amelyek kéz a kézben járnak a Hadoop-tal, de semmiképpen sem helyettesítik a Hadoop-ot. Ezek a Big Data Hadoop kiegészítői.
Ezen kívül van még egy pár eszköz, például SQOOP, FLUME, OOZIE stb., Amelyek integrálhatók a Hadoop keretrendszerbe a különféle üzleti problémák megoldására.
Mit vár tőled az ipar, mint Big Data Expert?
Az iparnak nagy szüksége van rá NAGY ADATÉPÍTÉSZEK akik egy végpontok közötti nagy adatmegoldást építhetnek szervezeteik számára. A Big Data Architects szakértők az összes fent említett eszközben.
Itt van egy Edureka tanuló tanúvallomása tanfolyam:
Legyen a az Edureka Big Data And Hadoop tanúsító tanfolyamától kezdve, amely segít a tanulóknak a HDFS, a fonal, a MapReduce, a Pig, a Hive, a HBase, az Oozie, a Flume és a Sqoop szakértőivé válni, valós idejű felhasználási esetek felhasználásával a kiskereskedelem, a szociális média, a repülés, az idegenforgalom és a pénzügy területén .
hogyan készítsünk csomagot java-ban