Fiatalabb koromban nagyon szerettem a Csillagok háborúja filmsorozatot. Annyira imádtam, hogy volt egy-egy videokazetta mindegyikről. Újra és újra néztem őket. Aztán eljött a DVD-lejátszók ideje, és újra meg kellett szereznem ezeket a filmeket DVD-n. Nem volt kétségem afelől, hogy újra megvásároltam a teljes lemezt DVD-n, mivel szerettem volna megtapasztalni az új technológiát és továbbra is élvezni a kedvenc filmjeimet. A dolgok nagyszerűek voltak, amíg egy újabb új technológia, a Blu-ray megjelent. Miután már kétszer megvettem a filmeket, nem vártam, hogy újra megvegyem őket. Egy ideig nem tettem erőfeszítéseket, hogy „frissítsem” magam, arra gondoltam, hogy jól fogok járni e technológia nélkül. És jól voltam. Egyébként nem befolyásolta az életemet. De láttam a trend változását, és nem oszthattam meg a filmjeimet a barátaimmal, mint ahogy ők csinálják egymással. Tényleg kimaradtnak éreztem magam.
Végül kimentem és megszereztem a filmet Blu-ray-ben. Nem azért emlékszem rá, mert szeretem a filmet, hanem azért, mert a videó minősége észbontó volt. És mindennek tetejébe, a teljes filmkészletet egyetlen Blu-ray lemezen kaptam meg.
A naprakészség iránti igény vagy késztetés a szakmánkban a legerősebb, mivel a kockázatok nagyobbak. Elengedhetetlenné vált, hogy a játék tetején maradjon.
A Hadoop 2.0 elsajátításának 4 gyakorlati oka:
Bármennyire is elkerülhetetlen, a szakmánkban való naprakészség életünk fontos részévé vált. Bármilyen ijesztően is hangzik, nem kell riadni, mivel a technológiák nem igazán változnak ilyen gyorsan vagy drasztikusan. De ezekről a technológiákról és azokról a dolgokról folytatott beszélgetések és információk, amelyekre képesek vagyunk, láthatóságot szereznek. Íme néhány ok, amiért érdemes naprakésznek lennie:
# 1: Ne kapd el
Ha nem figyel a technológia legújabb frissítéseire, akkor úgy nézhet ki, mint egy fényszóróba fogott szarvas. Nem éppen ragyogó kép a szakmai képességeidről. Ha naprakész vagy, akkor a társad megbecsüli szakmai képességeidet. Lehet, hogy nincs szükség minden megtanult új dolog megvalósítására, de a frissítések ismerete elengedhetetlen.
Például, ha a Hadoopon beszélgetés folyik, akkor értesítheti társait arról, hogy a Hadoop 2.5.0 hitelesítési fejlesztéseket tartalmaz, ha HTTP-proxykiszolgálót használ. És a Hadoop ugyanazon verziójában is van egy rendelkezés a Graphite-hoz való közvetlen íráshoz.
Elengedhetetlenné válik a legfrissebb frissítések feltöltése, amikor a szervezetek a Hadoop-ra való áttérésen gondolkodnak. A „tudás” pedig óriási változást hozhat a karrieredben.
# 2: Versenyképes él
A szakterületükön jártas szakembereket tiszteletben tartják. És a naprakészség a legjobb módja annak, hogy a csúcson legyen. A naprakészség iránti igénye tükrözi a munkahely iránti szenvedélyét. Azáltal, hogy fejleszti a munkájában és az iparában szerzett szakértelmet, kiérdemli a környezetében élő emberek bizalmát és tiszteletét. Vezetői szempontból ez felbecsülhetetlen!
Még akkor is, ha szervezete még mindig dolgozik a Hadoop 1.0-val, a Hadoop 2 legújabb funkcióinak ismerete folyamatosan nyomon követi Önt, mivel viszonylag új és határozottan jobb. Ha ezt elsőként megtanulja, előnyt élvezhet társaival szemben.
# 3: Új lehetőségek
Szomorú valóság, hogy jelenlegi szerepünk folyamatosan változik. Idővel további feladatok és lehetőségek adódnak új feladatok elvégzéséhez. Ha naprakészen tartja az ipari trendeket, akkor Ön a legjobb helyzetben van ahhoz, hogy ezeket a lehetőségeket kihasználja.
Az olyan vállalatok, mint a Macy's, a Lockheed Martin, a California Creative Solutions, a Capital One, a CSpring, a CACI International Inc., az Oracle, a Yahoo !, az American Express, a BlueHawk, az Aetna, a Lawrence Livermore Nemzeti Laboratórium és még sokan mások keresik a legújabb szolgáltatásokban jártas embereket. Hadoop 2, mint a YARN.
# 4: Jobb döntéseket hoz
A kiegészítő információk alapján megalapozott döntéseket hozhat és jobb döntéseket hozhat. Ez segít felismerni a lehetőségeket és hozzáadott értéket ad a szervezet stratégiájához.
A Hadoop 2 olyan funkciókkal rendelkezik, amelyek növelik a sebességet, és csökkentik a költségeket. A teljesítmény javítására és a sebesség növelésére vonatkozó javaslatok feltétlenül növelhetik a szervezet termelékenységét. Íme néhány olyan szolgáltatás a Hadoop 2 számára, amelyek a szervezet számára előnyösek lesznek, és javaslata azoknak a karrierjére is.
Támogatás a Hadoop futtatásához Microsoft Windows rendszeren
A MapReduce bináris fájlok egyszerűbb terjesztése HDFS-en keresztül a YARN Distributed Cache-ben.
pl sql bemutató példákkal
Fokozott támogatás az új alkalmazásokhoz a YARN-on az Application History Server és az Application Timeline Server segítségével
Teljes HTTPS támogatás HDFS-ben
Kerberos integráció a YARN idővonal-áruházához.
A heterogén tárolási hierarchia támogatása a HDFS-ben.
Memórián belüli gyorsítótár HDFS adatokhoz központosított adminisztrációval és kezeléssel.
A MapReduce bináris fájlok egyszerűbb terjesztése HDFS-en keresztül a YARN Distributed Cache-ben.
Nemcsak gyakorlati okok vannak a frissítésre. Vannak technikai okok is. A Hadoop számos olyan funkcióval rendelkezik, amelyek előnyösek a szervezetek számára. Ha alaposan szemügyre veszi őket, tiszta képet kap arról, hogy mi az előnyös.
Mi a Hadoop legújabb frissítése?
Minden termék a kiadások különböző szakaszain megy keresztül, és különféle verziókkal áll elő. A Hadoop sem kivétel, és előállt a Hadoop 2.0-val. Az Apache alapítvány a Hadoop későbbi verzióival állt elő, mint például a Hadoop 2.1.0, a Hadoop 2.4.0, és elérte a Hadoop 2.5.1-et, amely a legfrissebb, 2014 szeptemberében kiadott verzió.
Miért jelent meg a Hadoop 2?
Az új verzió további funkciókkal és javított hibákkal érkezik. Tehát minden alkalommal, amikor egy adott Hadoop verziót használ, és úgy gondolja, hogy egy bizonyos funkció hozzáadható, vagy hibákat kell kijavítani, értesítse erről az Apache Alapítvány srácait. Ezek a srácok viszont dolgoznak rajta, és jobb terméket adnak a következő verzióban.
Hadoop 2 - nem csak egy szám
A Hadoop 2 nem csak a Hadoop legújabb verziója. Nagyjából ez egy második generációs architektúra. Arun Murthy, a Hadoop disztribútor Hortonworks alapítója és építésze ragaszkodik ahhoz, hogy a megkülönböztetés azért fontos, mert a Hadoop kötegelt feldolgozáson túlmutató és a valós idejű elemzés világába való áthelyezéséhez szükséges átstrukturálás mennyisége jelentős.
Beszéljük meg, hogy a Hadoop 2.0 mennyire különbözik az elődjétől, a Hadoop 1.0-tól. Nyilvánvaló, hogy a később kiadott verzió jobb lesz, mint a korábbi kiadás. Az alábbiakban bemutatjuk a Hadoop 2.0 négy fő fejlesztését a Hadoop 1.x-hez képest:
HDFS összevonás - A NameNode vízszintes méretezhetősége
NameNode magas rendelkezésre állás - A NameNode már nem egyetlen hibapont
FONAL - Képesség feldolgozni a HDFS-ben elérhető terabájt és petabájt adatokat Non-MapReduce alkalmazások, például MPI, GIRAPH használatával
Erőforrás-kezelő - A túlterhelt JobTracker két fő funkcióját (erőforrás-kezelés és a munka ütemezése / figyelése) két külön démonra osztja fel: egy globális erőforrás-kezelőre és alkalmazásonként az ApplicationMaster
Vannak olyan további funkciók, mint a Kapacitásütemező (Több bérleti támogatás engedélyezése a Hadoopban), Adat pillanatkép, Windows támogatás, NFS hozzáférés, a Hadoop fokozottabb alkalmazásának lehetővé tétele az iparban a Big Data problémák megoldására.
Hadoop 2.X vs. Hadoop 1.X
Tegyünk egy kis összehasonlítást, és nézzük meg, hogy a Hadoop 2.0 jobb és hogyan különbözik a Hadoop 1.0-tól
Miért előnyösebb a Hadoop 2 a Hadoop 1.0 helyett?
A Hadoop 2.0 olyan teljesítmény-fejlesztéseket kínál, amelyek előnyösek a kapcsolódó technológiák számára a Hadoop ökoszisztémában. A HDFS és a második generációs architektúra (YARN) úttörő tulajdonságai mellett még több és több oka van annak, hogy a Hadoop 2-et előnyben részesítsük a Hadoop 1.0-val szemben:
A Hadoop 2 már nem rendelkezik nyelvi korlátozásokkal. Vagyis szakemberek széles köre használhatja a Hadoop-ot.
A Hadoop 2 segítségével olyan akadályokat lehet leküzdeni, mint a MapReduce kódolók hiánya.
2-szer gyorsabb, mint a Hadoop 1.0
A megtérülés kétszerese a meglévő hardverrel.
A YARN segítségével az alkalmazás-programozási felület sokkal nyitottabb és rugalmasabb.
A Hadoop 2 kibővíti a Hadoop Big Data projektekben történő felhasználásának lehetőségeit.
c ++ egy tömb rendezése
A Hadoop 2 segítségével a fejlesztők most már rengetegféle adatgyűjtési feladatot hajthatnak végre, meghaladva a Hadoop korábbi kötegelt feldolgozási körét.
Új lehetőségeket kínál az információkezelők számára, és orvosolja a korábbi verziók hiányosságait.
Ez az új kiadás egyedülálló tulajdonsága, hogy több munkaterhelést futtat ugyanazon a Hadoop-fürtön.
A Hadoop már nem korlátozódik egyetlen funkcióra. Alkalmazása már túlmutat a HDFS-en és a MapReduce-on.
A YARN legfontosabb előnyei
Tisztában vagyunk azzal, hogy a YARN egy második generációs architektúra, nézzük meg, mitől olyan nagyszerű.
Skála
Új programozási modellek és szolgáltatások
Fokozott fürthasználat
Agilitás
Sokkal több, mint a Java
És még sok más
Hadoop 2 készségek iránti igény
A szervezetek most indítanak vagy kísérleteznek a Hadoop 2-vel. Következésképpen szükség van olyan szakemberekre, akik jártasak a Hadoop 2-ben. Számos szervezet már elkezdte belsőleg keresni az embereket, hogy működjenek együtt a Hadoop-szal. Világos jelek utalnak arra, hogy a YARN növekszik, és végül felülírja a MapReduce képességek iránti igényt.
Íme néhány nézet a Hadoop készségek jelenlegi és várható igényeiről:
A Gartner elemzői szerint a Hadoop 2 létfontosságú fejlemény, mivel a nagyvállalkozások szerte a világon a Hadoop-ot játék váltónak találták a Big Data menedzsmentjükben.
Eric Kavanagh, a Bloor csoport tagja szerint a Hadoop 2.0 vonzóbbá vált az információs dolgozók körében, akik a Big Data megküzdésére törekedtek.
A Hadoop 2.0 átvitele továbbra is növekszik, és most már az érettség szakaszába lép.
A szervezetek tisztában vannak a YARN előnyeivel és izgatottan várják.
Itt található egy pillanatkép a Hadoop 2.0 / YARN in állásajánlatokról Valóban.com
Ki költözik a Hadoop 2-re vagy már van?
Jehu:
Jehu! , a Hadoop mindenben a vezető vezette a YARN-t (0,23x). Murthy szerint a Yahoo 35 000 csomópontú fürtje napi 130-150 munkát dolgoz fel, szemben a YARN előtti 50-60 munkával.
Amikor a csillagok teljesítményéről beszélünk, Murthy a következőket idézi: „Amikor kétszer több mint 35 000–40 000 csomópont van, ez fenomenális”. Azt is hozzátette: 'Elég meggyőző történet, ha elmondjuk a CIO-nak, hogy ha csak a Hadoop 1-ről Hadoop 2-re frissíti a szoftvert, akkor kétszer nagyobb teljesítmény-javulást tapasztal a munkájában.'
eBay:
Az eBay rendelkezik az iparág egyik legnagyobb Hadoop-fürtjével, ahol az adatok petabájtban vannak megadva. A klasztereiket a Hadoop 2-be is áttelepítették.
adapter osztály java-ban példával
Következtetés:
Mivel a Hadoop 2 kiforrott és könnyebben megvalósítható, még a kétkedőket is meggyőzik, és egyre több szervezet vándorol a Hadoop 2.0-ra. Megalapozott okok vannak az 1.x verzió elkerülésére. De a Hadoop 2 esetében még a hitetlenek is fontolgatják, mivel sokféle felhasználásra használható. A Hadoop 2.0 elsajátításával és a Big Data számításainak végrehajtásával megnyitja a kaput egy technikailag előrehaladott és pénzügyileg kifizetődő karrier előtt.
Van egy kérdésünk? Kérjük, említse meg őket a megjegyzések részben, és mi kapcsolatba lépünk Önnel.
Kapcsolódó hozzászólások: