mély vs sekély másolat java
Hadoop Job Tacker
A Job Tracker a fő démon mind a Job erőforrás-kezeléséhez, mind a munkák ütemezéséhez / felügyeletéhez. Összekötőként működik a Hadoop és az alkalmazása között.
A folyamat
A felhasználó először átmásolja a fájlokat az elosztott fájlrendszerbe (DFS), mielőtt feladatot küldene az ügyfélnek. Ezután az ügyfél megkapja ezeket a bemeneti fájlokat. A felhasználó megkapja a hasadásokat vagy blokkokat a bemeneti fájlok alapján.Az ügyfél tehettehozza létre a hasadásokat vagy blokkokat egy férfibanner it prefmivel bizonyos szempontok vannak mögötte. Ha elemzést végeznek a teljes adatokkal, akkor fel fogja osztani az adatokat. A fájlokat nem az ügyfél, hanem a Flume vagy a Sqoop, vagy bármely külső kliens használja.
Miután a fájlokat átmásolta az DFS-be, és az ügyfél kölcsönhatásba lépett az DFS-sel,a felosztások MapReduce j-t fognak futtatniob. A munkát egy munkakereső útján nyújtják be. A jobkövető a fő démon, amely ugyanazon a csomóponton futfutezeket a több feladatokat az adatcsomópontokon. Ezek az adatok különböző adatcsomópontokon fognak feküdni, de a munkakövető feladata, hogy erről gondoskodjon.
Miután az ügyfél benyújtottaaz álláskövető, a munka inicializálásra kerül a jobsorban, és az álláskövető térképeket készít és csökkent. A térképfunkcióban és a csökkentési funkcióban található program alapján létrehozza a térképi feladatot és csökkenti a feladatot. Ez a kettő a bemeneti osztásokon fog futni. Megjegyzés: Az ügyfelek létrehozásakor ez a bemeneti felosztás a teljes adatot tartalmazza.
Minden bemeneti felosztásban fut egy térképi feladat, és a térképes feladat kimenete a csökkentési feladatba kerül. A Job Tracker egy adott adaton futtatja a nyomvonalat. Ennek többszörös replikációja lehet, így felveszi a helyi adatokat és futtatja a feladatot az adott feladatkövetőn. A feladatkövető az, amely ténylegesen futtatja a feladatot az adatcsomóponton. Az álláskövető ainformációa feladatkövetőhöz, és a feladatkövető futtatja a feladatot az adatcsomóponton.
felülbírálás és túlterhelés a java-ban
Miután a feladatot a feladatkövetőhöz rendelték, az egyes feladatkövetőkhöz és munkakövetőkhöz szívdobbanás társul. Jeleket küld annak kiderítésére, hogy az adatcsomópontok még élnek-e. A kettő gyakran szinkronban van, mivel lehetőség van a csomópontok elhalványulására.
Van egy kérdésünk? Említse meg őket a megjegyzések részben, és mi kapcsolatba lépünk Önnel.
Kapcsolódó hozzászólások:
posztgraduális fokozat