A Hadoop keretrendszer egyik legvonzóbb tulajdonsága árucikk-hardver hasznosítása . Ez azonban a DataNode gyakori összeomlásához vezet egy Hadoop-fürtben. A Hadoop Framework másik feltűnő jellemzője a méretezhetőség az adatmennyiség gyors növekedésének megfelelően . E két ok miatt a Hadoop rendszergazda egyik leggyakoribb feladata az jutalék (Hozzáadás) és leszerelés (Eltávolítás) Adatcsomópontok egy Hadoop-fürtben.
hatalom bi vs tabló 2016
Csomópontok üzembe helyezése és leszerelése egy Hadoop-fürtben:
A fenti diagram egy lépésenkénti folyamatot mutat be egy DataNode leszereléséhez a fürtben.
Az első feladat a kizárni ’Fájlok mindkettőhöz HDFS (hdfs-site.xml) és MapReduce (mapred-site.xml).
A „kizárás” fájl:
- álláskeresőnek tartalmazza a gazdagépek listáját, amelyeket a jobtrackernek ki kell zárnia. Ha az érték üres, egyetlen gazdagépet sem zárunk ki.
- a Namenode számára tartalmazza a gazdagépek listáját, amelyek nem csatlakozhatnak a Namenode-hoz.
Itt található a hdfs-site.xml és a mapred-site.xml fájlokban található kizárási fájl mintakonfigurációja:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / kizár
igaz
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / kizár
igaz
Jegyzet: Meg kell adni a fájlok teljes elérési útját.
Hasonlóképpen rendelkezünk az „include” fájlokkal is:
- álláskeresőnek a csomópontok listáját, amelyek kapcsolódhatnak a JobTrackerhez. Ha az érték üres, akkor minden gazdagép megengedett.
- a Namenode számára tartalmazza a Namenode-hoz csatlakozni engedélyezett gazdagépek listáját. Ha az érték üres, akkor minden gazdagép megengedett.
Az ' dfsadmin ’És’ mradmin ’Parancsok frissítik a konfigurációt a változtatásokkal, hogy tudatában legyenek az új csomópontnak.
Az ' rabszolgák A fő szerveren található fájl tartalmazza az összes adatcsomópontot. Ezt frissíteni kell annak biztosítása érdekében, hogy a jövőbeni hadoop démon start / stop kérdései felmerüljenek.
Az adatcsomópont-megbízási folyamat fontos lépése a Cluster Balancer futtatása.
> hadoop egyensúlyozó - küszöb 40
Kiegyensúlyozó megpróbál egyensúlyt biztosítani egy bizonyos küszöbértékig az adatcsomópontok között azáltal, hogy másolja a blokkadatokat a régebbi csomópontokról az újonnan megbízott csomópontokra.
Tehát ezt megteheti - Üzembe helyezés és Leszerelés Csomópontok egy Hadoop-fürtben.
Van egy kérdésünk? Kérjük, említse meg a megjegyzések részben, és kapcsolatba lépünk Önnel.
Kapcsolódó linkek: