A Hadoop telepítése: Egy csomópontú Hadoop-fürt beállítása
Korábbi blogjainkról , akkor biztosan van elméleti elképzelése a Hadoopról, a HDFS-ről és annak architektúrájáról.De hogy megszerezzem jó gyakorlati ismeretekre van szükséged.Remélem, tetszett volna az előző blogunk , most áttekintem a Hadoopról és a HDFS-ről szóló gyakorlati ismereteket. Az első lépés a Hadoop telepítése.
A Hadoop telepítésének két módja van, azaz Egyetlen csomópont és Több csomópont .
Egycsomópontos fürt csak egy DataNode-ot jelent, amely futtatja és beállítja az összes NameNode, DataNode, ResourceManager és NodeManager alkalmazást egyetlen gépen. Ezt tanulmányi és tesztelési célokra használják. Vizsgáljuk meg például az egészségügyi ágazatban található mintaadatokat. Tehát annak teszteléséhez, hogy az Oozie-jobok beprogramozták-e az összes folyamatot, például az adatok összegyűjtését, összesítését, tárolását és feldolgozását megfelelő sorrendben, egyetlen csomópont fürtöt használunk. Könnyen és hatékonyan tesztelheti a szekvenciális munkafolyamatokat kisebb környezetekben, összehasonlítva a nagy környezetekkel, amelyek terabájtnyi adatot tartalmaznak, több száz gépen elosztva.
Míg a Több csomópontos fürt , egynél több DataNode fut, és mindegyik DataNode különböző gépeken fut. A több csomópontos fürtöt gyakorlatilag a szervezetek használják a Big Data elemzésére. Figyelembe véve a fenti példát, valós időben, amikor petabájtos adatokkal foglalkozunk, azokat több száz gépen kell elosztani a feldolgozáshoz. Így itt több csomópontos fürtöt használunk.
Ebben a blogban megmutatom, hogyan kell telepíteni a Hadoop-ot egyetlen csomópont fürtre.
Előfeltételek
- VIRTUÁLIS DOBOZ : az operációs rendszer telepítésére szolgál.
- OPERÁCIÓS RENDSZER : A Hadoop telepíthető Linux alapú operációs rendszerekre. Az Ubuntu és a CentOS nagyon gyakran használják. Ebben az oktatóanyagban a CentOS-t használjuk.
- JÁVA : Telepítenie kell a Java 8 csomagot a rendszerére.
- HADOOP : Szüksége van Hadoop 2.7.3 csomagra.
Telepítse a Hadoop alkalmazást
1. lépés: Kattints ide letölteni a Java 8 csomagot. Mentse el ezt a fájlt a saját könyvtárába.
2. lépés: Bontsa ki a Java Tar fájlt.
Parancs : tar -xvf jdk-8u101-linux-i586.tar.gz
Ábra: Hadoop telepítés - Java fájlok kibontása
3. lépés: Töltse le a Hadoop 2.7.3 csomagot.
Parancs : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.7.3.tar.gz
Ábra: Hadoop telepítés - Hadoop letöltése
4. lépés: Bontsa ki a Hadoop tar fájlt.
Parancs : tar -xvf hadoop-2.7.3.tar.gz
Ábra: Hadoop telepítés - Hadoop fájlok kibontása
5. lépés: Adja hozzá a Hadoop és a Java elérési utakat a bash fájlba (.bashrc).
Nyisd ki . bashrc fájl. Most adja hozzá a Hadoop és a Java elérési utat az alábbiak szerint.
Parancs : vi .bashrc
Ábra: Hadoop telepítés - a környezeti változó beállítása
Ezután mentse el a bash fájlt, és zárja be.
Ha ezeket a módosításokat az aktuális terminálra szeretné alkalmazni, hajtsa végre a forrás parancsot.
Parancs : forrás .bashrc
Ábra: Hadoop telepítés - környezeti változók frissítése
Annak ellenőrzésére, hogy a Java és a Hadoop megfelelően telepítve van-e a rendszerére, és a terminálon keresztül elérhetők-e, plxecute a java -version és a hadoop version parancsokat.
Parancs : Jáva-változat
Ábra: Hadoop telepítés - Java verzió ellenőrzése
Parancs : hadoopváltozat
Ábra: Hadoop telepítés - Hadoop verzió ellenőrzése
6. lépés : Szerkessze a .
Parancs: cd hadoop-2.7.3 / etc / hadoop /
hogyan kell használni a hatalmakat a java-ban
Parancs: ls
Az összes Hadoop konfigurációs fájl itt található hadoop-2.7.3 / etc / hadoop könyvtárat, amint azt az alábbi pillanatképen láthatja:
Ábra: Hadoop telepítés - Hadoop konfigurációs fájlok
7. lépés : Nyisd ki core-site.xml és szerkessze az alább említett tulajdonságot a konfigurációs címkén belül:
core-site.xml tájékoztatja a Hadoop démont, ahol a NameNode fut a fürtben. Tartalmazza a Hadoop mag konfigurációs beállításait, például az I / O beállításokat, amelyek közösek a HDFS és a MapReduce számára.
Parancs : vi core-site.xml
Ábra: Hadoop telepítés - A core-site.xml konfigurálása
fs.default.name hdfs: // localhost: 9000
8. lépés: Szerkesztés hdfs-site.xml és szerkessze az alább említett tulajdonságot a konfigurációs címkén belül:
hdfs-site.xml tartalmazza a HDFS démonok konfigurációs beállításait (azaz NameNode, DataNode, Secondary NameNode). Ez magában foglalja a HDFS replikációs tényezőjét és blokkméretét is.
Parancs : vi hdfs-site.xml
Ábra: Hadoop telepítés - A hdfs-site.xml beállítása
dfs.replication 1 dfs.permission hamis
9. lépés : Szerkessze a mapred-site.xml fájl és szerkessze az alább említett tulajdonságot a konfigurációs címkén belül:
mapred-site.xml tartalmazza a MapReduce alkalmazás konfigurációs beállításait, mint például a párhuzamosan futtatható JVM száma, a leképező és a reduktor mérete, a folyamathoz rendelkezésre álló CPU magok stb.
Bizonyos esetekben a mapred-site.xml fájl nem érhető el. Tehát létre kell hoznunk a mapred-site.xml fájltmapred-site.xml sablon használatával.
Parancs : cp mapred-site.xml.template mapred-site.xml
Parancs : mi mapred-webhely.xml.
Ábra: Hadoop telepítés - A mapred-site.xml beállítása
mapreduce.framework.name fonal
10. lépés: Szerkesztés fonal-site.xml és szerkessze az alább említett tulajdonságot a konfigurációs címkén belül:
fonal-site.xml tartalmazza a ResourceManager és a NodeManager konfigurációs beállításait, például az alkalmazás memóriakezelési méretét, a programhoz és algoritmushoz szükséges műveletet stb.
Parancs : vi fonal-site.xml
Ábra: Hadoop telepítés - A fonal-site.xml beállítása
yarn.nodemanager.aux-services mapreduce_shuffle fonal.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler
11. lépés: Szerkesztés hadoop-env.sh és adja hozzá a Java elérési utat az alábbiak szerint:
hadoop-env.sh tartalmazza azokat a környezeti változókat, amelyeket a szkript használ a Hadoop futtatására, például a Java otthoni elérési útját stb.
Parancs : mi hadoop-env.SH
Ábra: Hadoop telepítés - A hadoop-env.sh beállítása
12. lépés: Lépjen a Hadoop home könyvtárába, és formázza a NameNode-ot.
Parancs : CD
Parancs : cd hadoop-2.7.3
Parancs : bin / hadoop célú -formátum
mi a serialize a java-ban
Ábra: Hadoop telepítés - A NameNode formázása
Ez formázza a HDFS-t a NameNode-on keresztül. Ezt a parancsot csak először hajtják végre. A fájlrendszer formázása a dfs.name.dir változó által megadott könyvtár inicializálását jelenti.
Soha ne formázza, futtassa és futtassa a Hadoop fájlrendszert. A HDFS-ben tárolt összes adatot elveszíti.
13. lépés: A NameNode formázása után lépjen a hadoop-2.7.3 / sbin könyvtárba, és indítsa el az összes démont.
Parancs: cd hadoop-2.7.3 / sbin
Vagy elindíthatja az összes démont egyetlen paranccsal, vagy külön-külön.
Parancs: ./ start-all.sh
A fenti parancs a start-dfs.sh, start-yarn.sh & mr-jobhistory-daemon.sh
Vagy futtathatja az összes szolgáltatást egyenként, az alábbiak szerint:
Kezdő névNode:
A NameNode a HDFS fájlrendszer középpontja. Megtartja a HDFS-ben tárolt összes fájl könyvtárfáját, és nyomon követi az összes fürtön tárolt fájlt.
Parancs: ./hadoop-daemon.sh indulási cél
Ábra: Hadoop telepítés - A NameNode indítása
Start DataNode:
Indításkor egy DataNode csatlakozik a Namenode-hoz, és válaszol a Namenode különböző műveletekre vonatkozó kéréseire.
Parancs: ./hadoop-daemon.sh start datanode
Ábra: Hadoop telepítés - DataNode indítása
Indítsa el a ResourceManager programot:
A ResourceManager az a mester, amely az összes rendelkezésre álló fürt erőforrást választja, és így segít a YARN rendszeren futó elosztott alkalmazások kezelésében. Feladata az egyes NodeManagerek és az egyes alkalmazások ApplicationMasterjeinek kezelése.
Parancs: ./fonal-daemon.sh start resurskezelő
Ábra: Hadoop telepítés - A ResourceManager indítása
A NodeManager indítása:
Az egyes gépi keretrendszerekben található NodeManager az ügynök, amely felelős a tárolók kezeléséért, az erőforrás-használatuk figyelemmel kíséréséért, és erről jelentést tesz a ResourceManager-nek.
Parancs: ./fonal-daemon.sh indítsa el az irányítót
Ábra: Hadoop telepítés - A NodeManager elindítása
A JobHistoryServer indítása:
A JobHistoryServer felelős az összes munkakörülményekkel kapcsolatos ügyfélkérelem kiszolgálásáért.
Parancs : ./mr-jobhistory-daemon.sh start historyserver
14. lépés: Annak ellenőrzéséhez, hogy az összes Hadoop szolgáltatás működik-e, futtassa az alábbi parancsot.
Parancs: jps
Ábra: Hadoop telepítés - Démonok ellenőrzése
15. lépés: Most nyissa meg a Mozilla böngészőt, és lépjen a következőre: helyi kiszolgáló : 50070 / dfshealth.html hogy ellenőrizze a NameNode felületet.
Ábra: Hadoop telepítés - A WebUI indítása
Gratulálunk, egyetlen csomópontú Hadoop-fürtöt sikerült egyszerre telepíteni.A következő blogunkban , kitérünk a Hadoop többcsomópontos fürtre történő telepítésének módjára is.
Most, hogy megértette a Hadoop telepítését, nézze meg a az Edureka, egy megbízható online tanulási vállalat, amelynek több mint 250 000 elégedett tanulóval rendelkező hálózata elterjedt az egész világon. Az Edureka Big Data Hadoop tanúsító tanfolyam segít a tanulóknak a HDFS, a fonal, a MapReduce, a Pig, a Hive, a HBase, az Oozie, a Flume és a Sqoop szakértőivé válni, valós idejű felhasználási esetek felhasználásával a kiskereskedelem, a szociális média, a repülés, az idegenforgalom és a pénzügy területén.
Van egy kérdésünk? Kérjük, említse meg a megjegyzések részben, és mi kapcsolatba lépünk Önnel.