Ebben a blogban nézzük meg, hogyan lehet felépíteni a Sparkot egy adott Hadoop verzióhoz.
Megtanuljuk azt is, hogy miként lehet felépíteni a Spark-ot a HIVE és a FONAL segítségével.
hogyan lehet véletlenszerű karakterláncot létrehozni a java-ban
Figyelembe véve, hogy van Hadoop, jdk, mvn és megy előre telepítve és előre konfigurálva a rendszeren.
Nyisd ki Mozilla böngésző és Letöltés Szikra az alábbi link használatával.
https://edureka.wistia.com/medias/k14eamzaza/
Nyissa meg a terminált.
Parancs: tar -xvf Letöltések / spark-1.1.1.tgz
Parancs: ls
Nyissa meg a spark-1.1.1 könyvtárat.
Megnyithatja pom.xml fájl. Ez a fájl az összes fájlról nyújt információt függőségek szükséged van.
Ne szerkessze, hogy elkerülje a problémákat.
Parancs: cd spark-1.1.1 /
Parancs: sudo gedit sbt / sbt-launch-lib.bash
Szerkessze a fájlt az alábbi pillanatkép alapján, mentse el és zárja be.
Csökkentjük a memóriát, hogy elkerüljük az objektumok halomterével kapcsolatos problémákat, amint azt az alábbi pillanatkép említi.
Most futtassa az alábbi parancsot a terminálon, hogy szikrát teremtsen a Hadoop 2.2.0-hoz a HIVE és a YARN segítségével.
Parancs: ./sbt/sbt -P fonal -P kaptár -Padad-2,2 -D hadoop.verzió = 2,2,0 -D skipTests összeszerelés
Megjegyzés: A Hadoop verzióm 2.2.0, a Hadoop verziójának megfelelően módosíthatja.
Más Hadoop verziókhoz
# Apache Hadoop 2.0.5-alfa
-Dhadoop.version = 2.0.5-alfa
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0,23 -Dhadoop.változat = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Időbe telik a fordítás és a csomagolás, várjon, amíg elkészül.
Két üveg spark-assembly-1.1.1-hadoop2.2.0.jar és szikra-példák-1.1.1-hadoop2.2.0.jar létrejön.
Elérési útja spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Elérési útja szikra-példák-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Gratulálunk, sikeresen elkészítette a Spark for Hive & Yarn terméket.
Van egy kérdésünk? Kérjük, említse meg őket a megjegyzések részben, és mi kapcsolatba lépünk Önnel.
Kapcsolódó hozzászólások:
Apache Spark és Hadoop - Miért számít?