Megtanultuk, hogyan kell Építsen kaptárat és fonalat a Spark-on . Most próbáljuk ki a kaptár és fonal példáit a Sparkon.
Hive példa a Sparkra
Futtatunk egy példát a Hive on Spark-ra. Létrehozunk egy táblázatot, betöltenénk az adatokat és végrehajtunk egy egyszerű lekérdezést. A Hive-vel való együttműködés során meg kell konstruálni a HiveContext amely örököl SQLContext .
Parancs: cd spark-1.1.1
Parancs: ./bin/spark-shell
Hozzon létre egy bemeneti fájlt 'minta' az otthoni könyvtárban, az alábbi pillanatkép (tabulátorral elválasztva).
hogyan kell használni a charat java-ban
Parancs: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)
Parancs: sqlContext.sql („TÁBLÁZAT LÉTREHOZÁSA, HA NEM LÉT TESZT (név STRING, INT besorolás)” SOR FORMÁTÁLÁSA A ‘’ VONALOK HATÁROZOTT ’SZÁMÁRA VONATKOZÓ HATÁROZATOK
„”)
Parancs: sqlContext.sql („TÖLTSE ADATOK HELYI BEMENETT’ / home / edureka / minta ’TABLE teszt”)
Parancs: sqlContext.sql (“SELECT * FROM teszt WHERE rang<5”).collect().foreach(println)
Fonal példa a Sparkra
SparkPi példát fogunk futtatni a fonalon. A Fonalat a Spark-on két módban telepíthetjük: fürt módban és kliens módban. Fonalfürt üzemmódban a Spark illesztőprogram egy alkalmazásfőfolyamaton belül fut, amelyet a Fonal a fürtön kezel, és az ügyfél elindíthatja az alkalmazás elindítását. Fonal-kliens módban az illesztőprogram az ügyfél folyamatában fut, és az alkalmazásfőt csak erőforrások kérésére használja a fonalból.
Parancs: cd spark-1.1.1
Parancs: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –mesterfonal –deploy-mode cluster –osztály org.apache.spark.examples. SparkPi –számos végrehajtó 1 –meghajtó-memória 2g –végrehajtó-memória 1g –végrehajtó-mag 1 példa / cél / scala-2.10 / szikra-példa-1.1.1-hadoop2.2.0.jar
Miután végrehajtotta a fenti parancsot, várjon valamikor, amíg meg nem kapja SIKERÜLT üzenet.
Tallózás localhost: 8088 / cluster és kattintson a Spark alkalmazásra.
mongodb felhasználó létrehozása az adatbázis számára
Kattintson naplók .
hogyan kell megvalósítani a hashmap-ot
Kattintson stdout hogy ellenőrizze a kimenetet.
Ha fonalat telepít a Sparkra kliens módban, csak tegye –Deploy-mode mint 'ügyfél'. Most már tudja, hogyan kell felépíteni a kaptárat és a fonalat a Sparkra. Gyakorlatokat is végeztünk velük.
Van egy kérdésünk? Kérjük, említse meg őket a megjegyzések részben, és mi kapcsolatba lépünk Önnel.
Kapcsolódó hozzászólások
Apache Spark Hadoop-tal Miért számít?
A kaptár és a fonal felvillanyozódik a szikrától