Ebben a bejegyzésben erről fogok beszélni Apache Pig telepítés Linux rendszerre . Kezdjük az Apache Pig és a Pig Latin alapdefiníciójával.
Apache Pig egy eszköz / platform a Hadoop-nál használt Map Reduce program létrehozásához és végrehajtásához. Ez egy eszköz / platform nagy adathalmazok elemzéséhez. Mondhatjuk, az Apache Pig egy absztrakció a MapReduce felett. Azok a programozók, akik nem olyan jók a Java-ban, régebben a Hadoopon dolgoztak, főleg MapReduce-feladatok írása közben.Szóval, ez egy fontos téma, amelyet meg kell tanulni és elsajátítani .Apache Pig saját nyelvvel rendelkezik Malac latin ami jót tesz a szegény programozóknak.
A Pig Latin alapbevezetése segít jobban megérteni:
Az Apache Pig platformon használt magas szintű eljárási nyelvet hívjuk Malac latin . Az Apache Pig tartalmaz egy „Pig Latin” szót, amely egy viszonylag egyszerűbb nyelv, amely elosztott adatkészleteket képes futtatni a Hadoop fájlrendszeren (HDFS). Az Apache Pig programban Pig szkripteket kell írnia Pig latin nyelv használatával, amelyek MapReduce munkává konvertálódnak, amikor a Pig parancsfájlt futtatja.. Az Apache Pig különféle operátorokkal rendelkezik, amelyeket olyan feladatok végrehajtására használnak, mint az adatok olvasása, írása, feldolgozása. Ha többet szeretne megtudni az Apache Pig operátorokról, látogasson el blogunkra “ Operátorok az Apache Pig-ben: 1. rész - Relációs operátorok ”.
Most, hogy alaposan megértette az Apache Pig alkalmazást, kezdjük az Apache Pig telepítésével Linuxon.
Apache Pig telepítés Linux rendszerre:
Az alábbiakban bemutatjuk az Apache Pig telepítésének lépéseit Linux rendszeren (ubuntu / centos / windows Linux virtuális gépet használva). Az Ubuntu 16.04-et használom a telepítés alatt.
1. lépés: Letöltés malac kátrány fájl.
sql szerverintegrációs szolgáltatások ssis lépésről lépésre
Parancs: wget http://www-us.apache.org/dist/pig/pig-0.16.0/pig-0.16.0.tar.gz
2. lépés: Kivonat a kátrány fájl a tar paranccsal. A tar parancs alatt, x archív fájl kibontása, val vel egy archívum szűrése a gzip-en keresztül, f egy archív fájl fájlnevét jelenti.
Parancs: tar -xzf pig-0.16.0.tar.gz
Parancs: ls
3. lépés: Szerkessze a .bashrc ”Fájl az Apache Pig környezeti változóinak frissítéséhez. Úgy állítjuk be, hogy bármelyik könyvtárból hozzáférhessünk a disznóhoz, nem kell disznókönyvtárba menni a disznóparancsok végrehajtásához. Továbbá, ha bármely más alkalmazás a Pig programot keresi, akkor ebből a fájlból megismeri az Apache Pig útvonalát.
Parancs: sudo gedit .bashrc
Adja hozzá a következőt a fájl végéhez:
# Állítsa be a PIG_HOME beállítást
export PIG_HOME = / home / edureka / pig-0.16.0
export PATH = $ PATH: /home/edureka/pig-0.16.0/bin
export PIG_CLASSPATH = $ HADOOP_CONF_DIR
Ügyeljen arra is, hogy a hadoop útvonal is be legyen állítva.
típusú megjegyzések java-ban
Futtassa az alábbi parancsot a módosítások frissítéséhez ugyanazon a terminálon.
Parancs: forrás .bashrc
4. lépés: Ellenőrizze a disznó verzióját. Ez annak tesztelésére szolgál, hogy az Apache Pig megfelelően lett-e telepítve. Abban az esetben, ha nem kapja meg az Apache Pig verziót, ellenőriznie kell, hogy megfelelően követte-e a fenti lépéseket.
Parancs: disznó -verzió
5. lépés :Ellenőrizze a disznó súgóját az összes disznóparancs-lehetőség megtekintéséhez.
Parancs: disznó -segítség
napfogyatkozás beállítása a java számára
6. lépés :Futtassa Malacot, hogy elindítsa a morgás héját. A Grunt shell-t a Pig Latin szkriptek futtatására használják.
Parancs: malac
Ha helyesen nézzük meg a fenti képet, akkor az Apache Pig kétféle üzemmóddal rendelkezik, amelyekben futtatható, alapértelmezés szerint a MapReduce módot választja. A másik mód, amelyben a Pig futtatható, a Helyi mód. Hadd mondjak el erről többet.
Végrehajtási módok az Apache Pig alkalmazásban:
- MapReduce mód - Ez az alapértelmezett mód, amelyhez hozzáférés szükséges a Hadoop-fürthöz és a HDFS-telepítéshez. Mivel ez egy alapértelmezett mód, nem szükséges megadni az -x jelzőt (végrehajthatja malac VAGY disznó -x térképcsökkent ). A bemenet és a kimenet ebben az üzemmódban a HDFS-en található.
- Helyi mód - Az egyetlen géphez való hozzáféréssel az összes fájl telepítése és futtatása helyi gazdagép és fájlrendszer segítségével történik. Itt a helyi módot az „-x flag” ( disznó -x helyi ). A bemenet és a kimenet ebben az üzemmódban a helyi fájlrendszerben található.
Parancs: disznó -x helyi
Az alábbi videón átnézheti az Apache Pig telepítését Linuxon:
Apache Pig telepítése Pig telepítése Linuxra | Edureka
Miután végzett az Apache Pig telepítésével Linuxon, a következő lépés az, hogy kipróbálunk néhány relációs Pig operátort a Pig Grunt héjon. Ezért a következő blog “ Operátorok az Apache Pig-ben: 1. rész - Relációs operátorok ”Segít elsajátítani a Pig operátorokat.
Most, hogy telepítette az Apache Pig alkalmazást a Linux rendszerre, nézze meg a az Edureka, egy megbízható online tanulási vállalat, amelynek több mint 250 000 elégedett tanulóval rendelkező hálózata elterjedt az egész világon. Az Edureka Big Data Hadoop tanúsító tanfolyam segít a tanulóknak a HDFS, a fonal, a MapReduce, a Pig, a Hive, a HBase, az Oozie, a Flume és a Sqoop szakértőivé válni, valós idejű felhasználási esetek felhasználásával a kiskereskedelem, a szociális média, a repülés, az idegenforgalom és a pénzügy területén.
Van egy kérdésünk? Kérjük, említse meg a megjegyzések részben, és kapcsolatba lépünk Önnel.