Pig programozás: Készítse el az első Apache Pig parancsfájlját
Miénkben , most megtanuljuk, hogyan kell létrehozni egy Apache Pig szkriptet. Az Apache Pig parancsfájlok az Apache Pig parancsok együttes végrehajtására szolgálnak. Ez segít csökkenteni az egyes parancsok kézi végrehajtására és futtatására fordított időt és erőfeszítést, miközben ezt a Pig programozásban végzik.Szintén szerves része a .Ez a blog lépésről lépésre segít az első Apache Pig szkript létrehozásában.
Apache Pig szkript végrehajtási módok
Helyi mód : „Helyi módban” végrehajthatja a disznóparancsot a helyi fájlrendszerben. Ebben az esetben nem kell az adatokat a Hadoop HDFS fájlrendszerben tárolni, ehelyett maga a helyi fájlrendszerben tárolt adatokkal dolgozhat.
MapReduce mód : ’MapReduce módban’ az adatokat HDFS fájlrendszerben kell tárolni, és az adatokat disznó parancsfájl segítségével lehet feldolgozni.
Apache Pig Script MapReduce módban
Tegyük fel, hogy feladatunk egy adatfájl adatainak kiolvasása és a szükséges tartalom megjelenítése kimenetként a terminálon.
Az adatfájl a következő adatokat tartalmazza:
Mentse a szöveges fájlt az „information.txt” névvel
Az adatfájl öt oszlopot tartalmaz Keresztnév , Vezetéknév , Mobil nélkül , Város , és Szakma által elválasztva fülre . Feladatunk a fájl tartalmának kiolvasása a HDFS-ből és a rekordok összes oszlopának megjelenítése.
cva alapján java
Az adatok Pig alkalmazással történő feldolgozásához ennek a fájlnak jelen kell lennie az Apache Hadoop HDFS-ben.
Parancs : hadoop fs –copyFromLocal /home/edureka/information.txt / edureka
1. lépés: Pig szkript írása
Hozzon létre és nyisson meg egy Apache Pig szkriptfájlt egy szerkesztőben (pl. Gedit).
Parancs : sudo gedit /home/edureka/output.pig
Ez a parancs létrehoz egy „output.pig” fájlt az edureka felhasználó saját könyvtárában.
Írjunk néhány PIG parancsot az output.pig fájlba.
A = LOAD '/edureka/information.txt' a PigStorage ('') használatával (FName: chararray, LName: chararray, MobileNo: chararray, City: chararray, Profession: chararray) B = FOREACH A FName, MobileNo, Profession DUMP létrehozása BMentse és zárja be a fájlt.
- Az első parancs az ‘information.txt’ fájlt közvetett sémával (FName, LName, MobileNo, City, Profession) tölti be az A változóba.
- A második parancs betölti a szükséges adatokat az A változóból a B változóba.
- A harmadik sor a B változó tartalmát jeleníti meg a terminálon / konzolon.
2. lépés: Hajtsa végre az Apache Pig szkriptet
c ++ program egy tömb növekvő sorrendbe rendezéséhez
A disznóparancsfájl HDFS módban történő futtatásához futtassa a következő parancsot:
Parancs : disznó /home/edureka/output.pig
A végrehajtás befejezése után tekintse át az eredményt. Az alábbi képek az eredményeket és köztes térképüket mutatják, és csökkentik a funkciókat.
Az alábbi képen látható, hogy a szkript sikeresen végrehajtásra került.
Az alábbi képen a szkriptünk eredménye látható.
Gratulálunk az első Apache Pig szkript sikeres végrehajtásához!
Most már tudja, hogyan lehet Apache Pig szkriptet létrehozni és végrehajtani. Ezért a következő blogunk kitér arra, hogyan kell hozzon létre UDF-t (Felhasználó által definiált függvények) az Apache Pig alkalmazásban és hajtja végre MapReduce / HDFS módban.
Most, hogy létrehozta és végrehajtotta az Apache Pig Scriptet, nézze meg a az Edureka, egy megbízható online tanulási vállalat, amelynek több mint 250 000 elégedett tanulóval rendelkező hálózata elterjedt az egész világon. Az Edureka Big Data Hadoop tanúsító tanfolyam segít a tanulóknak a HDFS, a fonal, a MapReduce, a Pig, a Hive, a HBase, az Oozie, a Flume és a Sqoop szakértőivé válni, valós idejű felhasználási esetek felhasználásával a kiskereskedelem, a szociális média, a repülés, az idegenforgalom és a pénzügy területén.
Van egy kérdésünk? Kérjük, említse meg a megjegyzések részben, és mi kapcsolatba lépünk Önnel.