Az Apache Hive az egyik legfontosabb keret a Hadoop ökoszisztémában, ami viszont nagyon fontos . Ebben a blogban megismerhetjük az Apache Hive és a Hive telepítését az Ubuntu-ra.
Mi az Apache Hive?
Apache Hive egy olyan adattárház-infrastruktúra, amely megkönnyíti az elosztott tárolórendszerben található nagy adatkészletek lekérdezését és kezelését. A Hadoop tetejére épül, és a Facebook fejlesztette ki. Kaptár lehetőséget nyújt az adatok lekérdezésére az úgynevezett SQL-szerű lekérdezési nyelv használatával HiveQL (Hive lekérdezési nyelv).
Belsőleg egy fordító fordít HiveQL nyilatkozatok bele MapReduce munkahelyeket, amelyeknek ezután be vannak vetve Hadoop keretrendszer végrehajtásra.
Különbség a Hive és az SQL között:
Kaptár hasonlóan néz ki, mint a hagyományos adatbázis SQL hozzáférés. Mivel azonban Kaptár azon alapszik Hadoop és MapReduce műveletek során számos fő különbség van:
Mivel a Hadoop-ot hosszú szekvenciális szkennelésre szánják és Kaptár azon alapszik Hadoop , akkor azt várhatja, hogy a lekérdezések nagyon késleltetettek legyenek. Ez azt jelenti Kaptár nem lenne megfelelő azoknak az alkalmazásoknak, amelyeknek nagyon gyors válaszidejükre van szükségük, amint az a hagyományos RDBMS-adatbázissal várható.
Végül, Kaptár olvasási alapú, és ezért nem alkalmas olyan tranzakciók feldolgozására, amelyek jellemzően az írási műveletek nagy százalékát foglalják magukban.
típusú operátorok javascriptben
Hive telepítése az Ubuntu-ra:
A telepítéshez kövesse az alábbi lépéseket Apache Hive az Ubuntuban:
1. lépés: Letöltés Hive tar.
Parancs: wget http://archive.apache.org/dist/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz
2. lépés: Kivonat a kátrány fájl.
Parancs: tar -xzf apache-hive-2.1.0-bin.tar.gz
Parancs: ls
3. lépés: Szerkessze a „.Bashrc” fájl a környezeti változók frissítéséhez a felhasználó számára.
Parancs: sudo gedit .bashrc
Adja hozzá a következőt a fájl végéhez:
# A HIVE_HOME beállítása
export HIVE_HOME = / home / edureka / apache-hive-2.1.0-bin
export PATH = $ PATH: /home/edureka/apache-hive-2.1.0-bin/bin
Ügyeljen arra is, hogy a hadoop útvonal is be legyen állítva.
Futtassa az alábbi parancsot, hogy a változtatások ugyanabban a terminálban működjenek.
Parancs: forrás .bashrc
4. lépés: Ellenőrizze a kaptár verzióját.
tizedestől bináris python kódig
5. lépés: Teremt Kaptár könyvtárakat belül HDFS . A könyvtár 'raktár' az a hely, ahol a táblát vagy a kaptárral kapcsolatos adatokat tárolják.
Parancs:
- hdfs dfs -mkdir -p / felhasználó / kaptár / raktár
- hdfs dfs -mkdir / tmp
6. lépés: Írási / írási engedélyek beállítása a táblához.
Parancs:
Ebben a parancsban írási engedélyt adunk a csoportnak:
- hdfs dfs -chmod g + w / felhasználó / kaptár / raktár
- hdfs dfs -chmod g + w / tmp
7. lépés: Készlet Hadoop bejárat h ive-env.sh
Parancs: cd apache-hive-2.1.0-bin /
Parancs: gedit conf / hive-env.sh
Állítsa be a paramétereket az alábbi pillanatképen látható módon.
8. lépés: Szerkesztés hive-site.xml
Parancs: gedit conf / hive-site.xml
javax.jdo.option.ConnectionURL jdbc: derby: databaseName = / home / edureka / apache-hive-2.1.0-bin / metastore_dbcreate = true JDBC csatlakozási karakterlánc egy JDBC metastore számára. Az SSL használatához a kapcsolat titkosításához / hitelesítéséhez adja meg az adatbázis-specifikus SSL jelzőt a kapcsolat URL-jében. Például jdbc: postgresql: // myhost / db? Ssl = true a postgres adatbázisra. hive.metastore.warehouse.dir / user / hive / raktár alapértelmezett adatbázisának helye a raktár számára. A hive.metastore.uris Thrift URI a távoli metastore számára A metastore kliens a távoli metastore-hoz való csatlakozáshoz használja. javax.jdo.option.ConnectionDriverName org.apache.derby.jdbc.EmbeddedDriver Illesztőprogram osztály neve egy JDBC metasztárhoz javax.jdo.PersistenceManagerFactoryClass org.datanucleus.api.jdo.JDOPersistenceManagerFactory osztály a
9. lépés: Alapértelmezés szerint a Hive használja Derby adatbázis. A Derby adatbázis inicializálása.
mi a laza csatolás a java-ban
Parancs: bin / schematool -initSchema -dbType derby
10. lépés :Dob Kaptár.
Parancs: kaptár
11. lépés :Futtasson néhány kérdést a Hive shellben.
Parancs: adatbázisok megjelenítése
Parancs: tábla alkalmazott létrehozása (id karaktersorozat, név karaktersorozat, osztály osztály) karaktersorozat határolt mezők, végződve ‘’ szövegfájlként tárolva
Parancs: táblázatokat mutat
12. lépés: Kilépés innen Kaptár:
Parancs: kijárat
Most, hogy végzett a Hive telepítésével, a következő lépés az, hogy kipróbálja a Hive parancsokat a Hive shell-en. Ezért a következő blogunk Legjobb kaptárparancsok példákkal a HQL-ben ”Segít elsajátítani a Hive parancsokat.
Kapcsolódó hozzászólások: