A Hadoop hagyományos vállalati informatikai megoldásokban való fokozott alkalmazásával és a Hadoop bevezetések számának növekedésével a termelési környezetben a Hadoop Operations és Administration szakértők iránti igény, hogy gondoskodjanak a nagy Hadoop Klaszterekről, egyre fontosabbá válik.
A Hadoop rendszergazdai felelősségei:
- Felelős a Hadoop infrastruktúra megvalósításáért és folyamatos adminisztrációjáért.
- A Hadoop számára szükséges új hardver- és szoftverkörnyezetek javaslata és telepítése, valamint a meglévő környezetek bővítése érdekében a rendszermérnöki csapattal való összehangolás.
- Együttműködés az adatátviteli csoportokkal az új Hadoop-felhasználók beállításához. Ez a feladat magában foglalja a Linux felhasználók beállítását, a Kerberos igazgatóinak beállítását és a HDFS, Hive, Pig és MapReduce hozzáférés tesztelését az új felhasználók számára.
- Fürtkarbantartás, valamint csomópontok létrehozása és eltávolítása olyan eszközök segítségével, mint a Ganglia, a Nagios, a Cloudera Manager Enterprise, a Dell Open Manage és más eszközök.
- A Hadoop-klaszterek és a Hadoop Map teljesítményének hangolása A rutinok csökkentése.
- Képernyő Hadoop klaszter munkateljesítmények és kapacitás tervezés
- Figyelje a Hadoop-fürt kapcsolatát és biztonságát
- A Hadoop naplófájlok kezelése és felülvizsgálata.
- A fájlrendszer kezelése és figyelése.
- HDFS támogatás és karbantartás.
- Szorgalmasan együttműködve az infrastruktúra, a hálózat, az adatbázis, az alkalmazás és az üzleti hírszerzés csoportjaival garantálja az adatok magas minőségét és elérhetőségét.
- Együttműködés az alkalmazáscsoportokkal az operációs rendszer és a Hadoop frissítések, javítások, verziófrissítések telepítéséhez, ha szükséges.
- Kapcsolattartó az eladó fokozásához
A Hadoop Administration egy jövedelmező és jövedelmező karrier, rengeteg növekedési lehetőséggel. Ha a fent felsorolt munkaköri feladatok érdeklik Önt, akkor itt az ideje, hogy felkészítse magát a Hadoop Administration szolgáltatásra és áttérjen a Hadoop Admin karrier útjára.
hogyan kell telepíteni a napfogyatkozás ablakokat
DBA feladatok, amelyeket a Hadoop rendszergazda lát el:
- Adatmodellezés, tervezés és megvalósítás elismert szabványok alapján.
- Szoftver telepítés és konfigurálás.
- Adatbázis biztonsági mentése és helyreállítása.
- Adatbázis-kapcsolat és biztonság.
- Teljesítményfigyelés és hangolás.
- Lemezterület-kezelés.
- Szoftver javítások és frissítések.
- Automatizálja a kézi feladatokat.
A DWH fejlesztési feladatait a Hadoop rendszergazda látja el:
A DWH rendszergazdai feladatai közé tartozik a kötegelt feladatok fejlesztése, tesztelése és figyelése a következő feladatokhoz:
- Biztosítsa a referencia integritását.
- Végezze el az elsődleges kulcs végrehajtását.
- Végezze el az adatok újraszerkesztését.
- Nagy adatmennyiségek időben történő betöltése.
Most, hogy tud a Hadoop-rendszergazda munkaköri feladatairól, vessünk egy pillantást az ahhoz szükséges készségekre.
A Hadoop-rendszergazdához váláshoz szükséges készségek:
- Általános operatív szakértelem, például jó hibaelhárítási ismeretek, a rendszer kapacitásának megértése, a szűk keresztmetszetek, a memória, a CPU, az operációs rendszer, a tárhely és a hálózatok alapjai.
- Hadoop képességek, mint a HBase, Hive, Pig, Mahout stb.
- A legfontosabb követelmények: Képeseknek kell lenniük a Hadoop-fürt telepítésére, csomópontok hozzáadására és eltávolítására, a munkák nyomon követésére, a fürt kritikus részeinek figyelemmel kísérésére, a név-csomópont magas rendelkezésre állásának konfigurálására, ütemezésére és konfigurálására, valamint biztonsági másolatok készítésére.
- Jó ismeretek a Linuxról, mivel a Hadoop Linuxon fut.
- Ismerkedés a nyílt forráskódú konfigurációkezeléssel és a telepítési eszközökkel, például a Báb vagy a Szakács és a Linux szkriptekkel.
- Az alapvető Java alkalmazások hibaelhárításának ismerete plusz.
Az Edureka speciálisan kurálta a Hadoop Administration témakörét. Kattintson az alábbi gombra a Hadoop Administration használatának megkezdéséhez, és megtudhatja, hogyan segít a tanfolyam abban, hogy Hadoop rendszergazdává váljon.
Kapcsolódó hozzászólások:
db böngésző az sqlite bemutatóhoz