Hadoop, amint mindannyian tudjuk, a big data plakátfia. Az elefantin arányú adatok feldolgozására alkalmas szoftveres keretrendszerként a Hadoop a CIO buzzwords listájának élére került.
A memóriában lévő verem soha nem látott növekedése azonban a big data ökoszisztémát új elemzési alternatívává tette. A MapReduce elemzési módját egy új megközelítés váltja fel, amely lehetővé teszi az elemzést mind a Hadoop keretrendszerén belül, mind azon kívül. Az Apache Spark a nagy adatelemzés friss új arca.
hogyan kell megtanulni a vizuális stúdiót
A nagyadat-rajongók az Apache Sparkot tanúsították a világ legforróbb adatszámítási motorjaként. Gyorsan kiveti a MapReduce-ot és a Java-t a pozícióiból, és a munkakörülmények tükrözik ezt a változást. A TypeSafe felmérése szerint a globális Java-fejlesztők 71% -a jelenleg értékeli vagy kutatja a Spark körül, és 35% -uk már elkezdte használni. A Spark szakértői jelenleg keresettek, és az elkövetkező hetekben a Sparkhoz kapcsolódó munkalehetőségek száma várhatóan csak a tetőn megy át.
Szóval, mi az az Apache Spark, ami miatt minden CIO feladatlista tetején megjelenik?
Íme néhány érdekes tulajdonság az Apache Spark-tól:
- Hadoop integráció - A Spark képes a HDFS-ben tárolt fájlokkal dolgozni.
- Spark interaktív héja - A Spark Scala nyelven íródott, és rendelkezik a Scala tolmács saját verziójával.
- Spark analitikus lakosztálya - A Spark eszközökkel rendelkezik az interaktív lekérdezéselemzéshez, a nagyméretű grafikonfeldolgozáshoz és elemzéshez, valamint a valós idejű elemzéshez.
- Rugalmas elosztott adatkészletek (RDD) - Az RDD-k elosztott objektumok, amelyek memóriában tárolhatók a számítási csomópontok fürtjébe. Ezek a Sparkban használt elsődleges adatobjektumok.
- Elosztott üzemeltetők - A MapReduce mellett sok más operátor is használható az RDD-n.
Az olyan szervezetek, mint a NASA, a Yahoo és az Adobe elkötelezték magukat a Spark mellett. Ezt mondja John Tripier, a Databricks szövetségek és az ökoszisztéma vezető munkatársa: „Az Apache Spark alkalmazása kis és nagy vállalkozásokban hihetetlen ütemben növekszik az iparágak széles körében, és a tanúsított szakértelemmel rendelkező fejlesztők iránti kereslet gyorsan növekszik. követi a példát ”. Soha nem volt jobb alkalom a Spark megtanulására, ha van háttér Hadoop-ban.
posztgraduális fokozat
Az Edureka speciálisan kurálta az Apache Spark & Scala tanfolyamot, amelyet a valós ipari szakemberek hoztak létre. Differenciált élő e-learning tapasztalatok és az ipar számára releváns projektek mellett nézze meg a tanfolyamunkat. Hamarosan új tételek kezdődnek, ezért nézze meg a tanfolyamot itt: .
Van egy kérdésünk? Kérjük, említse meg a megjegyzések részben, és mi kapcsolatba lépünk Önnel.
Kapcsolódó hozzászólások:
Apache Spark Vs Hadoop MapReduce
if utasítás az sql lekérdezésben