'
A digitális adatok gyors terjeszkedése számítógépeken, mobilon, videofelvételeken, közösségi médián, digitális érzékelőkön stb. Keresztül, az alacsonyabb költségű feldolgozási teljesítmény, a nyílt forráskódú adatbázis-alkalmazások és a szélesebb sávszélesség jelentős áttöréseivel együtt az egész üzleti világban óriási érdeklődést váltott ki. a Big Data tudomány feltörekvő területe és elemzés.
A nagy, strukturálatlan mennyiségű nagy adatok túl hatalmasak ahhoz, hogy hagyományos módszerekkel kezelhetők és elemezhetők legyenek. A mai adatok puszta mennyisége és sebessége valódi kihívást jelent a rögzítés, szűrés, tárolás és elemzés terén. Ennek kezelésére rendszeresen új termékeket fejlesztenek ki, amelyek új készségkészleteket és szakértelmet igényelnek. Egyre nagyobb szükség van olyan egyénekre, akik integrálni tudják az új infrastruktúrát, platformokat és folyamatokat a szervezetbe, valamint olyanokra, akik új elemzéseket és algoritmusokat készíthetnek, amelyek képesek hatalmas üzleti értéket képviselő hatalmas intelligencia létrehozására. További információért olvassa el blog bejegyzésünket a következő címen:
Az adattudomány relevanciája a különböző iparágakban:
Az Data Science & Analytics minden iparágban alkalmazható:
- e-kereskedelem - Testreszabási és ajánlási motorok, amelyek növelik az eladásokat.
- Hirdető - Nagyon célzott, valós idejű hirdetések kézbesítése a fogyasztók számára.
- Média és szórakozás - Testreszabott tartalomfejlesztés, amely maximalizálja a felhasználói elkötelezettséget
- Közösségi média - Fokozott „ragadósság” a webhelyen, a felhasználók növekedése, a fogyasztói érzelmeken alapuló gyors ütemű trendek követésének képessége.
- Pénzügyi szolgáltatások –Optimalizált hitelezési gyakorlatok, amelyek minimalizálják a kockázatot és a csalást.
- Pharma / Bioinformatika - Javított gyógyszerfelfedezés, a fenyegető betegségek hatékonyabb kezelése, géntechnológiai fejlesztések.
- Egészségügy - Az egészségügyi betegek jobb pontozása az egészségügyi kockázatok, valamint a betegségek előrejelzése és korai megelőzése szempontjából.
- Teljesítmény / Energia - Intelligens hálózati intelligencia, használati hatékonyság, energiatakarékosság és az állásidő csökkentése.
- Információ biztonság - Jelentősen javult az értékes vállalati információk és eszközök lopásának felderítése és nyomon követése.
Az adattudományi szakemberek legfontosabb készségei:
Az adattudományi tartomány olyan szakembereket igényel, akik:
- Érti az adatelemzést és a döntéstudományt
- Jól ismerik az informatikát
- Legyen erős üzleti érzéke
- Rendelkezik a döntéshozókkal való hatékony kommunikáció képességével
Olvass tovább: Alapvető képességek ahhoz, hogy adattudós legyen.
hogyan használjuk a készleteket a java-ban
Az adattudományi gyakorlathoz kapcsolódó közös technológiák:
- Adatbázisok
Oracle, SQL Server, Teradata
Cassandra, Hadoop, MapReduce, HBase
Aster, Greenplum, Netezza
- Nyelvek
Ajax, C ++, CSS, HTML5, Java, JavaScript, Perl, Python, Scala
Hive, Pig, Lucene, Mahout, Solr
- Statisztika és előrejelzés
Angoss, MATLAB, R, SAS, SPSS
ÍV, GARCH, SVAR, VAR, VEC, GAUSS
- Adatmegjelenítés
QlikView, Spotfire, Tableau, yWorks, R
- BI és jelentéskészítés
BusinessObjects, Cognos, MicroStrategy
Mi az a Cassandra?
- Az Apache Cassandra egy nyílt forráskódú elosztott adatbázis-kezelő rendszer, amelyet nagy mennyiségű adat kezelésére terveztek számos árukiszolgálón keresztül.
- A Cassandra magas rendelkezésre állást biztosít egyetlen hiba pont nélkül.
- A Cassandra robusztus támogatást kínál a több adatközpontot átívelő klaszterekhez, aszinkron master nélküli replikációval, amely alacsony késleltetésű műveleteket tesz lehetővé az összes ügyfél számára.
További információért olvassa el a blog bejegyzését a .
Hogyan használja a Data Science a Cassandrát?
A Cassandra & félénk és félénk elosztott adatbázis alacsony késleltetésű, nagy áteresztőképességű szolgáltatásokhoz, valós idejű munkaterheléseket kezel, amely másodpercenként több száz frissítést és másodpercenként tízezer olvasást tartalmaz.
Cassandra Felhasználási eset - PROS:
A PROS egy Big Data szoftvercég, amelynek szoftverében előírásos elemzés van, amely megkönnyíti ügyfeleik számára az adatok elemzését, és betekintést és útmutatást kap az árak, az értékesítés és a bevételek kezelésének optimalizálásához.
Valós idejű szolgáltatásuk van, amely kiszámítja a légitársaság elérhetőségét, dinamikusan figyelembe véve a bevétel-ellenőrzési adatokat és a készletszinteket, amelyek másodpercenként sok százszor változhatnak.
Ezt a szolgáltatást másodpercenként több ezer alkalommal kérdezik le, ami több tízezer adatkeresést jelent. E szolgáltatás háttértárrétege a Cassandra.
Valós idejű megoldásukhoz a PROS felismerte:
- Elosztott gyorsítótár, amely rendkívül elérhető.
- Könnyen méretezhető.
- Mester nélküli architektúrával.
- Közel valós idejű adatreplikációval, még az adatközpontok között is.
- Ez képes kezelni a valós idejű olvasásokat és írásokat.
A PROS a Cassandrát az Oracle Berkeley DB, az Oracle Coherence, a Terracotta, a Voldemort és a Redis ellen értékelte. Apache Cassandra meglehetősen könnyen vezette a listát.
PROS és Cassandra
- A PROS elosztott adatbázisként használja a Cassandrát alacsony késleltetésű, nagy áteresztőképességű szolgáltatásokhoz, amelyek valós idejű munkaterheléseket kezelnek, amelyek másodpercenként több száz frissítést és másodpercenként tízezer olvasást tartalmaznak.
- Például valós idejű szolgáltatásuk van, amely dinamikusan kiszámítja a légitársaság elérhetőségét, figyelembe véve a bevétel-ellenőrzési adatokat és a készletszinteket, amelyek másodpercenként sokszor többször is változhatnak. Ezt a szolgáltatást másodpercenként több ezer alkalommal kérdezik le, ami több tízezer adatkeresést jelent. E szolgáltatás háttértárrétege a Cassandra. Néhány SaaS-ajánlatuk a Cassandrát használja háttér-áruházként a valós idejű és a Hadoop-alapú kötegelt terhelések kombinációjának kezelésére.
- Hadoopról és Cassandráról beszélve kiveszik az adatokat Cassandrából, beteszik a Hadoop-ba, és futtatják a kötegelt és elemző elemeket, majd ezek visszamennek a Cassandra-ba. Ezt a Cassandra Hadoop integrációjával érik el.
- A Hadoop-feladatok kihúzzák az adatokat a Cassandrából, munkahelyspecifikus átalakításokat vagy elemzéseket alkalmaznak, és visszaszorítják az adatokat a Cassandra-ba. Ehhez az integrációhoz nem a Datastax (hivatalos Cassandra Maintainer) Enterprise kiadást használják, hanem csak a nyílt forráskódú Hadoop telepítést a Cassandrával.
Adatmodellezés Cassandrával:
Amikor egy kulcsérték-tárolót valami valósabb replikációra és adatelosztásra képesebbre cserélni, a Dynamo, a CAP-tétel és az esetleges konzisztencia-modell kutatásai azt mutatják, hogy a Cassandra nagyon jól illik ehhez a modellhez. Amint többet megtudunk az adatmodellezési képességekről, fokozatosan haladunk az adatok lebontása felé.
Ha egy relatív adatbázis háttérből származik, erős ACID szemantikával, akkor időt kell szánnia az esetleges konzisztencia modell megértésére.
Nagyon jól értse Cassandra építészetét és azt, hogy mit csinál a motorháztető alatt. A Cassandra 2.0 segítségével könnyű tranzakciókat és kiváltókat kap, de ezek nem azonosak a hagyományos adatbázis-tranzakciókkal, amelyeket ismerhet. Például nem állnak rendelkezésre külföldi kulcsra vonatkozó korlátozások - ezt saját alkalmazásnak kell kezelnie. A Cassandra-val történő adatok modellezése előtt egyértelműen meg kell érteni a felhasználási eseteket és az adatelérési szokásokat, és el kell olvasni az összes rendelkezésre álló dokumentációt.
Következtetés:
Az Apache Cassandra gyorsan fejlődik, és megtanuljuk és megértjük képességeit - különösen az adatmodellezés oldalán. Úgy tekintünk rá, mint egy választott NoSQL adatbázisra a Big Data szolgáltatásainkhoz és megoldásainkhoz.
get tömb javascript
Az Edureka átfogó azok számára, akik adatkutatóvá kívánnak válni. A tanfolyam a Hadoop, R és Machine Learning technikák körét öleli fel, amely magában foglalja a teljes Data Science tanulmányt. Edureka is nyújt ez segít elsajátítani a NoSQL adatbázisokat. Ez a tanfolyam célja, hogy ismereteket és készségeket nyújtson a sikeres Cassandra szakértővé váláshoz.