Үлкен деректерді талдау
- Жетілдірілген аналитикалық әдістер сияқты үлестірілген файлдық жүйелерде жұмыс істейтін
- Hadoop,
- Map-Reduce,
- Hive,
- Hcatalog,
- Hbase,
- MPP (Massively Parallel Processing- жаппай параллель өңдеу),
- PIG,
- Mahout,
- NoSQL және
- Cassandra қолданылады.
Үлкен деректерді талдау
үлкен деректерді талдау - шешім қабылдау процесін басқаруға мүмкіндік беретін ақпарат алу үшін үлкен деректер жиынтығын талдау әдісі.
үлкен деректерді талдауда жауап беру керек негізгі сұрақтар: үлкен деректердің мөлшері мен әртүрлілігі артқан сайын мәліметтер аналитикасындағы мәселелерді қалай шешуге болады? Барлық деректер сақталуы керек пе? Барлық деректерді талдау керек пе? Қандай үлкен деректер элементтері шынымен маңызды екенін қалай шешуге болады? Жақсы артықшылық алу үшін үлкен деректерді қалай пайдалану керек?
Hadoop
Ірі деректерді талдауда қолданылатын бағдарламалық жасақтама - бұл ең алдымен Map-Reduction технологиясын және HDFS (Hadoop Distribution File System) қолданатын Hadoop бағдарламалық жасақтамасының архитектурасы.
Қазіргі уақытта Hadoop; Yahoo, Amazon, Facebook, Linkedin, Twitter, IBM және Adobe сияқты көптеген жетекші IT компаниялары үшін үлкен деректерді талдауда қолданылады. Алайда, үлкен деректер шешімдері Hadoop-пен ғана шектелмейді. Hadoop - бұл ең танымал ашық бағдарламалық жасақтама болса да, үлкен деректерді талдауда жалғыз шешім қабылдауға жеткіліксіз болып табылады.
Назарларыңызға рахмет!
Достарыңызбен бөлісу: |
