Білім беру бағдарламасының студенттері үшін «деректер қорын басқару жүйелері»
жүктеу/скачать 0,98 Mb.
|
Білім беру ба дарламасыны студенттері шін «деректер орын бас
Бағдарламалық қамтамасыз етуді әзірлеудің жіктлуі мен принциптер 1., 1 (1), Тарих, География, Қазақ тілі жауаптары
- Бұл бет үшін навигация:
- ДӘРІС 29-30. Big data технологиясы және оның мүмкіндіктері
- Бақылау сұрақтары
| Бақылау сұрақтары:
1. Деректер қорының қандай технологияларын білесіз, атап көрсетіңіз? 2. ODBC - Open Database Connectivity технологиясын жазыңыз? 3. OLE DB - Object Linking and Embedding Database технологиясын жазыңыз? 4. ODBC технологиясының артықшылықтарын атап көрсетіңіз? 5. ODBC және OLE DB технологияларын салыстырыңыз, және талдау жасаңыз? ДӘРІС 29-30. Big data технологиясы және оның мүмкіндіктері Жоспар: 1.Big data деген не? 2.Big data технологиясы 3.Big data – әлемде. 4.Big data – түрлі салада Big data дегеніміз не? Тек жалқау Big data туралы айтпайды, бірақ бұл не және ол қалай жұмыс істейтіні түсінуі екі талай. Ең қарапайым - терминологиядан бастайық. Орыс тілінде айтқанда Big data - бұл нақты тапсырмалар мен мақсаттарға қол жеткізу үшін құрылымдық және құрылымдық емес деректерді өңдеуге арналған түрлі құралдар, тәсілдер мен әдістер. Құрылымсыз деректер - алдын-ала анықталған құрылымы жоқ немесе белгілі бір тәртіпте ұйымдастырылмаған ақпарат. «Үлкен деректер» термині Nature журналының редакторы Клиффорд Линчпен 2008 жылы әлемдік ақпарат көлемінің жарылыс өсіміне арналған арнайы шығарылымда енгізді. Дегенмен, әрине, үлкен мәліметтер бұрыннан бар болған. Сарапшылардың пікірінше, Big data санаты тәулігіне 100 Гб-тан жоғары деректер ағынын білдіреді. Бүгінгі күні бұл қарапайым термин тек екі сөзді жасырады - деректерді сақтау және өңдеу. Қазіргі әлемде Big data әлеуметтік-экономикалық құбылыс болып табылады, бұл көптеген деректерді талдау үшін жаңа технологиялық мүмкіндіктер пайда болғанымен байланысты. Түсінудің қарапайымдылығы үшін, барлық тауарлар сіз таныс болған тәртіпте болмаған супермаркетді елестетіңіз. Мұздатылған пиццаның жанындағы жеміс, томат пастасы, тұмсық тартпасының алдында ыстық сұйықтық, сонымен қатар, басқада авокадо, тофу немесе саңырауқұлақтар бар. Big data өз орнына бәрін қояды және жаңғақ сүтін табуға көмектеседі, құны мен жарамдылық мерзімін біледі және тағы басқалары - сізден басқа, осындай сүтті сатып ала алмайсыз және сиыр сүтіне қарағанда жақсы. Big data технологиясы. Деректердің үлкен көлемі оларды одан әрі тиімді пайдалану үшін нақты және қажетті нәтижелер алуы үшін өңделеді. Сондай-ақ оқыңыз: Big data: талдау және құрылымдау Іс жүзінде, Big data - мəселелерді шешу жəне дәстүрлі деректерді басқару жүйелеріне балама болып табылады. МакКинсидің Үлкен деректеріне қолданылатын талдау әдістері мен әдістері: Деректерді өңдеу; Краудсорсинг; Араластыру және деректерді біріктіру; Машина жасау; Жасанды нейрондық желілер; Суреттерді тану; Талдауды болжау; Симуляциялық модельдеу; Кеңістіктік талдау; Статистикалық талдау; Талдау деректерін визуализациялау. Деректерді өңдеуді қамтамасыз ететін көлденең масштабтау үлкен деректерді өңдеудің негізгі принципі болып табылады.Деректер тораптарды есептеу үшін таратылады және өңдеу өнімділіктің нашарлауы болмайды. McKinsey-ті қолдану тұрғысынан алғанда, сондай-ақ, реляциялық басқару жүйесі және Business Intelligence бар Технология NoSQL; MapReduce; Hadoop; R; Аппараттық шешімдер Үлкен деректер 2001 жылы Meta Group әзірлеген дәстүрлі анықтау сипаттамаларын ерекшелендіреді, олар «Үш В» деп аталады: Volume-физикалық көлемнің көлемі. Velocity- өсу жылдамдығы және нәтижелерді алу үшін деректерді жылдам өңдеу қажеттілігі. Variety- деректердің әртүрлі түрлерін бір мезгілде өңдеу мүмкіндігі. Big data:қолдану және мүмкіндіктер Гетерогенді және тез кіретін цифрлық ақпарат көлемдері дәстүрлі құралдармен өңделмейді. Деректердің талдауы адам көре алмайтын айқын және айқын емес үлгілерді көруге мүмкіндік береді. Бұл біздің өміріміздің барлық салаларын - мемлекеттік басқарудан өндіріс пен телекоммуникацияға дейін оңтайландыруға мүмкіндік береді. Мысалы, кейбір компаниялар бірнеше жыл бұрын өз клиенттерін алаяқтықтан қорғап, клиенттің ақшасы туралы қамқорлық жасау өз ақшаларын ұстанады. Big data- ға негізделген шешімдер: Сбербанк, Beeline және басқа компаниялар Beeline абоненттері туралы деректер бар, олар олармен жұмыс істеуді ғана емес, сондай-ақ сыртқы консалтинг немесе IPTV-аналитика сияқты аналитикалық өнімдерді де жасайды. «Beeline» базалық және қорғалған клиенттерді ақшалай алаяқтықтан және вирустардан бөліп, HDFS және Apache Spark-ты сақтауға және деректерді өңдеуге арналған Rapidminer және Python-ты қолданды. Немесе «ASBER SAFI» деп аталатын бұрынғы «Сбербанк» есімін есте сақтаңыз. Бұл банк клиенттерін анықтау үшін фотосуреттерді талдайды және алаяқтықты болдырмайды. Жүйе 2014 жылы, жүйенің қақ ортасында енгізілді - дерекқордан фотосуреттерді салыстыру, ол веб-камералардан компьютер көрінісі арқасында тіректерге түседі. Жүйенің негізі - биометриялық платформа. Осыған байланысты алаяқтық жағдайлары 10 есе азайды Big data әлемде IBS компаниясының мәліметтері бойынша, 2003 жылы әлемде 5 экзабайты деректер жинақталған (1 EB = 1 миллиард гигабайт). 2008 жылға қарай бұл көлем 0,18 zetta байтына (1 Гбайт = 1024 экзабайт), 2011 жылға - 1,76 дейін zetta байтына, 2013 жылға қарай - 4,4 зеттабайтқа дейін өсті. 2015 жылдың мамыр айында деректердің жаһандық көлемі 6,5 мың заттабайттан асты (көп) 2020 жылға қарай, болжамдарға сәйкес, адамзат 40-44 зеттабайт ақпаратты құрайды. IDC талдаушылары дайындаған Data Age 2025 есебіне сәйкес 2025 жылға қарай 10 есе өседі. Есепте айтылғандай, деректердің басым бөлігі қарапайым тұтынушылар емес, кәсіпорындар өздері жасайды. Сарапшылардың пікірінше, бұл деректер өмірлік маңызды құралға айналады, ал қауіпсіздік - бұл өмірдегі аса маңызды негіз. Сондай-ақ, жұмыс авторлары бұл технологияның экономикалық ландшафт өзгеретініне сенімді, ал орташа тұтынушы қосылған құрылғылармен тәулігіне 4 800 рет байланысады. Ресейде Big data нарығы 2017 жылы Әлемнің Үлкен күн нарығында пайда 150,8 млрд долларға жетуі тиіс, бұл өткен жылғыдан 12,4% артық. Әлемдік шкала бойынша ресейлік қызметтер мен технологиялар нарығы әлі де аз. 2014 жылы американдық IDC компаниясы оны 340 миллион долларға бағалайды, Ресейде банк, энергетика, логистика, мемлекеттік сектор, телекоммуникация және өнеркәсіп саласында технология қолданылады. Деректер нарығына келетін болсақ, ол тек Ресейде басталады. RTB экожүйесінің ішінде деректерді жеткізушілер деректерді басқару бағдарламалық құралының (DMP) иелері және деректермен алмасу болып табылады. Телекоммуникациялық операторлар пилоттық режімде банктердің әлеуетті қарыз алушылар туралы тұтынушыларымен ақпарат алмасады. Әдетте үлкен деректер үш көзден келеді: Интернет (әлеуметтік желілер, форумдар, блогтар, БАҚ және басқа сайттар) Құжаттардың корпоративтік мұрағаты; Сенсорлардың, аспаптардың және басқа құрылғылардың көрсеткіштері. Банктерде Big data Жоғарыда сипатталған жүйеге қосымша, «Сбербанк» 2014-2018 жж. Стратегиясында. жоғары сапалы клиенттерге қызмет көрсету, тәуекелдерді басқару және шығындарды оңтайландыру үшін супермассивті деректерді талдаудың маңыздылығы. Қазіргі кезде банк клиенттерге тәуекелдерді басқару, алаяқтыққа қарсы күрес, сегменттеу және клиенттерді несиелеуді бағалау, қызметкерлерді басқару, кеңселерде кезектерді болжау, қызметкерлерге сыйақы есептеу және басқа да міндеттер үшін үлкен деректерді пайдаланады. «ВТБ24» клиенттерді ағытуды сегменттеу және басқару, қаржылық есептілікті қалыптастыру, әлеуметтік желілерде және форумдарда кері байланысты талдау үшін үлкен деректерді пайдаланады. Ол үшін Teradata, SAS Visual Analytics және SAS Marketing Optimizer шешімдерін қолданады. «Альфа-Банк» 2013 жылы үлкен деректерге ие болды. Банк әлеуметтік желілерді талдау және сайтты пайдаланушылардың мінез-құлқын талдау, несие қабілеттілігін бағалау, клиенттердің кетуін болжау, мазмұнды және қайталама сатуды жекелендіру үшін технологияларды пайдаланады. Ол үшін Oracle Exadata сақтау және өңдеу платформаларымен, Oracle Big Data Appliance және Hadoop құрылымымен жұмыс істейді. EMC Greenplum, SAS Visual Analytics және Hadoop көмегімен Tinkoff Bank мүмкіндігі әлеуетті және бар клиенттердің қажеттіліктерін талдайды. Үлкен деректер сондай-ақ скорингке, маркетингке және сатуға қатысады Бизнестегі Big data Шығыстарды оңтайландыру үшін, Big Data және Магнитогорск темір-болат корпорациясы ірі әлемдік өндіруші болып табылады. Өткен жылдың соңында олар «Снайпер» деп аталатын қызметті ұсынды, ол ферроқорытпаларды және өндірістегі басқа материалдарды тұтынуды оңтайландырады. Қызмет деректерді өңдеп, болат өндірісінде ақша үнемдеу үшін ұсыныстар жасайды. Үлкен деректер және болашақ - талқылау үшін ең өзекті тақырыптардың бірі, себебі коммерциялық қызметтің негізі ақпарат болып табылады. Бұл идея компьютерді үлкен көлемдегі деректерді «тамақтандыру» болып табылады және оны адамды көре алмайтын типтік алгоритмдерді іздеуге мәжбүрлеу немесе адамды адам басқаратын шкала бойынша ықтималдық пайыздық негізде шешім қабылдауға мәжбүрлеу, автокөліктер үшін қол жетімді, немесе, мүмкін, бір рет - адам ешқашан жеңе алмайтын ауқымда. Бизнес-процестерді оңтайландыру мақсатында «Сургутнефтегаз» компаниясы нақты уақыт режимінде бизнесті жүргізуге көмектесетін SAP HANA еске салынған деректерді және қосымшалық платформаны пайдаланды. Платформа өнімдерді тіркеуді автоматтандырады, баға белгілеу, қызметкерлерге ақпарат береді және аппараттық ресурстарды үнемдейді. Деректер басқа кәсіпорындардың бизнесіне айналды - сіз мұнда оқи аласыз. Маркетингтегі Big data Big data-ның арқасында, маркетологтар жұмысқа көмектесіп қана қоймай, нәтижелерді болжайтын тамаша құрал алды. Мысалы, деректерді талдау арқылы RTB-аукцион модельдеріне негізделген аудитория өнімі қызықтыратын жарнаманы көрсетуге болады. Big data маркетологтарға өз тұтынушыларын тануға және жаңа мақсатты аудиторияларды тартуға, клиенттердің қанағаттану деңгейін бағалауға, клиенттің сенімділігін арттырудың жаңа жолдарын қолдануға және сұранысқа ие жобаларды іске асыруға мүмкіндік береді. Big data әлемді өзгерте ме? Технологиядан біз жасыра алмаймыз, жасырмаймыз. Үлкен деректер біздің қалаларымызға, үйлерімізге, апартаменттер мен гаджеттерге тыныштықпен кіріп, әлемді өзгертіп жатыр. Ғаламшардың технологиясы қаншалықты тез түсетінін білу қиын. Бір нәрсе анық - Боб Келсо «Клиника» сериясында айтқандай, сәндеуге немесе шөгінділерде өлуге тырысыңыз. Бақылау сұрақтары: Big data деген не? Big data технологиясы қалай пайда болды? Big data технологиясының қолдану салаларын айтып бер. Білім алушының білімін бағалау критериялары
жүктеу/скачать 0,98 Mb. Достарыңызбен бөлісу:
|