Машинамен оқыту
жүктеу/скачать 41,67 Kb.
|
МАШИНАМЕН ОҚЫТУ
| Key words: machine learning, neural networks, advanced learning, machine translation, post-editing
Қазіргі уақытта жасанды интеллект, машинамен оқыту және терең білім беру – бұл қазіргі заманғы технологиялардың, сонымен қатар болашақтағы технологиялардың негізі. Олардың әрқайсысының негізгі идеясы – адамдар жасай алатын тапсырманы орындау немесе адамның миы сияқты жұмыс істеу. Жасанды интеллект, машинамен оқыту және терең білім бірдей ме? Жұмыста осы мәселелер толығымен қарастырылып, зерттелді. Олардың барлығы бірдей болуы мүмкін, бірақ іс жүзінде, мүлдем бірдей емес. Жасанды интеллект – машинамен оқыту мен терең білім алудың тамыры. Жасанды интел лект машинамен оқытуға және терең оқуға бөлінеді. Машинамен оқыту кезінде біз машинаны белгілі бір мәліметтер типінен және оның нәтижесінен жағдайдың белгілі бір түрін үйренуге мәжбүр етеміз, ал оның оқу тәжірибесінен жағдайдың ұқсас типі үшін белгісіз мәліметтерді болжай аламыз. Машинамен оқыту мен терең оқытудың айырмашылығы - олардың жұмыс істеу тәсілі. Машинамен оқыту кезінде модель кеңістіктегі деректерді даналарға немесе мәліметтер нүктелеріне бөледі. Оларды ағаштың көме- гімен немесе екі немесе одан да көп даналарды жіктеуге болатын шешім жазықтығын құру немесе бастапқы нәтижемен салыстыру нәтижесін болжау арқылы шешуге тырысады. Жоғалтуды есептеу арқылы, содан кейін әрбір итерация соңында болжанғаннан кейін, шығынды барынша азайту үшін қайтадан итерация қолданылады. Терең білім алу тұжырымдаманы деректер қабатына бөлу болып табылады. Қабат неғұрлым терең болса, оны болжау дәлірек болады, бірақ тереңдігі тым терең болмауы керек, әйтпесе нашар нәтиже береді. Машинамен оқыту қалай басталды? Машинамен оқыту (Engl. Machine learning, ML) – бұл жасанды интеллект әдістерінің классы. Оның сипаттамасы мәселені тікелей шешу емес, көптеген ұқсас мәселелер ге шешім қолдану процесінде жаттығу болып саналады. Мұндай әдістерді құру үшін математикалық статистика, сандық әдістер, оңтайландыру әдістері, ықтималдық теориясы, графтар теориясы, сандық түрде мәліметтермен жұмыс істеудің әртүрлі әдістері қолданылады. Машинамен оқыту күнделікті біздің өмірімізде көптеген қолданыстарға ие болуда. Оның қолданылуының кеңдігіне байланысты IT технологияда маңызды орын алады. Қазіргі кезде машинамен оқыту әдістеріне негізделген кейбір қосымшалар тиімді жұ мыс істейді. Машинамен оқыту жасанды интеллекттің бір саласы болып есептеледі. Оның негізгі идеясы – компьютер алдын ала жазылған алгоритмді қолданумен ғана шектеліп қоймай, мәселені өздігімен шешуді үйрену. Кез келген жұмыс машинамен оқыту технологиясын шартты түрде қолжетімділікке байланысты үш деңгейдің біреуіне тағайындалуы мүмкін. Бірінші деңгей – бұл Google немесе IBM деңгейіндегі әртүрлі технологиялық алыптар үшін қолжетімді болған кезде. Екінші деңгей – белгілі бір білімі бар студент оны қолдана алатын кезде. Үшінші деңгей – бұл тіпті ата-әжелер оны басқара алатын кез. Қазір ма шинамен оқыту екінші және үшінші деңгейлердің түйіскен жерінде, осы технологияның көмегімен әлемнің өзгеру қарқыны күн сайын артып келеді. Машинамен оқыту корпустарды үйренуден басталды. Интуитивті түрде «үйрену» дегеніміз – белгілі бір модель қандай да бір жолмен «үйреніп», содан кейін нәтиже бере бастайды, яғни бір нәрсені болжай алады. Томас Митчеллдің «Машинамен оқыту» [1] кітабында келтірілген «үйренуге» деген жалпы анықтама беруге болады: «Компьютерлік бағдарлама D проблемалары мен объективті функцияларының белгілі бір класына қатысты тәжірибе жинақталған сайын үйренеді, егер оларды шешудің сапасы болса, тапсырмалар (P-ге қатысты) жаңа тәжірибемен жақсарады. Бұл анықтама өте жалпылама және дерексіз болып көрінсе де, іс жүзінде кейбір маңызды тұстарды нақтылауға мүмкіндік береді. Мысалы, ондағы орталық орынды деректер (объективті функция) алады. Кез келген практикалық мәселені шеше бастағанда, объективті функцияны анықтау және нәтижелерді бағалайтындығының мәні зор. Объективті функцияны таңдау барлық келесі жұмысты толық анықтайды, тіпті ұқсас міндеттерде де әртүрлі объективті функциялар мүлдем басқа модельдерге әкелуі мүмкін. Мысалы, «компьютерді оқуды үйрету» жақсы болар еді, бірақ алдымен оның нені білдіретінін анықтау керек. «Оқу» мәтіні бойынша сұрақтарға дұрыс жауап бере алу үшін, сөйлемді талдауда, осы мәтінге қатысты ең қажетті Wikipedia-ны көрсету қолданылады. Сан түрлі жауаптар әркелкі модельдерге және зерттеу бағыттарына әкеледі. Бірақ Митчеллдің анықтамасы бізге жеткіліксіз болады. Машиналарды оқытудың қандай қиындықтары бар, ол неден тұрады? Осы сұрақ машинамен оқытудың классификациясымен толық байланысты. Енді машинамен оқыту тапсырмаларының негізгі классификациясына тоқталсақ: машинамен оқытудың негізгі екі сыныбы мұғаліммен бірге оқу (бақылантын оқыту) және мұғалімсіз оқу (бақыланбайтын оқыту) болады. «Бақыланатын» түсінігінде адамның мәліметтерді өңдеуге араласуы деп ұғынады. Адам машинамен оқытуға араласқан кезде бізде белгілі бір болжамалы ақпараттар бар. Ал адамсыз оқу кезінде бізде тек анықталатын мәліметтер болады. Бақыланатын оқыту Мысалы, бізде Алматы қаласындағы 10 000 пәтерлер туралы мәліметтер бар. Сондай- ақ әр пәтердің ауданы, бөлмелер саны, орналасқан қабаты, автотұрақтың болуы, метро станциясына дейінгі қашықтық, сонымен қатар әр пәтердің құны және басқалары белгілі. Біздің міндетіміз – осы белгілер негізінде, пәтердің құнын болжай алатын модель құру. Бұл бақыланатын оқытудың классикалық мысалы. Мұндай тапсырма регрессиялық есеп деп аталады. Басқа мысалдар: әрқилы медициналық көрсеткіштерге негізделген ақпараттар бойынша науқаста қатерлі ісіктің бар- жоғын болжау немесе электрондық поштаның мәтініне сүйене отырып, осы спамның ықтималдығын болжау және т.б. Бақыланбайтын оқыту. Оқытудың бұл түрі өте қызықты болып келеді, себебі біз нақты дұрыс жауабын білмейміз. Атап айтсақ, белгілі бір адамдардың бойы мен салмағы туралы деректер берілсін. Деректерді 3 санатқа (немесе топ) топтастыру керек. Осыған орай адамдардың әр санаты үшін қолайлы өлшемдегі көйлек жасау керек. Бұл тапсырма класстерлік тапсырмасы деп аталады. Мұғаліммен жаттығу кезінде жаттығу мысалдарының жиынтығы енгізіледі, оны әдетте жаттығулар немесе жаттығулар туралы мәліметтер жиынтығы деп атайды, ал міндет – жаңа тәжірибеге бұрыннан белгілі жауаптарды, не болмаса, тест түрінде көрсетілетін жалғастыру, мәліметтер жиынтығы (тест жиынтығы, сынама үлгісі). Мұндағы басты болжам – оқыту үшін қолжетімді мәліметтер дайындалған модельдің мәліметіне ұқсас келеді, әйтпесе жалпылау мүм- кін болмайды. Мәтінді «оқу» үшін мұғаліммен сабақ жүргізудің мысалы: адамдар нақты сөйлемдер құрған ағаштар жиынтығынан талдаушы ағаштарын құрайтын модельді үйрету. Мұндағы болжам бойынша, талдаушы ағаштар бірдей заңдарға сәйкес жасалады, ал талданатын ағаштардың белгілі бір жиынтығында дайындалған үлгіні оқу жиынына кірмеген жаңа сөйлемдерге қолдануға болады. Егер бұл болжам бұзылса, модель жұмыс істемейді. Мысалы, егер лингвистер сөйлемдерді ағылшын тілінде жазып, содан кейін үйренген модельді неміс тілінде қолданса, онда әріптер бірдей, бірақ синтаксис мүлде өзгеше, модельден мағыналы сөйлемдерді күту мүмкін емес. Мұғаліммен жүргізілетін оқу міндеттері кейде жіктеу және регрессиялық тапсырмалар болып бөлінеді. Дәлдік машинамен оқыту моделінде басым рөл атқарады және ол модельдің жұмысына тікелей пропорционал, ал терең оқытуда ол маңызды рөл атқарады, бірақ ол модельдің жұмысына тікелей пропорционалды емес. Машинамен оқыту жануарларды ажыратуда қолданылады. Егер жіктеуді тереңдетіп оқыту моделі оқытылса және оның моделінің дәлдігі 1 болса, аталған модель бетінде тырнақтары бар итке қарсы сынақтан өткізілсе, онда ол оны ит ретінде танымайды, өйткені дайындалған мәліметтерге қатысты шамалы өзгеріс дұрыс емес нәтиже беруі мүмкін. 80% немесе 90% дәлдік терең модельдеу кезінде 100% дәлді- гі бар модельге қарағанда, жақсы үлгіге айналуы мүмкін. Модель өте сезімтал болады. Жіктеу мәселесінде, мысалы, жануарлардың суреттерін қай жануар екенін анықтау үшін, алдымен жануарларды барлық жануарларға: мысықтарға, иттерге, жылқыларға бөліп, қасиеттерін анықтау керек. Дәл сондай адамдардың желідегі суреттерін анықтау үшін де адамдар анықтай алатындай желінің бағдарламасын оқыту қажет. Егер сіз мысалды тілмен жалғастыратын болсаңыз, онда типтік жіктеу тапсырмасы сөйлеу бөліктеріндегі сөздерді белгілеу болып табылады. Ал регрессия мәселесінде белгілі бір функцияның мәнін болжау керек, ол негізінде шексіз көп- теген әртүрлі мәндерге ие болады. Мысалы, адамның бойына байланысты оның салмағынь болжау, ертеңгі ауа-райын болжау, акцияның бағасын болжау немесе суретте адамның беті орналасқан тіктөртбұрышты бөліп көрсету – бұл тіктөртбұрыштар жоғарыда аталған классификаторға берілуі үшін қажет. Регрессия мен классификацияға бөлу, әрине, өте еркін, «аралық» мысалдарды оңай табуға болады. Дегенмен, қандай мәселені шешіп жатқанымыз анық және бұл бөлінудің мағыналы мәні бар: объективті функциялар дұрыс анықтау, нәтижесінде оқу процесін тура бағытқа өзгертеді. Бұл қарапайым жіктеуге сәйкес келмейтін тапсырмалардың әркелкі түрлері бар. Мысалы, іздеу және ұсыну жүйелерінде рейтингті үйрену міндеті жиі кездеседі. Ол былай қойылады: қолда бар мәліметтерге сәйкес, қолжетімді нысандарды объективті функцияның төмендеу реті бойынша реттелу қажет. Ендігі міндет регрессия мәселесіне біршама ұқсас – үнемі объективті функцияны, оның өзектілігін болжауымыз керек. Бірақ функцияның мәндері деректерге мүлде кірмейді және олар өте маңызды емес. Бұл функцияның сан түрлі нысандарда салыстырудың нәтижелері ғана маңызды. Бұл бірқатар қызықты және нақты оқыту әдістеріне әкеледі. Егер белгілі бір тапсырмаға сәйкес белгіленген мәліметтер жиынтығы болмаса, бірақ сізде «белгілі бір мағынаны табу» керек мәліметтер болса, онда мұғалімсіз оқу қиындықтары болады. Мұғалімсіз оқу проблемасының типтік мысалы – кластерлеу: бір кластерге берілген ұпайлар бір-біріне мүмкіндігінше жақын, тиісінше жақын болу үшін, белгілі бір ұқсастықпен бұрын белгісіз сыныптарға мәліметтерді бөлу керек және әртүрлі кластерлердің нүктелері мүмкіндігінше, бір-бірі- нен алыстап кетпей, керісінше ұқсас болуын қамтамасыз ету қажет. Дәстүрлі түрде машинамен оқуда бірнеше жалпы және маңызды шектеулер бар. Асып кету – бұл машинаны оқыту алгоритміне, әсер етуі мүмкін статистикалық мәселе. Машиналарды оқыту алгоритмінде деректерді талдау мен болжау кезінде белгілі бір «қателіктер» бар. Алгоритм сәйкес айнымалылар арасындағы байланысты көрсетеді деп болжанады, бірақ шамадан тыс бөлшектеу кезінде ол қателіктерді түсіре бастайды, бұл «шулы» немесе дұрыс емес модельге әкеледі. Машинамен жұмыс жасау модельдері, сонымен бірге олар оқыған мәліметтердің түсінбестіктеріне бейім болуы мүмкін, проблема алгоритмді тексеру үшін зерттеушілер деректердің бір бөлігін сақтаудың орнына, барлық қолжетімді мәліметтер базасында ал горитмдерді оқытқанда айқын көрінеді. Машинамен оқыту дәстүрлі түрде алдын ала білуге және болжауға болатын шағын де- ректер жиынтығын пайдаланады. Деректердің аз мөлшерімен зерттеушілер машинаны оқу бағдарламасын деректерді түсінуге және үйренуге көмектесетін нақты мүмкіндіктерді анықтай алады. Алайда бағдарлама бұрыннан бар алгоритмдер негізінде жіктей алмайтын ақпаратқа енсе, зерттеушілерге, әдетте проблемалық деректерді қолмен талдап, жаңа мүмкіндік жасау керек болады. Міне, осыған байланысты, машинаны классикалық түрде үйрену, көбінесе үлкен көлемдегі мәліметтермен дұрыс өлшенбейді, бірақ ол кішігірім деректер жиынтығындағы қателіктерді азайтуға мүмкіндік береді. Машинамен оқыту компьютердің жұмысына өзгермелі талаптар қояды. Орташа дербес компьютерде жұмыс істеуге болатын көптеген модельдер бар. Статистикалық және математикалық әдістер неғұрлым жетілдірілген болса, компьютерге деректерді тез өңдеудің қиынға соғатыны мәлім. Машинамен оқытудың класстарына тоқталсақ: регрессиялық мәселелер. Әрқилы белгілерге сүйене отырып, материалдық реакцияны болжау. Басқаша айтқанда, жауап 1, 5, 23.575 немесе кез келген нақты сан болуы мүмкін [4]. Класстерлік мәселелер: мәліметтерді ұқсас категорияларға бөлу. Өлшемді азайту мәселесі: біздің мәлімет терімізді N белгілерімен емес, кішірек санмен сипаттауға үйрену. Визуализация қажеттілігінен басқа деректерді сығуды, мысал ретінде келтіруге болады. Аномалияларды анықтауға байланысты мәселелер: белгілер негізінде аномалияларды «аномалиялардан» айыра білуді үйрену. Бұл міндеттің жіктеу мәселесінен еш айырмашылығы жоқ сияқты. Бірақ аномалияны анықтаудың ерекшелігі – бізде модельді үй- рету үшін аномалиялардың мысалдары өте аз немесе мүлдем жоқ. Сондықтан біз класси- фикация мәселесін шеше алмаймыз [5]. Қорытынды қазіргі заманғы машинамен оқыту жүйелері, ақпараттың үлкен көлемін аудару кезінде таптырмас көмекшілерге айналды, өйткені олар уақыт пен күш-жігердің шығын- дарын үнемдеуге мүмкіндік береді; аударма сапасын арттыру мақсатында, жүйе үнемі жаңартылып, тексеріліп отырады, бұл аудармашылар жұмысын едәуір жеңілдетеді және жеделдетеді. Заманауи машиналық аударма технологияларының жұмысы талданады. Онлайн аудармашылардың жұмысы бұрын қазақ тіліне және керісінше аударылатын. Машинамен оқыту әдістері көмегімен машиналық аударманың сапасын жақсартуға болады. жүктеу/скачать 41,67 Kb. Достарыңызбен бөлісу:
|