99
ПРИМЕНЕНИЕ ТЕХНОЛОГИЙ BIG DATA В СИСТЕМЕ
ТЕРРИТОРИАЛЬНОГО УПРАВЛЕНИЯ СФЕРОЙ ОБРАЗОВАНИЯ В РЕСПУБЛИКЕ
КАЗАХСТАН
Жилкишбаев Асхат Асылханович
Каспийский университет технологий и инжиниринга имени Ш. Есенова,
Актау, Казахстан
Применение систем анализа и планирования развития учебных заведений (школы,
колледжи, университеты) способствует быстрому распространению знаний,
навыков и
лучших педагогических практик в определенных географических границах, таких как город,
регион, государство. Для комплексного анализа информации на уровне отдельного региона
(области) необходимо: хранить и управлять информацией в размере нескольких петабайт;
обрабатывать как структурированную, так и неструктурированную (в виде текстовых
отчетов) информацию, работать с картографическими и
фактографическими данными;
анализировать разнотипную информацию, используя как консолидированный, так и
федеративный подход для ее получения.
Процесс построения обобщенной (комплексной) модели сферы образования региона
(начиная со школы и заканчивая подготовкой магистров и PhD) осложняется разнообразием
моделей данных, а также наличием различных уровней агрегации данных.
Одной из популярных технологий для разработки
систем территориального
управления сферой образования является Big Data (Большие данные) [1]. С Big Data нельзя
работать, применяя традиционные методологии и программные средства для небольших баз
данных. Прежде всего, последнее обусловлено большим размером данных, скоростью их
поступления, возможностями анализа и его сложностью. Такие исследователи как
George, G.,
Haas, M. R., Pentland, A.
[2] разработали методики и программные
средства для передачи
данных и добычи информационных гранул из Big Data (коллекции объектов). Однако
появление новых форматов данных требует постоянного расширения и совершенствования
существующих методов анализа Big Data, в частности для задач использования технологий
Big Data в системах территориального управления учебными заведениями.
Методы машинного обучения и визуализации данных позволяют обработать и
графически представить результаты анализа данных больших объемов (сотни тысяч или
миллионы кортежей). Однако нерешенной задачей остается задача построения отображения
между моделями данных различных источников. В работах [2,3] обосновано использование
многомерной модели для представления Big Data и построения отображения в реляционную
модель. Однако использование базы данных «ключ-значение»
как источника данных для
многомерной модели является неприемлемым. В [4] предложено использовать объектно-
ориентированный подход, однако ограничением является количество связей между
объектами. В настоящий момент, единого подхода к обработке Big Data не найдено.
Если анализировать возможность использования Big Data в системах планирования и
анализа территориального развития сферы образования Республики Казахстан, то имеем:
•
сотни тысяч сущностей: люди, места, организации (физические, юридические),
даты, законодательные акты и отчеты.
Возможны и другие данные, например, медицинские;
•
база данных характеристик сущностей с сотнями тысяч кортежей: документы для
интеллектуального анализа данных, онтологические сроки,
словари данных, которые
позволяют отразить связи между объектами.
Основываясь на этой информации, мы должны решить, какие сущности и как связаны
между собой с целью их последующего анализа.
Поэтому задача разработки методов и средств обработки и анализа разнородной
информации на основе Big Data для процессов территориального управления учебными
заведениями является актуальной. А новые исследования в этом направлении
представляются перспективными.