Сравнение различных методов прогнозирования автокоррелированных временных рядов

1. Введение

Прогнозирование спроса имеет решающее значение для повышения эффективности системы цепочки поставок. Поскольку каждая сторона в цепочке поставок будет обрабатывать заказ в ответ на сигнал спроса, точность прогнозов спроса значительно улучшит планирование производства, планирование производственных мощностей, планирование материальных потребностей и управление запасами. Без точного прогнозирования этот сценарий приведет к неэффективности системы цепочки поставок. Спрос на продукцию является одним из наиболее сложных типов временных рядов для прогнозирования из-за его неопределенности. Было предпринято несколько попыток определить структуру этого типа данных, и автокорреляция является одной из таких структур. В некоррелированных условиях наблюдения имеют фиксированное среднее, а флуктуация вокруг среднего является результатом только случайного шока или белого шума. Однако, когда наблюдения автокоррелированы, этот сценарий можно разделить на два случая: стационарный и нестационарный. Если наблюдения процесса изменяются вокруг фиксированного среднего и имеют постоянную дисперсию, то этот тип изменчивости называется стационарным поведением. С другой стороны, если среднее значение процесса отклоняется от фиксированного значения, такое поведение называется нестационарным. Поскольку существует целый ряд методов прогнозирования для эффективного прогнозирования данных временных рядов, практикам полезно иметь информацию о наиболее подходящем методе прогнозирования в различных ситуациях, то есть о неавтокорреляции и автокорреляции.

2. Обзор литературы

Согласно литературе, было три метода, которые были популярны для прогнозирования данных временных рядов. Среди этих методов были искусственная нейронная сеть (artificial neural network (ANN)), машина опорных векторов (Support Vector Machine (SVM)) и традиционный метод-модель бокса Дженкинса с авторегрессионной интегральной скользящей средней (autoregressive integrated moving average (ARIMA)). Поскольку эффективность этих подходов все еще оставалась под вопросом, эмпирические исследования всегда использовались в качестве основы для сравнения этих методов. Наиболее популярными источниками данных были данные о промышленном, финансовом и электрическом спросе.

Для промышленных данных Бансал, Вадхавкар и Гупта [1] определили модели инвентаризации крупной медицинской распределительной организации и разработали метод построения и выбора соответствующей нейронной сети для оптимизации инвентаризации. Внедрение привело к сокращению общего объема запасов на 50% в организации, в то время как уровень удовлетворенности клиентов был все еще высок. Хуа, Ван, Сюй, Чжан и Лян [2] использовали SVM-подход для прогнозирования спроса на запасные части. В качестве данных использовались запасные части с нефтехимического предприятия в Китае. Очевидно, что внедренный метод был лучше способен прогнозировать спрос на запасные части, чем традиционные методы. Гутьеррес, Солис и Мухопадхьяй [3] применили метод ANN для прогнозирования кускового спроса и сравнили производительность ANN с тремя традиционными методами (одиночное экспоненциальное сглаживание, метод Кростона и приближение Синтетоса–Бойлана). Результаты показали, что он значительно превосходит эти три метода. Другим популярным типом данных были финансовые данные. Тай и Цао [4] оценили эффективность SVM и ANN для прогнозирования финансовых временных рядов. Исторические данные были основаны на пяти реальных фьючерсных контрактах, собранных на Чикагском товарном рынке. Результаты показали, что метод SVM работает лучше, чем методы ANN. Другое исследование было проведено Кимом [5] с применением SVM-подхода для прогнозирования индекса цен акций и сравнения результатов с методом ANN. Исследование показало, что подход SVM значительно превосходит метод ANN. Аналогичным образом Хуан, Накамори и Ван [6] также использовали SVM для прогнозирования индекса цен акций NIKKEI 225. Результаты также показали, что SVM был предпочтительнее ANN, линейного дискриминантного анализа и квадратичного дискриминантного анализа.

Помимо промышленного и финансового спроса, спрос на электрическую нагрузку также использовался в эмпирическом исследовании для сравнения эффективности этих трех методов прогнозирования (SVM, ANN и ARIMA). Вышеприведенное исследование было показано в работе пая и Хонга [7]. Вывод из этого исследования показал, что метод SVM должен быть предпочтительным выбором по сравнению с традиционным подходом ARIMA и ANN. Еще одно исследование, связанное со спросом на электроэнергию, было проведено для оценки эффективности двух статистических методов-линейной регрессии и ARIMA, а также модели ANN (Prybutok, Yi и Mtchell [8]) для прогнозирования набора временных рядов. Согласно результатам их исследований, модель ANN превзошла метод ARIMA. Аналогично, Хо, СЕ и го [9] использовали смоделированное время отказа компрессора в исследовании для определения наиболее эффективной модели прогнозирования. Два метода, Арима и Энн, были использованы для прогнозирования отказа системы.

Помимо сравнения этих методов, еще одним интересным аспектом исследования было использование автокорреляционной структуры в качестве основы для сравнения эффективности различных методов прогнозирования. Лахтермахер и Фуллер [10] использовали модель бокса-Дженкинса в терминах ЛАГ-компонента для определения сложности структуры ANN. Согласно их исследованию, каждое запаздывание автокорреляционной структуры было развернуто так, чтобы представлять единицу входных данных для ANN. Hwarng [11] провел исследование для оценки производительности ANN, когда процесс был стационарным, используя модель ARMA в качестве эталона. Это исследование привело к глубокому пониманию того, как работает Энн при различных степенях автокорреляции.

В результате большинство исследований было проведено эмпирически для сравнения эффективности методов ANN, SVM и ARIMA. Однако они не сосредоточились на использовании конкретного набора данных для выбора подходящего метода прогнозирования. В этом исследовании наборы данных с различными паттернами (неавтокорреляция и автокорреляция) были развернуты для сравнения производительности трех популярных методов-ANN, SVM и ARIMA. Этот аспект имеет решающее значение, поскольку он может повысить способность прогнозирования, используя автокорреляцию в качестве основы.

3. Методология

В этом исследовании использовались три метода: ANN, SVM и ARIMA.

3.1 Метод ANN

Разработка моделей ANN основывалась на изучении взаимосвязи между входными и выходными переменными. В основном нейронная архитектура состояла из трех или более слоев, то есть входного слоя, выходного слоя и скрытого слоя, как показано на рис. 1. функция этой сети была описана следующим образом:

Рисунок 1. Архитектура нейронной сети

где Yj-выход узла j, f (.) - передаточная функция, wij-вес соединения между узлом j и узлом i в нижнем слое, а Xij-входной сигнал от узла i в нижнем слое к узлу j.

3.2 Метод SVM

Машина опорных векторов (SVM) - это метод классификации, основанный на построении гиперплоскостей в многомерном пространстве. В результате она позволила дифференцировать различные классовые ярлыки. Обычно SVM использовался как для задач классификации, так и для задач регрессии, и он был способен обрабатывать множество непрерывных и категориальных переменных.

Целью регрессионной задачи SVM было найти функцию f (такую, что y = f(x) + шум), которая была бы способна предсказывать новые случаи. Это было достигнуто путем обучения модели SVM на выборочном наборе, то есть обучающем наборе, процессе, который включал последовательную оптимизацию функции ошибки. Для регрессионной цели существовало два типа SVM-моделей: тип 1 и тип 2. для регрессионного типа 1 целевой функцией была минимизация функции ошибки.

Аналогично, целевая функция регрессии типа 2 была

Тип регрессии 2 также имеет те же ограничения, что и тип регрессии 1. Для модели SVM было четыре типа ядер (φ): линейные, полиномиальные, радиальные базисные функции (RBF) и сигмоидные. Среди этих ядер RBF были наиболее часто используемыми ядрами из-за их локализованных и конечных откликов во всем диапазоне реальной оси X. Функции этих ядер были показаны следующим образом:

3.3 Метод ARIMA

Для анализа временных рядов модель ARIMA представляла собой стохастическое разностное уравнение, которое часто использовалось для моделирования стохастических возмущений. Общий вид модели ARIMA показан в уравнении (2).

Порядок модели ARIMA обычно определялся в виде (p, d, q); p указывало порядок авторегрессионной части, в то время как d означало величину разницы, а q - порядок скользящей средней части. Некоторые специфические формы модели ARIMA были использованы для представления автокоррелированных возмущений, например, авторегрессионный порядок один, ARIMA (1, 0, 0) или AR (1) для стационарных возмущений, в то время как для интегрированного скользящего среднего ARIMA (0, 1, 1) или IMA (1, 1) использовались для представления нестационарных возмущений.

4. Ход исследования

Фактическими данными, использованными в эмпирическом исследовании, были ежемесячные данные по шести различным потребительским товарам: кулинарные средства марки А, гель для душа марки в, лосьон для тела марки с, жидкость для мытья посуды марки D, дезодорант марки Е и моющее средство для тканей марки F, с января 2009 года по август 2011 года (32 случая), как показано на рис. 2–7. После получения данных они были проанализированы с помощью теста Ljung-Box-Q. Анализ показал, что все наборы данных были разделены на два типа: неавтокорреляционные и автокорреляционные. Кроме того, подробные сведения об автокорреляционном анализе были подробно изложены в Таблице 1. Согласно анализу, данные временных рядов трех продуктов (средства для приготовления пищи, гель для душа и лосьон для тела) были автокоррелированы, в то время как еще три категории (жидкость для мытья посуды, дезодорант и моющее средство для тканей) не показали никаких признаков автокорреляционной структуры. Следует также подчеркнуть, что данные о спросе на лосьон для тела обладали самой высокой степенью автокорреляции.

Рис. 2. Кухонные принадлежности бренд А спроса

Рисунок 3. Гель для душа бренд B спроса

Рисунок 4. Лосьон для тела бренд C спроса

Рис. 5. Жидкость для мытья посуды бренд D спроса

Рис. 6. Дезодорант бренд E спроса

Рис. 7. Моющее средство для тканей бренд F спроса

После того как были выбраны проверенные данные, три предложенных метода-ANN, SVM и ARIMA-были использованы для построения моделей прогнозирования спроса на эти шесть продуктов с использованием двух статистических пакетов-STATISTICA и StatGraphics. Эффективность этих подходов к автокоррелированной структуре была обоснована с учетом их погрешности измерения, средней абсолютной процентной погрешности (MAPE).

5. Результаты

Оценка всех методов была разделена на три случая в зависимости от используемой методологии:

5.1 Метод ANN

Для регрессии были использованы две наиболее популярные архитектуры нейронных сетей-многослойные персептроны (MLP) и радиальная базисная функция (RBF). Входными данными для обучения были исторические потребности в t1, t2,..., t10, в то время как пять наиболее эффективных сетей были сохранены для каждого типа продукта. Сеть с наилучшей производительностью была сохранена для прогнозирования спроса по каждой категории (время: t). Результаты после применения модели ANN приведены в таблицах 2 и 3.

Результаты, приведенные в таблицах 2 и 3, показывают, что количество скрытых слоев варьировалось от 5 до 12 слоев. Согласно MAPE, архитектура MLP может быть пригодна для автокоррелированных и неавтокоррелированных условий. Результаты показали, что алгоритм ANN для большинства продуктов (гель для душа, лосьон для тела, жидкость для мытья посуды и моющее средство для тканей) является алгоритмом Бройдена-Флетчера-Голдфарба-Шанно (BFGS) (с числом циклов, используемых для обучения модели, варьировалось от 3 до 31). С другой стороны, RBF был предпочтителен только для категорий кухонных принадлежностей и дезодорантов. Скрытые функции активации нейронов сохранившихся пяти сетей были Гауссовскими, касательными гиперболическими (tanh), логистическими, идентичными и экспоненциальными, в то время как экспоненциальная, идентичность (активация нейрона передается непосредственно как выход) и логистическая были назначены активации выходного нейрона.

5.2 Метод SVM

Как и в случае с ANN, индикаторами, используемыми для применения SVM, были исторические данные в t-1, t-2,..., t-10 для прогнозирования спроса в момент времени t. Выбранная модель прогнозирования, основанная на SVM-подходе, представляла собой регрессионный тип 1 с C=10,0, Эпсилон = 0,1, а ядро - радиальную базисную функцию с гамма = 0,1. Количество опорных векторов и MAPE из прогноза для каждой категории продуктов проиллюстрировано в таблице 4.

Согласно таблице 4, данные с самым высоким уровнем автокорреляции (лосьон для тела) нуждались в меньшем количестве опорных векторов, чем данные с меньшим количеством автокорреляции или без нее.

5.3 Метод ARIMA

Статистический пакет StatGraphics Centurion version 10 был использован для выбора наиболее подходящей модели ARIMA для прогнозирования спроса на каждый продукт. Оптимальные модели с их картами приведены в таблице 5.

Согласно таблице 5, Модель ARIMA, по-видимому, действительно хорошо работала для прогнозирования спроса на некоторые продукты, например, кухонные принадлежности, гель для душа и моющее средство для тканей. Однако важно отметить, что минимизация MAPE может быть не связана со степенью автокорреляции. Например, MAPE для лосьона для тела был самым высоким, хотя тест показал, что его данные были сильно автокоррелированы.

6. Выводы

Результаты, полученные в предыдущем разделе, обобщены в таблице 6. Выводы показывают, что SVM превзошел два других метода почти во всех категориях продуктов (за исключением геля для душа, где доминировал метод ANN). Кроме того, они также показали, что автокорреляционная структура данных не оказывает никакого влияния на производительность метода SVM или ANN. Хотя модель ARIMA была основана на автокорреляционной структуре, она все еще имела более низкий MAPE, чем два других метода. Однако автокорреляция может повлиять на алгоритм метода SVM, поскольку наибольшая степень автокорреляции вызывает наименьшее число опорных векторов.

Список использованой литературы:

1. 
   Bansal, K., Vadhavkar, S., Gupta, A., “Neural Networks Based Data Mining Applications for Medical Inventory Problems,” Data Mining and Knowledge Discovery, Vol. 2 (1), pp. 97–102, 1998.
   
2. 
   Hua, Z., Wang, Y., Xu, X., Zhang, B., Liang, L., “Predicting Corporate Financial Distress on Integration of Support Vector Machine and Logistic Regression,” Expert Systems with Applications, Vol. 33 (2), pp. 434–440, 2006.
   
3. 
   Gutierrez, R. S., Solis, A. O., Mukhopadhyay, S., “Lumpy Demand Forecasting Using Neural Network,” International Journal of Production Economics, Vol. 111 (2), pp. 409–420, 2008.
   
4. 
   Tay, F. E. H., Cao, L., “Application of Support Vector Machines in Financial Time Series Forecasting,” Omega, Vol. 29, pp. 309–317, 2001.
   
5. 
   Kim, K. , “Financial Time Series Forecasting Using Support Vector Machines,” Neurocomputing, Vol. 56 (1–2), pp. 307–319, 2003.
   
6. 
   Huang, W., Nakamori, Y., Wang, S., “Forecasting Stock Market Movement Direction with Support Vector Machine,” Computer & Operations Research, Vol. 32 (10), pp. 2513–2522, 2005.
   
7. 
   Pai, P., Hong, W., “Forecasting Regional Electricity Load Based on Recurrent Support Vector Machines with Genetic Algorithms,” Electric Power Systems Research, Vol. 74 (3), pp. 417–425, 2005.
   
8. 
   Prybutok, V. R., Yi, J., Mitchell, D., “Comparison of Neural Network Models with ARIMA and Regression Models for Prediction of Houston's Daily Maximum Ozone Concentrations,” European Journal of Operational Research, Vol. 122 (1), pp. 31–40, 2000.
   
9. 
   Ho, S. L., Xie, M., Goh, T. N., “A Comparative Study of Neural Network and Box Jenkins ARIMA Modeling in Time Series Prediction,” Computer & Industrial Engineering, Vol. 42 (2–4), pp. 371–375, 2002.
   
10. 
    Lachtermacher, G, Fuller, J. D., “Back Propagation in Time-Series Forecasting,” Journal of Forecasting Vol. 14 (4), pp. 381–393, 1995.
    
11. 
    Hwarng, H. B. , “Insights into Neural-Network Forecasting of Time Series Corresponding to ARMA (p, q) Structures,” Omega, Vol. 29 (3), pp. 273–289, 2001.