Линейная регрессия
Линейная регрессия (linear regression) используется в тех задачах, где нужно искать регрессионную зависимость только среди функций ли-
нейного вида, которые описываются суммой переменных (в нашем случае это параметры, описывающие объекты), каждая из которых умножается на свой коэффициент:
𝑛
∑ 𝛼jƒj(𝑥).
j=1
Остается лишь подобрать значения коэффициентов, для этого можно воспользоваться методом наименьших квадратов — самый распростра- ненный статистический алгоритм.
Искусственные нейронные сети (artificial neural networks) изна- чально создавались как модель биологической нервной системы. Именно поэтому в этой области многие термины заимствованы из нейрофизиоло- гии. Основной единицей этой модели является нейрон, состоящий из сле- дующих частей:
определенное количество входных сигналов;
сумматор, складывающий входные сигналы с определенными весами в значение 𝑣;
сеть синапсов (связей) соединяющая входные сигналы с сумматором, при этом у каждого ребра-синапса есть вес;
функция активации 𝜑(𝑣), преобразующая результат суммирования в выходной сигнал — обычно в диапазоне [−1, 1].
Обычно используются следующие функции активации:
пороговая функция (модель Мак-Каллока — Питца)
𝜑(𝑣)
1, если 𝑣 ≥ 0;
= {0, если 𝑣 < 0;
𝜑(𝑣) =
❪|𝑣|, 2 > 𝑣 > − 2 ;
I 1
𝗅 0, 𝑣 ≤ − 2 ;
𝜑 𝑣 =
( ) 1 ,
1+e−𝑎𝑣
где 𝑎 — параметр наклона.
Множество таких нейронов составляет слой нейронной сети. Почти самая простая сеть будет состоять из трех слоев нейронов: входного,
скрытого и выходного. Для входного и выходного слоя известны некото- рые параметры: какой сигнал подается на вход и какой оказывается на вы- ходе. В скрытом слое, как следует из названия, производятся неявные пре- образования сигналов.
Чтобы описать основные типы (архитектуры) нейронных сетей, нуж- но также ввести понятие обратной связи. Она возникает в тех случаях, когда выходной сигнал оказывает влияние на новый входной сигнал. В зависимости от наличия в сети обратной связи выделяют сети прямого распространения и рекуррентные сети. В первых информация из входного слоя передается на выходной слой нейронов; в случае многослойной сети
через один или несколько слоёв скрытых нейронов. Многослойные се- ти позволяют находить более сложные зависимости, особенно когда раз- мер входного слоя достаточно велик. Рекуррентные нейронные сети отли- чает наличие хотя бы одной обратной связи.
Достарыңызбен бөлісу: |