11 Часть I. Компоненты 14 Глава Компьютерная
жүктеу/скачать 4,29 Mb.
|
nikolaev is mitrenina ov lando tm red prikladnaia i kompiute
| Обучение нейронных сетей
Математическая модель нейронной сети независимо от своей архи- тектуры может применяться в обучении, как с учителем, так и без него. Одним из наиболее распространенных алгоритмов обучения сети является метод обратного распространения ошибки (backpropagation). Он позво- ляет вычислить синаптические веса (веса связей) таким образом, что зна- чение функции потерь (величина ошибки) стабилизируется и становится достаточно небольшим. При этом каждый новый обучающий пример вно- сит свой вклад в изменение весов, когда на каждом этапе выходное значе- ние сравнивается с желаемым, и веса пересчитываются в обратном на- правлении — от выходного слоя к входному. Одним из наиболее известных и признанных приложений нейронных сетей в компьютерной лингвистике являются нейросетевые модели языка. Для предсказания вероятности заданной последовательности слов или появления заданного слова при условии уже имеющейся последователь- ности входные значения строятся с помощью векторного представления текста. Затем используется сеть прямого распространения или рекуррент- ная сеть с сигмоидальной функцией активации, которая обучается мето- дом обратного распространения ошибки. Предполагается, что в отличие от обычной вероятностной языковой модели такая модель лучше работает с редкими словами и последовательностями, которые не встречались в исходном корпусе. Искусственные нейронные сети были предложены в середине про- шлого века, однако в связи с развитием вычислительных технологий (на- пример, распределенных вычислений) сейчас наблюдается всплеск инте- реса к их приложениям. В компьютерной лингвистике они имеют место не только в области языкового моделирования, но и в задачах автоматической кластеризации лексики (карты Кохонена), машинного перевода. КластеризацияКак уже было сказано, кластеризацией называется классификация объектов, когда их принадлежность к классам изначально не задана. Пусть имеется обучающая выборка X𝑙 = {𝑥1, 𝑥2, … , 𝑥𝑙} и функция расстояния между объектами 𝜌(𝑥, 𝑥′). Алгоритм кластеризации — это функция ƒ: X → 𝑌, которая любому объекту 𝑥 ∈ X ставит в соответствие кластер 𝑦 ∈ 𝑌. Число кластеров иногда известно заранее. Как и в случае с класси- фикацией необходимо задать функционал качества. Можно упомянуть, например, среднее внутрикластерное и межкластерное расстояния: , 𝐹 = ∑i 0 ∑i . 𝐹 = ∑i<j[𝑦i❜𝑦j]𝜌(𝑥i,𝑥j) 1 ∑i<j[𝑦i❜𝑦j] Среди алгоритмов кластеризации можно выделить несколько групп: графические, статистические, иерархические. Из упомянутых выше для кластеризации часто используется алгоритм k-средних. жүктеу/скачать 4,29 Mb. Достарыңызбен бөлісу:
|