Практическая работа №1 по дисциплине «Проектирование вычислительных комплексов»
жүктеу/скачать 1,24 Mb. Pdf көрінісі
|
Практическая работа 1 Проектирование ВК
- Бұл бет үшін навигация:
- Рекуррентные НС (RNN)
| Свёрточные НС (CNN)
– приобрели популярность для многих задач, связанных с распознаванием изображений (с тех пор, как в 2012 г. на конкурсе ImageNet свёрточная НС значительно превзошла конкурентов). CNN представляет собой чередование свёрточных слоёв (обрабатывает предыдущий слой по фрагментам – например, «окнами» 8*8 клеток) и субдискретезирующих слоёв («уплотняет» фрагменты предыдущего слоя, уменьшая их размер). Такой подход является чрезвычайно прогрессивной альтернативой попиксельному распознаванию изображений. К недостаткам CNN относят значительное количество гиперпараметров сети (количество слоёв, шаг сдвига ядра при обработке слоя, необходимость слоёв субдискретизации, степень уменьшения ими размерности, функция по уменьшению размерности и др.), значения которых в основном приходится подбирать «творчески». Рекуррентные НС (RNN) – наиболее широко подходят для решения задач, связанных с распознаванием каких-либо последовательностей: голосовых, текстовых, музыкальных и т.п. RNN отличаются наличием памяти: можно сказать, что нейроны запоминают свои предыдущие ответы и при следующем запуске используют их как дополнительные входные данные. Для ограничения роста количества связей применяются алгоритмы, осуществляющие сброс запомненных значений («забывание»). Тем не менее, для обучения RNN требуются очень значительные вычислительные ресурсы (помимо значительного количества обучающих данных). Также, новинкой в области архитектур НС (предложенной в 2014 г.) являются генеративно- состязательные сети (GAN), способные к обучению без учителя. Основным принципом в таком алгоритме является наличие двух НС, одна из которых генерирует образцы, а другая (дискриминативная) старается отличить правильные образцы от неправильных. Генеративная сеть работает на основе смешивания нескольких исходных образцов (имеющихся данных) и стремится повысить процент ошибок второй сети. Дискриминативная сеть обучается различать подлинные и поддельные образцы, а результаты различения подаются на вход генеративной сети, чтобы она могла подправить входной набор латентных параметров. С использованием данной технологии были в частности сгенерированы фотографии людей, которые неотличимы от настоящих. |