Практическая работа №1 по дисциплине «Проектирование вычислительных комплексов»
жүктеу/скачать 1,24 Mb. Pdf көрінісі
|
Практическая работа 1 Проектирование ВК
- Бұл бет үшін навигация:
- Функция активации.
- Алгоритм оптимизации
- Скорость обучения
- Эпохи обучения
- Архитектуры
| Количество скрытых слоёв
. Чем оно меньше, тем быстрее работает НС, однако чем оно больше, тем качественнее НС может решать сложные задачи. При его выборе инженер может либо руководствоваться теоретическими соображениями (например, о структурах головного мозга человека, отвечающих за распознавание визуальной информации), либо начать с небольшого количества слоёв, постепенно увеличивая их, пока качество модели не перестанет увеличиваться. o Функция активации. Это функция, которая вычисляет выходное значение нейрона на основе линейной комбинации входных параметров. Часто используемые функции это Sigmoid, Tanh и RELU (см. на Рис. 2). Например, из них RELU обладает наименьшей вычислительной сложностью. Поэтому часто она используется во всех внутренних слоях, в то время как выходной слой использует более сложную функцию Sigmoid. Рис. 2. Некоторые функции активации, используемые в НС. o Алгоритм оптимизации , задающий «движение» к оптимуму. Классическим вариантом является Stochastic Gradient Descent (SGD), который минимизирует потери на основе градиента, выбирая на каждой итерации обучающие данные случайным образом. В настоящее время более прогрессивными считаются алгоритмы RMSProp (отличается от SGD тем, что у каждого параметра адаптируемая скорость обучения) и Adam Optimizer (позволяет устанавливать гиперпараметры НС). o Скорость обучения . Размер «шага» на каждой итерации алгоритма, стремящегося к минимизации функции потерь. Слишком большой шаг ведёт к повышению риска, что алгоритм «промахнётся» мимо оптимума, а слишком маленький – к увеличению времени обучения НС. В настоящее время существуют алгоритмы, способные с определённым успехом варьировать этот шаг в зависимости от «кривизны» функции потерь в текущей точке. o Эпохи обучения . Отражает заданную продолжительность обучения НС. Может задаваться инженером исходя из вычислительной сложности модели, но может и определяться алгоритмом. Например, обучение может автоматически останавливаться в случае, когда ошибка (значение функции потерь) перестаёт уменьшаться в течение какого-либо количества эпох. Архитектуры – это то, как организованы слои в НС и установлены связи между нейронами. Схема, представленная в Приложении А, даёт некоторое представление о сложности и разнообразии современных архитектур НС. В настоящее время для решения реальныхзадач наиболее популярны две архитектуры: жүктеу/скачать 1,24 Mb. Достарыңызбен бөлісу:
|