Как обучить нейронную сеть? Что такое Loss, Градиентный Спуск и Backpropagation? Узнайте в этом видео!
Нейронные сети обучаются с помощью метода обучения с учителем (обучение на прецедентах, Supervised Learning). Для обучения нейросети нам понадобится обучающая выборка (набор данных, датасет), состоящая из пар [входной объект, известный правильный ответ].
Неявная задача нейронной сети – научиться обобщать, искать закономерности в данных. В противном случае будет переобучение (overfitting).
У сети есть обучаемые параметры (веса) и гиперпараметры, которые не обучаются (например, количество слоёв, количество нейронов и т. д.).
Введём понятие функция потерь (функция ошибок, Loss функция), которая характеризует то, как сильно нейронная сеть ошибается. Задача обучения – найти такие параметры (веса) нейронной сети, при которых функция ошибок минимальна. Другими словами, необходимо решить задачу оптимизации (минимизации ошибки относительно весов).
Для регрессии можно использовать Mean Squared Error (MSE), а для классификации (где используются распределения вероятностей) – кросс-энтропию (Cross Entropy).
Для поиска минимума функции можно использовать градиентный спуск. В этом методе итерационно вычисляется вектор градиента ошибки (частные производные ошибки по всем параметрам) и корректируются параметры по направлению антиградиента. Коэффициент при антиградиенте называется скорость обучения (Learning Rate).
Для обучения нейронных сетей используется стохастический градиентный спуск (SGD) и его модификации. Ошибка в нём вычисляется не по всей выборке, а по батчу (batch) – небольшой группе обучающих образцов.
Для вычисления градиента (частных производных) используется правило дифференцирования сложной функции (цепное правило, chain rule). При вычислении производной ошибки по весам нейросети мы движемся от ошибки назад (используя chain rule), поэтому такой алгоритм называется Обратное Распространение Ошибки (Backpropagation).
Меня зовут Дмитрий Коробченко, и на моём канале будет много чего интересного, так что подписывайтесь и нажимайте на колокольчик, чтобы ничего не пропустить:
#Нейросети #ГлубокоеОбучение #ДмитрийКоробченко #НейронныеСети #МашинноеОбучение #ИскусственныйИнтеллект #ОбучениеНейросетей #ГрадиентныйСпуск #Backpropagation
1 view
1302
413
1 month ago 00:00:10 1
Обучение на квадрокоптере Автопрофи
1 month ago 00:00:04 3
来自Наращивание ресниц | Обучение | Одинцово的视频
1 month ago 00:00:03 1
来自РЕСНИЦЫ | БРОВИ | ОБУЧЕНИЕ | ВЯЗЬМА的视频
1 month ago 00:01:37 1
❕ КАК НАДО УХАЖИВАТЬ ЗА ВОЛОСАМИ ЧТОБЫ ОНИ БЫСТРЕЕ РОСЛИ 💣 ВОССТАНОВЛЕНИЕ СТРУКТУРЫ ВОЛОС 300МЛ
1 month ago 00:00:58 1
Как учиться эффективно_
1 month ago 00:01:01 1
НЕ РАБОТАЯ ⚡ РАБОТА С ЕЖЕДНЕВНОЙ ОПЛАТОЙ В ИНТЕРНЕТЕ
1 month ago 00:00:15 7
来自Шахматы. Обучение. Онлайн школа “Перспектива“的视频
1 month ago 00:00:25 49
来自Машинное обучение, AI, нейронные сети, Big Data的视频
1 month ago 00:00:17 1
2762050230558671765
1 month ago 00:05:24 1
来自Центр семейного обучения I Город Солнца I的视频
1 month ago 00:01:46 6
来自UZNIK vocal CREW Студия обучения экстрим-вокалу的视频
1 month ago 00:02:16 14
来自Депиляция/Обучение/Косметология/Кирсанов的视频
1 month ago 00:01:01 1
КАК ЗАРАБАТЫВАТЬ В ИНТЕРНЕТЕ В ДОЛЛАРАХ США
1 month ago 00:05:26 16
Миллион для Няни! Бесплатный Интенсив: 5 уроков! 8 Апреля - 13 Апреля 2024!
1 month ago 00:00:05 54
来自Обучение маникюру и педикюру. Екатеринбург的视频
1 month ago 00:00:21 24
来自Наращивание ресниц Тольятти | Обучение的视频
1 month ago 00:01:24 121
来自Тату Тюмень | Обучение | RIOT TATTOO的视频
1 month ago 00:34:55 1
Безопасность дорожного движения. Торможение.
1 month ago 00:01:45 37
来自Свечи|Саше|Обучение от LACIRE (ЛАСИР)的视频
1 month ago 00:00:09 8
来自Gebicakes •Торты на заказ•Обучение• Москва的视频
1 month ago 00:00:15 41
Когда понимаешь, что она танцует как в том видео на ютубе))
1 month ago 00:00:10 16
来自Ромкина Дача. Натуральные сладости. Обучение的视频
1 month ago 00:01:29 15
来自КЕРАТИН ОБУЧЕНИЕ ЧЕБОКСАРЫ | ЕЛЕНА АЛЕШЕВА的视频
1 month ago 00:00:15 9
来自Скульптурная живопись | Обучение онлайн | Тверь的视频