Лекция №7 Оптимизация нейронных сетей

Седьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для группы НС262 шестого потока обучения. Преподаватель: Артём Васильев Дата: 00:00 Заставка 00:52 Трудности при обучении глубоких нейронных сетей 19:06 Затухание градиента 24:37 Нормализация входов и выходов 24:57 Нормализация входных данных 26:12 Нормализация целевых значений в задаче регрессии 31:37 Инициализация весов 38:09 Инициализация Ксавье (Xavier Glorot) 40:37 Инициализация Каймин Хе (Kaiming He) 41:18 Важность инициализации весов 43:50 Ортогональная инициализация 45:20 Инициализация весов в PyTorch 50:39 Слои нормализации 50:48 Internal covariate shift 57:41 Batch Normalization 01:33:07 Другие Normalization 01:45:34 Регуляризация 01:46:40 L1, L2 регуляризации 01:49:55 Dropout 02:05:50 DropConnect 02:05:58 DropBlock 02:07:22 Batch Normalization до или после Dropout 02:09:08 Оптимизация параметров нейросетей 02:09:21 Обзор популярных оптимизаторов 02:38:41 Режимы обучения 02:39:03 Ранняя остановка 02:48:37 Neural Network WarmUp 02:50:09 Cyclical learning schedule 02:54:09 Model soup 02:57:28 Взаимодействие learning schedule и адаптивного изменения learning rate Материалы лекции: Открыть в Colab: Открыть в HTML-формате: