Функции активаций нейрона | Sigmoid, ReLU, Leaky ReLU, ELU | Neural Networks (NN) | НЕЙРОННЫЕ СЕТИ 4

Практическое задание Поддержать канал можно оформив подписку на Канал в TG Группа в VK Вопросы, на которые найдем ответы в этом видео: Какие есть функции активации нейронов (Sigmoid, ReLU, ELU, Leaky ReLU...)? Какие есть плюсы и минусы каждой функции активации? Как написать свою функцию активации на Keras и Tensorflow? Ссылка на ноутбук Плейлист НЕЙРОННЫЕ СЕТИ 0:00 Вводная 0:27 Практическое задание на 1:13 Для чего нужны функции активации для нейронных сетей 3:14 Датасет на сегодня fashion MNIST 5:42 Linear Линейная активация нейрона 6:22 Постоянный градиент в линейной активации 8:20 Ставить последовательно слои с линейной активацией нет смысла 8:53 Функция активации Sigmoid Сигмоида 10:36 Как получить производную сигмоиды sigmoid 13:00 Проблема затухающих градиентов 14:52 Разбиение данных на батчи 16:05 Обучение через 17:33 Функция потерь не изменяется 18:00 Визуализация градиентов 19:03 Почему из-за сигмоиды затухают градиенты 20:03 Функция активации Tanh Тангенс 20:17 Производная Tanh 21:56 Функция активации ReLU 22:40 Производная ReLU 23:11 ReLU решает проблему затухающих градиентов 25:58 Проблема нулевых сигналов в ReLU 27:47 Функция активации Leaky ReLU 28:19 Производная Leaky ReLU 28:45 Функция активации ELU 29:00 Производная ELU 29:25 Как выбрать функцию активацию нейрона 30:47 Как написать свою функцию активации на Keras 32:07 Что делать, когда функция потерь и веса nan 33:04 Модификация функции потерь ReLU 35:56 Резюме плюсов и минусов функций активаций для нейрона 35:58 Linear 36:46 Sigmoid 37:25 Tanh 37:42 ReLU 38:18 Leaky ReLU 38:44 ELU