Как работает автоматическое дифференцирование в глубоком обучении?

В этом видео рассказываю про прямой и обратный методы автоматического дифференцирования - очень важный алгоритм для глубокого обучения, который позволил осуществлять быстрые эксперименты с архитектурами нейросетей, убирая необходимость каждый раз руками высчитывать производные. Разбираю их на конкретном примере с вычислениями, так что можете проверить свое понимание на практике :) vk: twitter: instagram: 0:00 - Приветствие 0:43 - Почему автоматическое дифференцирование необходимо? 1:56 - Альтернативы: символьное и численное дифференцирование 4:29 - Ключевые особенности автоматического дифференцирования 5:35 - Прямой метод. Основная идея 9:03 - Прямой метод. Пример 11:01 - Прямой метод. Анализ и ограничения 13:22 - Обратный метод. Основная идея 14:24 - Важные различия прямого и обратного метода 15:40 - Обратный метод. Пример 19:22 - Почему обратный метод подходит для глубокого обучения? 21:00 - Autograd в PyTorch 22:5