Лекция №8 “Рекуррентные нейронные сети (RNN)“

Восьмое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для группы НС243 пятого потока обучения. Преподаватель: Александр Ивченко Дата: 00:00 Начало 00:31 Особенности рекуррентных нейронных сетей 02:21 Примеры задач 07:55 Базовый RNN блок 08:49 RNNCell 17:48 Пример прогнозирования временного ряда 20:10 Создание и обучение модели 24:34 LSTM 27:14 LSTMCell 27:25 LSTM in PyTorch 28:45 Модификации LSTM 29:35 Пример посимвольной генерации текста 30:46 Подготовка данных 34:52 Создание и обучение модели 38:31 Embedding 44:35 Токенизация 48:05 Sequence-to-Sequence with RNNs 49:54 Attention 49:59 Sequence-to-Sequence with RNNs and Attention mechanism 52:24 Модели внимания в машинном переводе 54:04 Разновидности функций сходства векторов 54:45 Key, query, value 58:19 Multihead Attention 59:12 Image Captioning with RNNs and Attention 01:02:48 Transformer для машинного перевода 01:02:57 Общий п