MIT : Recurrent Neural Networks, Transformers, and Attention
MIT Introduction to Deep Learning : Lecture 2
Recurrent Neural Networks
Lecturer: Ava Amini
2023 Edition
For all lectures, slides, and lab materials:
Lecture Outline
0:00 - Introduction
3:07 - Sequence modeling
5:09 - Neurons with recurrence
12:05 - Recurrent neural networks
13:47 - RNN intuition
15:03 - Unfolding RNNs
18:57 - RNNs from scratch
21:50 - Design criteria for sequential modeling
23:45 - Word prediction example
29:57 - Backpropagation through time
32:25 - Gradient issues
37:03 - Long short term memory (LSTM)
39:50 - RNN applications
44:50 - Attention fundamentals
48:10 - Intuition of attention
50:30 - Attention and search relationship
52:40 - Learning attention with neural networks
58:16 - Scaling attention and applications
1:02:02 - Summary
Subscribe to stay up to date with new deep learning lectures at MIT, or follow us @MITDeepLearning on Twitter and Instagram to stay fully-connected!!
20 views
17
2
2 weeks ago 00:04:37 3
Darum kann Merz nur mit uns weitere Morde verhindern❗ Wenn er es überhaupt will.
2 weeks ago 00:20:09 1
Totale Idioten Bei Der Arbeit Mit Der Kamera Gefilmt 2025 -
2 weeks ago 00:14:06 1
💜Mhadjeb / Messemen, algerische Pizzataschen 💜
2 weeks ago 00:09:05 1
Haftantritt war 23. Dezember! Totalversagen von Aschaffenburg & Dunja Hayali geht gegen Faeser!
2 weeks ago 00:14:41 1
“Deutsche Gesellschaft ist BUNTER geworden!“ - SPD zeigt: WEITER SO; CDU mit AfD-Positionen! - YouTube
2 weeks ago 00:21:40 3
SONDERSENDUNG – Bluttat von Aschaffenburg: Glaubwürdig ist nur die AfD
2 weeks ago 00:01:45 1
DAS MÄDCHEN MIT DER NADEL Trailer German Deutsch UT (2025)
2 weeks ago 00:24:39 2
Sledge Hammer Folge 1 ! ein perfektes team pilot
2 weeks ago 00:08:01 2
Unfassbar: Baerbock gibt Donald Trump Jogging Tipps
2 weeks ago 01:08:48 1
Brandneues update - Thomas Ritter - Schicksalsjahr 2025: Was uns erwartet
2 weeks ago 00:14:56 1
Braucht Deutschland eine Revolution?
2 weeks ago 00:19:17 1
Musk als Hitler: Spinnen die deutschen Medien? – Weltwoche Daily DE,
2 weeks ago 02:27:10 7
Trump Vereidigung: Livestream auf Deutsch!
2 weeks ago 00:00:00 1
La Matinale 22/01 : Le scandale que cache Hello Quitte X
2 weeks ago 00:08:16 102
Linke rasten komplett aus! Hier die 4 krassesten Szenen von Trumps Amt-Antritt!
2 weeks ago 00:23:44 1
Trump ist das Beste, was der Welt jetzt passieren kann – Weltwoche Daily DE
2 weeks ago 01:06:31 1
Trump arrive : L’heure de vérité pour l’Europe, l’Ukraine et le Moyen-Orient (Mondoscopie 54)
2 weeks ago 01:29:07 5
L’état réel de l’économie russe : du mythe à la réalité C. Galactéros reçoit Jacques Sapir
2 weeks ago 00:23:47 7
Hitler - Links oder Rechts?
2 weeks ago 00:29:12 5
Robert der Totalversager
3 weeks ago 00:02:09 1
Veysel – WM 2006 [Official Video]
3 weeks ago 00:08:19 1
Göring-Eckardt und das Märchen von syrischen Busfahrern
3 weeks ago 00:14:04 1
Kickl Sensation in Wien: Journalistin klappt die Kinnlade runter!
3 weeks ago 00:08:27 1
Wegen Grünen-Koalition: Streit zwischen Merz und Söder eskaliert