Transformer, explained in detail | Igor Kotenkov | NLP Lecture (in Russian)
Ссылка на презентацию: !AlnN0aqNwShslRdcd7-WsY9oUm50
Мой телеграм канал:
Список всех моих образовательных материалов, статей, лекций итд:
В этой вводной лекции о трансформерах мы рассмотрим базовые понятия, алгоритмы и методы, используемые в современных языковых моделях. Мы начнем с базовых знаний о NLP, поговорим про концепцию векторов и эмбеддингов, их смысле. Затем подробно обсудим ткокенизацию и то, почему она столь важна. Мы разберем архитектуру трансформера, включая FeedForward, SelfAttention, CrossAttetntion, а еще постараемся понять роль позиционного кодирования в моедели и разных регуляризаторов и оптимизаций.
Мы также подробно рассмотрим декодер и маскированный Attention и процедуру обучения таких моделей.
Лекция была прочитана онлайн для сообщества Singularis, и по ходу было сделано 5 пауз для Q&A секиций - вполне возможно, что вопрос, появившийся у вас, будет отвечен в лекции!
Подпишитесь на наш канал, чтобы не пропустить новые видео о машинном обучении и искусственном интеллекте. Не забудьте поставить лайк и поделиться этим видео с друзьями, если оно вам понравилось. Если у вас возникнут вопросы или предложения, оставляйте их в комментариях!
Timeline:
0:00 - 4:10 - Intro
4:10 - 11:41 - NLP 101 (intro for ML Engineers), W2V, Embeddings
11:41 - 15:55 - Tokenization Intuition
15:55 - 23:08 - Tokenization Details and how to build a Vocabulary
23:08 - 28:55 - Why Tokenization matters
28:55 - 36:10 - 1st Q&A
36:10 - 39:58 - Transformer: a 10’000 foot view
39:58 - 45:06 - FeedForward layer
45:06 - 49:19 - 2nd Q&A
49:19 - 1:08:01 - Self-Attention Mechanism in Detail
1:08:01 - 1:14:05 - 3rd Q&A
1:14:05 - 1:20:59 - Multi Head Self-Attention & its Matrix form
1:20:59 - 1:26:55 - Positional Encodings
1:26:55 - 1:32:11 - Transformer Optimizations & Regularizers: LayerNorm, Skip-Connection
1:32:11 - 1:36:31 - 4th Q&A
1:36:31 - 1:43:50 - Decoder & Cross-Attention
1:43:50 - 1:50:30 - Masked Self-Attention & Training Procedure
1:50:30 - 1:53:48 - 5th Q&A
1:53:48 - 2:04:50 - BERT Training: MLM, NSP
2:05:50 - 2:14:19 - Outro: why are Transformers THAT good?
2:14:19 - 2:17:09 - 6th and final Q&A
----
#Трансформеры #Машинноеобучение #Искусственныйинтеллект #NLP #DeepLearning #AI #NeuralNetworks #BERT #AttentionMechanism #NaturalLanguageProcessing #Tokenization #MachineLearningAlgorithms #DataScience #LanguageModels #ML #GPT #OpenAI #MLengineers #WordEmbeddings #PositionalEncoding #LayerNormalization #SkipConnection #CrossAttention #MLM #NSP #chatgpt #attention #attentionisallyouneed
1 view
277
87
5 months ago 00:12:57 1
14 OVERUSED ENGLISH WORDS - Stop Using Them! Use these alternatives
5 months ago 02:17:09 1
Transformer, explained in detail | Igor Kotenkov | NLP Lecture (in Russian)
5 months ago 02:19:47 1
SAS х Shaninka. Machine-Human: Analogy’s (Unkept) Promise
5 months ago 00:09:03 1
Dr. Bruce Lipton Full Explanation About The Covid 19 Pandemic