Лекция №10 Трансформеры

Десятое занятие на курсе «Нейронные сети и их применение в научных исследованиях» для группы НС262 шестого потока обучения. Преподаватель: Александр Ивченко Дата: 00:00 Заставка 01:18 Классический seq2seq 03:11 Attention 03:32 RNN Attention 09:13 Вычислительная сложность 12:01 Разновидности функций сходства 16:56 Архитектура сети Transformer 17:30 Кодировщик 17:37 Алгоритм 19:39 Self-Attention 21:03 Multihead Attention 22:26 BERT 40:34 BertScore 43:16 Декодировщик 43:53 GPT 48:48 Методы Генерации текста 52:31 Файнтюнинг 54:57 LLaMA 01:05:25 LoRa 01:27:56 NLP метрики 01:28:49 Self Attention (ViT 2020) 01:29:41 Архитектура ViT 01:30:25 Предсказание с помощью ViT 01:31:37 DeiT: Data-efficient Image Transformers Материалы лекции: Открыть в Colab: Открыть в HTML-формате: