Механизмы ’attention’ в больших языковых моделях с точки зрения математики

Урок 2. Механизмы ’attention’ в больших языковых моделях с точки зрения математики В этом уроке мы рассмотрим более детально механизмы ’attention’ на примерах, с применением математических формул. 00:00 Вступление 01:19 В прошлом ролике: эмбеддинги и контекст 04:46 Сходство 11:09 Работа Attention 15:00 Нормализация 20:46 Матрицы K и Q 25:02 Матрица V 28:42 Механизмы Self-attention, Multi-head attention 33:42 Заключение === • Автор: (@SerranoAcademy) • Переводчик: Софья Сутыгина (sutygina_sofia@) • Редактор: Евгений Бартов (, бюро переводов «Альянс ПРО») • Оригинальное видео: --- Записаться на курсы переводчиков/учебную практику; заказать перевод/редактуру: