Теоретический туториал: Как учить большие языковые модели

Обзор основных идей создания LLM. Поговорили про данные, особенности архитектур, этапы обучения и методы его масштабирования. Туториал будет интересен специалистам в ML и DL, которые не занимаются обучением LLM или только погружаются в эту тему. Спикер: Мурат Апишев, техлид поиска в , ex-SberDevices, ex-Just AI, ex-Yandex Модератор: Петр Гусев ML Lead в Deliveroo, экс-Яндекс: MLE в команде рекомендаций Яндекс.Медиасервисов 00:00 Знакомство 01:45 Сейчас “LLM“ ≈ “AI“ 03:25 Языковое моделирование 05:05 Промптинг LLM 09:55 Архитектура 26:00 Токенизация 31:35 Позиционное кодирование 34:47 Этапы обучения и Данные для обучения 51:15 Баланс между параметрами и данными 54:30 Масштабирование обучения 01:02:40 Эффективность обучения 01:15:10 Алгоритмы оптимизации 01:17:35 Эффективность дообучения 01:20:50 Качество генерации 01:23:30 Архитектура 01:27:40 Масштабирование обучения 01:27:50 Обработка длинного контекста 01:30:45 Мультимодальность 01:30:55 Оценка качества LLM __________ Подписывайся на наши соц. сети: LinkedIn UnionVK: Instagram UnionVK: LinkedIn YNDX Family: Instagram YNDX Family: #vk #яндекс #llm #ai #языковыемодели