LLM. Валентин Мамедов | Под Капотом

#largelanguagemodels #llm #deeplearning #career #nlp #ai Совсем скоро мы запустим курс по LLM! Записывайтесь в лист ожидания: Мы сообщим о старте и подарим скидку на курс. Мы приглашаем в подкаст экспертов из различных областей, чтобы понять, как работают сложные системы изнутри. В этом выпуске мы говорили с Валей Мамедовым, инженером из SberDevices, про LLM. Телеграм Вали: @vltnmmdv. Ещё мы упоминали: Канал Янника: Ollama: RQKW: Floating points visualized: @rreusser/half-precision-floating-point-visualized 00:00:00 | Вступление 00:00:20 | Как Валя попал в мир LLM 00:09:05 | Переход от задач с небольшими требованиями к обучению гигантов 00:11:25 | Разделение обязанностей в LLM-командах 00:12:55 | Про ускорение 00:14:55 | Flash Attention 00:17:45 | Memory wall и «простаивающие» видеокарты 00:18:57 | За счёт чего LLM можно запустить на макбуке, если для тренировки нужны датацентры. Этапы тренировки LLM 00:38:15 | Чем процесс вывода в прод LLM отличается от «обычных» ML-процессов 00:40:55 | Про датасеты. Берём все данные и закидываем или тщательно выверяем 00:44:15 | Кризис данных 00:45:55 | Качество vs количество данных 00:48:20 | Насколько качественно решаются задачи и можно ли отправить модель в свободное плавание 00:50:36 | Концептуальные для качества LLM 00:51:34 | Как сделать, чтоб модель не советовала плохого 00:53:20 | Open Source vs коммерческие модели 00:55:36 | Почему ChatGPT так долго лучше всех 00:57:14 | Облачные модели vs «карманные» 00:59:50 | Чем пользуется Валя 01:01:50 | Модель «под себя» vs модель, которая всё и сразу 01:04:12 | Огромный контекст vs RAG 01:07:23 | Как оценивать качество LLM. Бенчмарки 01:14:15 | Трансформеры с нами навсегда или стоит ждать новых архитектур