Собираем Kubernetes пайплайн для генерации картинок Stable Diffusion в Argo Workflow & Minikube

В этом видео я хочу показать и рассказать про Argo Workflows - это прослойка между пользователем и кубернетесом, которая позволяет создавать пайплайны из нескольких связанных докер-контейнеров. Такие пайпланы отлично подходят для масштабирования разных задач машинного обучения, например, для тренировки или инференса machine learning моделей. Мы развернем локальный Minikube кластер и запустим пайплайн с генерацией картинок Stable Diffusion моделью в Арго Воркфлоус. Код из видео доступен в репозитории - ТГ канал про жизнь в Нью-Йорке: ТГ канал про машинное обучение: ТГ чат про машинное обучение: Ссылки из видео: Introduction - Scaling Laws for Neural Language Models - - Choose Your Weapon: Survival Strategies for Depressed AI Academics - - Серия постов с введением в k8s - @mfsilv/kubernetes-a-gentle-introduction-9d23de7f00e0 Установка Argo Workflows - Сайт для установки kubectl - - Сайт с версиями миникуба - - Сайт для установки minikube - - Инструкция по установке Argo Workflows - - Гитхаб для установки Арго Воркфлоус - - Ссылка на hello-world конфиг argo workflow - Stable Diffusion пайплайн - Stable Diffusion репозиторий - - Сайт hugging face - - Ссылка для создания токена в hugging face - - Сайт докер хаба -   - Ссылка для создания токена в - - Ссылка для установки helm - 00:00 PRE-INTRODUCTION 02:56 INTRODUCTION 07:55 SETUP ARGO WORKFLOW MINIKUBE 32:07 FAN-IN FAN-OUT ARGO WORKFLOW 47:57 STABLE DIFFUSION