Развертывание Apache Airflow // Демо-занятие курса DataOps Engineer

Apache Airflow сейчас является самым популярным оркестратором для построения ETL процессов. Это мощный и удобный инструмент, который позволяет создавать достаточно сложные пайплайны, управлять зависимостями, подключаться к любым системам и заменять собой кучу cron’ов и ручных запусков. Но при первой же попытке развернуть его вы столкнетесь с множеством вопросов: - Где развернуть сервис? - В контейнере или на виртуалке? - Одним узлом или несколькими? - Какой планировщик выбрать? - Как настроить CI/CD для DAG? Эти и другие вопросы мы обсудим на ближайшем открытом уроке по развертыванию Apache Airflow. Сдавайте вступительное тестирование, и мы запишем вам на занятие. «DataOps Engineer» - Преподаватель: Егор Матешук - CDO AdTech - компании Квант Подключайтесь к обсуждению в чате - Следите за новостями проекта: - Telegram: - ВКонтакте: - LinkedIn: - Хабр: