Основные абстракции Apache Airflow - Курсы “Школы Больших Данных“ г. Москва

В этом видео мы знакомимся с Apache Airflow - платформой оркестрации процесса выполнения задач. В процессе понимания того, что такое Airflow мы познакомимся с отличиями Workflow от Dataflow, архитектурой и основными компонентами Airflow, интерфейсом пользователя и его возможностями. Основные абстракции, которые предоставляет Airflow, также не останутся без внимания: * DAG, атом, единица запуска * Operator, действие, единица исполнения * Composition как способ задания взаимосвязи операторов В ролике мы уделим внимание best practices - что стоит ожидать от Airflow и как его не стоит использовать, поймем, почему Airflow не является ETL инструментом, вспомним “синдром молотка“. Кратко коснемся способам использования Airflow для построения эффективных конвейеров подготовки данных. Предыдущие видео по Apache Airflow: Часть 1: Начало работы с apache airflow - ​ Часть 2: ETL на airflow - Часть 3: ETL на airflow c postgresql -