Введение в Оркестрацию // Демо-занятие курса Data Engineer

На сегодняшний день, инструменты Оркестрации - это отраслевой стандарт для организации получения, обработки и сохранения данных из сотен и даже тысяч разнородных источников с разнообразной частотой обновления и природой. Сценарии использования платформ Оркестрации разнообразны: вы можете просто организовать регулярные select - group by- insert из production базы данных в “холодную“ реплику под аналитику, а можете написать целый сервис, который будет раз в час обновлять данные, дообучать ML-модель и поставлять актуальные прогнозные значения конечным пользователям. Данная технология - неотъемлемый инструмент в арсенале современного Data Engineer и администратора вычислительного кластера. На Открытом Уроке мы подробно разберем, что же такое платформы Оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования одной из самых распространенных платформ на сегодня: Apache Airflow. Приходите, будет интересно! «Data Engineer» - Преподаватель: Максим Мигутин - более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов (Альфа-Банк, Yum! Brands) Подключайтесь к обсуждению в чате - Пройдите опрос по итогам мероприятия – Следите за новостями проекта: - Telegram: - ВКонтакте: - LinkedIn: - Хабр: