Введение в Оркестрацию // Демо-занятие курса «Spark Developer»
На сегодняшний день, инструменты Оркестрации - это отраслевой стандарт для организации получения, обработки и сохранения данных из сотен и даже тысяч разнородных источников с разнообразной частотой обновления и природой.
Сценарии использования платформ Оркестрации разнообразны: вы можете просто организовать регулярные select - group by - insert из production базы данных в “холодную“ реплику под аналитику, а можете написать целый сервис, который будет раз в час обновлять данные, дообучать ML-модель и поставлять актуальные прогнозные значения конечным пользователям.
Данная технология - неотъемлемый инструмент в арсенале современного Data Engineer и администратора вычислительного кластера.
На Открытом Уроке мы подробно разберем, что же такое платформы Оркестрации, какие решения есть сегодня на рынке и даже углубимся в практический пример использования одной из самых распространенных платформ на сегодня: Apache Airflow.
Приходите, будет интересно!
«Spark Developer» -
Преподаватель: Максим Мигутин - более 5-ти лет опыта в индустрии Данных & Аналитики в роли внешнего косультанта (IBM) и in-house лидера Data Engineering и Data Science-проектов
Подключайтесь к обсуждению в чате -
Следите за новостями проекта:
- Telegram:
- ВКонтакте:
- LinkedIn:
- Хабр:
19 views
10
6
1 month ago 00:31:00 1
ПЕРЕСТАНЬТЕ ТРАТИТЬ ВРЕМЯ – СОСРЕДОТОЧЬТЕСЬ НА СЕБЕ | Мотивация Невилла Годдарда
1 month ago 00:04:15 1
Простые продукты, которые УБЬЮТ здоровье! / Чего НЕ должно быть в вашем рационе?
1 month ago 01:35:01 1
Почему питерские рабочие поддержали Октябрь? / Егор Мишин и Егор Яковлев
1 month ago 00:37:26 1
Fullstack-разработчица | Рынок труда в 2024 году | Перспективы IT в Казахстане
2 months ago 00:00:00 25
Медитация принятия своего одиночества. Игумен Евмений
2 months ago 00:01:01 1
ПРИГЛАШАЕМ НА ВОЛШЕБНОЕ ОБУЧЕНИЕ.. ВСПОМИНАНИЕ ЧЕРЕЗ ПРИНЯТИЯ ..ЗАКОНА ЗАКОНОДАТЕЛЯ НЕБЕСНОГО
2 months ago 01:05:30 1
СЕКРЕТЫ ИНВЕСТИЦИЙ: 85% доходности - Дмитрий Донецкий о доверительном управлении и аналитике
2 months ago 00:48:07 1
Топология в Blender с Нуля. 20+ упражнений.
2 months ago 00:00:05 1
Всенародно любимым День народного единства так и не стал - пожаловалась Канделаки #хопорт #новости
2 months ago 00:11:44 1
Эминем в зале славы рок-н-ролла
2 months ago 00:03:47 1
Саморазвитие и построение новой реальности: шаги к личностному росту
2 months ago 00:22:53 1
Почему “Южный Парк“ — Это Культовый Сериал? Николай Жаринов про South Park
2 months ago 00:35:00 1
Вы не Поверите, Что Эти Жесты Рукой Делают с Вашим Мозгом - Мост к секретному коду. Часть 2
2 months ago 00:21:02 1
История Культуры №13: Культура России XVIII века
2 months ago 01:01:43 1
Бои в Курской области: тактика ВСУ | Юрий Кнутов
2 months ago 00:16:57 6
Танк Т-80 против большой колонны УКРАИНСКОЙ техники. Реальный бой
2 months ago 00:42:34 1
Почему у вас НЕТ пробуждения? Работающие ключи!
2 months ago 01:44:16 1
#723 Апостол Пётр. Прямой эфир с фантомом воплощённого Духа. Цикл 12 апостолов, 5 серия
2 months ago 00:04:24 1
ИГРА ЗА СОЛДАТА В MVM ДЛЯ НАЧИНАЮЩИХ [TF2]
2 months ago 00:02:24 1
Американские СМИ сообщили какие страны выступают против принятия Украины в НАТО
2 months ago 00:50:57 1
Борьба с мигрантами после «Крокуса», закрытие границ, ввод виз: что предлагают власти
2 months ago 00:07:45 1
ТАК выглядит ПРАВИЛЬНЫЙ ОБЕД // Что есть на обед? #докторжимба
2 months ago 00:36:02 1
Еда. Опасный элемент. Фильм Аркадия Мамонтова
2 months ago 03:06:59 1
Алистер Кроули МАГИЯ В ТЕОРИИ И НА ПРАКТИКЕ Часть первая