DataOps Community Meetup

Регистрируйся и активируй грант на 4000 рублей: Систематизировать и извлекать из данных ценность помогает DataOps — одна из самых молодых и обсуждаемых концепций в ИТ. Как и в случае DevOps, DataOps — не только принципы организации работы с данными, но и инструменты, облегчающие задачу, и архитектурные паттерны работы с этими инструментами. Узнать о реальных возможностях использования новых инструментов по обработке данных помогает обмен опытом с коллегами. 00:00 Интро 04:40 Готовим данные по-облачному: как собрать витрины в S3 на временных кластерах Data Proc. Дмитрий Морозов, Glowbyte Consulting 22:50 Как организовать работу с объектным хранилищем для Apache Spark. Михаил Епихин, 55:38 Airflow in production: как обустроить использование Airflow для оркестрации Spark-задач в мультитенантной среде. Донат Фетисов, билайн 1:22:50 Trino - единый sql или как поджойнить все со всем. Павел Тарасов, 01:46:47 Apache Hudi: Update и Delete в data lake без СМС и регистрации Никита Василюк, Lamoda