Мок-собеседование на senior Data Engineer S1E7 | rzv_de | Oct 2024

Погружаемся в роли интервьюера и кандидата на час, плотная 45-минутная обратная связь уже выложена на бусти. Послушал про опыт кандидата, в этот раз 100% теории, без задач. Делись с заинтересованными, если понравилось и хочешь ещё. Пиши, если чего-то не хватило и что-то нужно доработать. Если хочешь больше контента по инжинирингу данных от сеньора из индустрии — подписывайся на авторский канал: Для записи на интервью пиши в телеграмм: 00:06 Приветствие 00:30 Формат 01:10 Про опыт 05:31 Про хранилище, слои 08:35 Microbatch vs Streaming 09:35 Презентационный слой, DA, DS 10:35 Трансформ на Kafka 12:22 Джойны стриминговых данных 12:50 Формат хранения на S3, почему 13:14 Альтернативы паркету 14:13 Что используете в Iceberg 17:15 Масштабирование Kafka 18:15 Кастомные операторы Airflow 19:39 Работа с Airflow в k8s 25:02 Инкрементальные загрузки в S3 27:16 Партицирование 29:20 Self serivce аналитика 31:07 BigQuery 31:22 Kafka vs RabbitMQ 32:48 Доставка сообщений в распределённых системах 36:41 PostgreSQL vs MSSQL 38:39 Индексы в OLAP, что вместо 47:35 BigQuery part 2 50:22 Индексы в OLAP, что вместо part 2 52:10 Greenplum 54:08 Spark оптимизации 56:40 Spark физические join’ы 1:00:20 Вопросы интервьюеру по проекту — Music license — Haru by Roa | Music promoted by Creative Commons CC BY 3.0