Как подключить к Apache Spark проприетарный источник данных / Александра Белоусова (Яндекс.Go)

Приглашаем на конференцию HighLoad 2024, которая пройдет 2 и 3 декабря в Москве! Программа, подробности и билеты по ссылке: -------- HighLoad Весна 2021 Крупнейшая профессиональная конференция для разработчиков высоконагруженных систем 17 и 18 мая 2021. Москва, Крокус-Экспо Тезисы и презентация: Apache Spark — это популярный фреймворк для обработки данных. В него из коробки встроена интеграция с HDFS и разными форматами хранения, а, кроме этого, есть опенсорсные коннекторы почти к чему угодно. Но иногда эти коннекторы работают недостаточно оптимально, а для проприетарного хранилища просто не существует готовых решений. Тогда нужно разобраться в деталях API и написать коннектор самому. ... Нашли ошибку в видео? Пишите нам на support@