Валерия Дымбицкая. Кластеровыжималка. Автотюнинг параметров сложнои системы на примере Spark

Пусть есть система, в которой множество вариативных процессов появляются без вашего контроля и конкурируют за ограниченный ресурс. Это могут быть деплойменты в kubernetes-кластере или, как у нас — сотни и тысячи расчётов на Apache Spark в кластере Hadoop. И при высокой нагрузке мы столкнулись с недоутилизацией ресурсов. В разных сценариях это может решаться по-разному, но наша конфигурация (и некоторые ограничения Spark) подтолкнули нас к созданию автотюнинга. Это система, которая постоянно мониторит регулярные процессы и сама правит их параметры — например, использование RAM. Мы использовали ML для обслуживания своего ML и встроили это всё в продакшн-цикл. На основе этого опыта я покажу принцип создания такой системы, который можно применить практически ко всему, что пишет логи. Я расскажу, как простыми средствами мы сделали свою «кластеровыжималку», а также как её можно развить и применить конкретно к вашему случаю. Презентация – Сайт –