Георгий Самойлов Современный подход к версионированию и бектесту ML алгоритмов с использованием K8s

Построение современных ML алгоритмов состоит из большого количества компонент: выгрузка данных, очистка, преобразование, обучение и тд. Если добавить финансовую специфику, временные ряды, многоуровневые алгоритмы, оптимизация под прокси метрику, мы получаем серьезную комплексную проблему, в которой изменение в каждом отдельном компоненте влечёт за собой необходимость пересмотра всех остальных. Для решения данной проблемы мы используем архитектуру, в которой каждый компонент представлен в виде отдельного сервиса, и зависимости между ними (DAG). Такой подход почти полностью покрывается стеком технологий kubeflow (native tools на K8s для работы с ML-проектами).