Фреймворк вертикального федеративного обучения / Артём Агафонов (VK Predict)

Конференция VK JT (6 марта 2024, «ГЭС-2»), трек Machine Intelligence. Артём Агафонов, руководитель команды геоаналитики, VK Predict. Выпускник ФУПМ МФТИ, аспирант МФТИ и MBZUAI. Автор научных статей по машинному обучению, федеративному и распределённому обучению, оптимизации. Преподаватель и автор курсов МФТИ, академии больших данных MADE от VK. «Развитие искусственного интеллекта и технологий вокруг него невозможно без данных. Однако источников внутри одной компании может быть недостаточно, а к обмену данными не готовы ни бизнес, ни клиенты. Решением и драйвером развития предиктивных моделей может стать федеративное обучение. Горизонтальный метод, при котором у всех участников один и тот же домен признаков, уже применяется в разных областях, но у него есть ряд ограничений. Перспективный метод повышения качества моделей — вертикальное обучение, когда участники обладают различными признаками для одних и тех же объектов и дополняют их без прямого обмена данными. Наша команда разрабатывает и развивает новый фреймворк вертикального машинного обучения, который может применяться в медицине, финтехе, ритейле, электронной коммерции и в промышленности. В докладе разберу: • архитектуру фреймворка вертикального машинного обучения; • распределённые алгоритмы, лежащие в основе фреймворка; • вопросы безопасного обучения моделей без обмена данными; • результаты численных экспериментов на реальном наборе данных».