Computer vision API: highload ML on GPU / Юлиана Лихолай ()

Приглашаем на конференцию HighLoad 2024, которая пройдет 2 и 3 декабря в Москве! Программа, подробности и билеты по ссылке: -------- HighLoad Siberia 2019 Тезисы и презентация: Команда Computer Vision предоставляет решения для нескольких продуктов : Почта, Облако, Vision (b2b-продукт). Количество работающих в проде нейросеток исчисляется десятками, но количество запросов к каждой модели разное: от 1 запроса с лендинга до 300,000 в минуту от Облака@. Разные архитектуры, разные паттерны нагрузки, разные фреймворки, постоянно нарастающая нагрузка на бэкенд — все это порождает серьезные сложности на пути построения универсального бэкенда. В рамках своего доклада я расскажу про самые удачные рецепты, которые зашли у нас. Я также расскажу о том, как нам удаётся поддерживать зоопарк фреймворков (pytroch, TF, caffe, ...). Как мы используем Kubernetes для шедулинга моделей по серверам. Расскажу о преимуществе использования nvidia-docker при запуске приложений, работающих на GPU. Нашли ошибку в видео? Пишите нам на support@