ML on the edge / Андрей Татаринов (Epoch8)

Приглашаем на конференцию HighLoad 2024, которая пройдет 2 и 3 декабря в Москве! Программа, подробности и билеты по ссылке: -------- HighLoad Siberia 2019 Тезисы и презентация: Машинное обучение - это не только веб-сервисы на сверхпроизводительных TPU. В реальных условиях может потребоваться возможность применять ML-модели на конечных устройствах. Например, мобильное приложение, которое должно работать в оффлайн, или Enterprise-сервис, который работает в закрытом контуре. При этом не всегда есть возможность вместе с моделью внедрить специализированное оборудование и приходится запускаться на чем есть. В этом докладе на примере одной конкретной модели машинного зрения я покажу, как её запустить: - в облаке на GPU; - в браузере клиента; - на мобильном устройстве; - на ноутбуке без видеокарты; - на микросхеме за $10. Покажу, какой trade-off требуется в каждом случае и что происходит с производительностью и качеством. Нашли ошибку в видео? Пишите нам на support@