Санников Николай - Сервис для инференса моделей как путь к стандартизации деплоймента

Доклад “Сервис для инференса моделей как путь к стандартизации деплоймента, ускорения работы и упрощения масштабирования“ Наша команда разработала прототип сервиса для инференса моделей ML и мы готовы поделиться выводами и планами на будущее. Это решение получилось интересным не только с технической, но и с организационной точки зрения. Помимо хорошей скорости работы, внедрение новых моделей происходит существенно быстрее, а масштабирование происходит адаптивно к меняющейся нагрузке. Механизм Dedicated Bootstrapping Process позволяет нам использовать любой набор зависимостей для исполнения бизнес-логики без каких-либо заметных ограничений. Наличие у сервиса HTTP/HTTPS API обеспечивает возможность интеграции сервиса во многие архитектурные решения. Data Fest 2023: Трек “MLOps“: Наши соц.сети: Telegram: Вконтакте: