Neoflex реализовал LLMOps-процессы на платформе Neoflex Dognauts

Neoflex принял участие в конференции Scoring Day для профессионалов в области анализа данных и оценки кредитных рисков. Эксперты компании представили участникам платформу Neoflex Dognauts для управления полным жизненным циклом ML-моделей. В частности, платформа позволяет быстро создавать скоринговые модели для оценки рисков и автоматизации принятия решений. В рамках мероприятия выступила Анастасия Коткова, ML-инженер компании Neoflex, с докладом на тему «Как подчинить LLM-модели прикладным задачам». Спикер рассказала о том, какие задачи решают большие языковые модели (LLM) и как с ними эффективно работать. В частности, отметила появление специализированных MLOps процессов, направленных на эксплуатацию LLM- моделей. Это привело к появлению LLMOps, который включает в себя практики, методы и инструменты для эффективного развертывания, отслеживания и поддержания больших языковых моделей в производственных средах. Эксперт подробно рассказала о реализации LLMOps-процессов на платформе Neoflex Dognauts. Например, спикер отметила инструмент MLFlow, который входит в состав платформы, и позволяет определить какая модель лучше всего подойдет для решения конкретной бизнес- задачи. Кроме того, с помощью функции MLFlow по логированию ответов LLM-моделей разработчики получают готовую таблицу с результатами, помогающую сделать вывод как о качестве ответов модели, так и о проходящем промпте. Также в состав платформы Neoflex Dognauts входит Seldon Сore, который позволяет легко деплоить модели любого уровня сложности, обученные с использованием практически всех известных ML-библиотек. Таким образом, платформа полностью готова к обслуживанию LLM-моделей.