Опыт оптимизации инференса LLM для генерации кода в AI ассистенте разработчика GigaCode Русский AI

Спикер: Павел Прокофьев, Site Reliability Engineer GigaCode В этом выступлении мы поделимся нашим опытом использования инфраструктуры для инференса больших языковых моделей (LLM) в задаче генерации кода. Мы рассмотрим применяемые нами методы оптимизации и расскажем про возможности GigaCode.