Вредные LLMсоветы для непослушных NLPразработчиков и их продактов / Дмитрий Парпулов и Иван Самсонов (VK)

Конференция VK JT (6 марта 2024, «ГЭС-2»), трек Machine Intelligence. • Дмитрий Парпулов, руководитель команды машинного обучения, Mail․ru (проект VK). • Иван Самсонов, руководитель команды прикладных исследований, Machine Intelligence VK. «Готовы поспорить, это будет самый нетипичный из всех докладов про LLM, которые тебе попадались ранее. Он выстроен в шуточном формате «вредных советов» и вдохновлён одноимённой книгой Григория Остера. Как и в оригинальной книге, мы дадим пачку непрошеных советов «непослушным» разработчикам. Ведь они сделают всё ровно наоборот — а именно это и необходимо для того, чтобы избежать массы граблей (очевидных и не очень), на которые могут наступить даже опытные специалисты. Часть советов — «капитанские», но мы возьмём на себя смелость повторить их в сто первый раз, поскольку, как известно, хорошо запоминаются только те уроки, которые оставляют шрамы на собственной шкуре. И кто знает, может быть, это позволит тебе избежать некоторых граблей в будущем при разработке продуктов c LLM под капотом. В докладе осветим вот такие моменты: • обоснование собственного претрейна и его развития; • основные проблемы при переходе на свой претрейн; • адаптацию open source под русскоязычную реальность; • почему лучше выпустить с ошибками на старте, чем не выпустить вообще; • как синтетика заменяет армию AI-тренеров. В итоге получился микс из болей продактов, исповеди разработчиков, юмора, упоротых рифм и советов Капитана Очевидности — тебе понравится!»