Федор Романенко — AI не следует правилам. Придется тестировать не правильность, а эффективность.

Ближайшая конференция: Heisenbug 2023 Autumn — 10–11 октября (online), 15–16 октября (offline) Подробности и билеты: — — В жизни большого продукта случается момент, когда мы начинаем оптимизировать эффективность сценариев пользователей. Вместо вопроса «Как это работает?» мы спрашиваем себя «Зачем?» и «Насколько эффективно?» Эйфория от внедрения первого «умного» алгоритма или ML-модели отягощается утренним осознанием, что все это придется тестировать. Вам важно убедиться, что новая логика функционирует как задумано, и что нет регрессов. И тут выясняется, что понятия «правильности» работы больше нет, только непонятная «эффективность», про которую неясно, как ее правильно измерять. Не упрощает задачу то, что вы не можете зафиксировать входные данные. В докладе расскажем, как Авито и другие большие компании выпутываются из сложного положения с помощью инфраструктуры качества поиска. На примере истории запуска ранжирования в Авито разберем основные проблемы и приемы, позволяющие частично решить эту невозможную задачу. Доклад для смелых продактов и неравнодушных инженеров, готовых трансформировать продукт. #ТестоваяСреда #ab #search #ml #ranking #evaluation #metrics