Евгений Ключников | Как делать масштабируемые A/B эксперименты

ML in Marketing track Телеграм-канал Спикер: Евгений Ключников, Data Engineer at GetYourGuide Мы активно используем а/б тестирование для оценки новых продуктов и идей; в некоторые дни у нас запущено до 70 экспериментов от разных команд одновременно. В докладе я расскажу, как мы организовали такую систему технически, где секрет её масштабируемости, что ломается чаще всего и почему не все всегда ею довольны. Затронем тему документации, обучения, неправильного дизайна, расскажу, как сломать эксперимент так, что этого никто и не заметит. Что было в докладе: 00:00 начало видео 03:07 что такое А/Б эксперимент 06:07 для чего мы проводим А/Б эксперименты 10:24 когда надо начинать проводить А/Б эксперименты 12:10 где проводить А/Б эксперименты 15:50 пример эксперимента 20:15 уровень значимости в экспериментах 25:29 расчет объема выборки для эксперимента 27:43 дизайн эксперимента 29:37 этапы проведения эксперимента 31:29 дашборд и отслеживание экспериментов 35:30 частые ошибки QNA сессия доступна в комментариях посту в тг канале Ссылка на презентацию: Соцсети Data Fest: