Жизнь без A/B: как ещё сравнивать версии ML-систем? Евгений Никитин
📋 тема: **Жизнь без A/B: как ещё сравнивать версии ML-систем?**
🎤 спикер: Евгений Никитин, Head of AI, АО Калуга Астрал
Как понять, что новая версия ML-системы будет работать лучше, чем предыдущая? Обычно достаточно провести офлайн-валидацию (померить метрики) и онлайн-тест (например, в формате A/B). А что делать, если проведение онлайн-теста невозможно по техническим, юридическим или экономическим причинам? В этом докладе на примере медицинских ML-систем мы попробуем разобраться как минимизировать риск деплоя плохих моделек, когда с онлайн-тестами всё сложно.
Презентация:
— — —
-----
* Присоединяйтесь к сообществу LeanDS в телеграмм:
* Бесплатная книга по управлению продуктами и проектами в Data Science:
46 views
32
13
3 days ago 00:23:38 1
Без лиц: как женщин разводят на деньги.
3 days ago 00:00:43 2
МИХАИЛ МАКЕДОНСКИЙ РАСКРЫВАЕТ СЕКРЕТЫ ВНЖ ИСПАНИИ
4 days ago 00:00:59 9
Почему Бог навел потоп⁉️(Бытие 6:13-22 📖)(🎥Нейросеть) #библия
6 days ago 01:22:42 2
Как ИИ, блокчейн и квантовые технологии изменят структуру общества? | Профессор Игорь Дунаев
7 days ago 00:24:28 2
Обряд изгнания бесов. Как священник в Сибири борется с нечистой силой
7 days ago 00:05:55 1
Быстро и Удобно. Страшные слова.
7 days ago 00:32:41 1
Важно! Вскрытие либерального гнезда МГУ \\ Вербовка детей (Л. Григорьева)
1 week ago 00:40:40 1
Апатриды: непридуманная жизнь людей без гражданства
2 weeks ago 00:45:13 1
Страх и слабость власти - приводит к гибели людей (И. Отраковский и А. Бородавко)
2 weeks ago 00:19:14 1
КАК сделать сад с обложки ЖУРНАЛА за 20 минут! ПРОСТО посмотри на это!
3 weeks ago 01:15:51 19
Ирина Винер: жесткость в спорте, ответ Рите Мамун, вес гимнасток, спорт в новых реалиях
3 weeks ago 01:59:22 2
Епископ Роберт Бэррон - интервью у Лекса Фридмана
3 weeks ago 00:58:04 6
Без трибунала не обойтись! Тотальное предательство! Иван Отраковский
4 weeks ago 00:26:45 12
10 ПОРАЗИТЕЛЬНЫХ МЕСТ КОЛЬСКОГО ПОЛУОСТРОВА, которые вы должны увидеть сейчас! Средний, Рыбачий.
4 weeks ago 00:09:56 7
Конец Религий Отчет Командования Аштара
4 weeks ago 03:26:43 1
💔😢Променял на МОЛОДУЮ ЛЮБОВНИЦУ. Изменить судьбу | ЛУЧШИЕ ДРАМЫ | МЕЛОДРАМЫ 2024
1 month ago 00:15:32 1
МАШИНА ВРЕМЕНИ И ТЕЛЕПОРТАЦИЯ В РУССКИХ СКАЗКАХ⚡ Квантовая физика это доказывает
1 month ago 00:20:58 1
ВОЗДЕРЖАНИЕ у мужчин влияет на удачу! Я был в шоке как это работает!
1 month ago 00:06:50 1
НАСТОЯЩИЙ ТФ2 ГЕЙМИНГ
1 month ago 00:04:43 2
Предупрежден- значит вооружен. Они готовят массовые эвакуации и захоронения с зимы 2025 г.
1 month ago 00:01:22 1
С Днем Рождения Замечательная песня поздравление Музыкальная открытка
1 month ago 01:52:24 1
НОВЫЙ ГОД = НОВАЯ ЖИЗНЬ | КАК БРОСИТЬ ПИТЬ БЕЗ СИЛЫ ВОЛИ | ТЕСТ НА ЗАВИСИМОСТЬ
1 month ago 00:06:25 1
5 ФАКТОВ ОБ ИЛЛИДАНЕ О ОХОТНИКАХ НА ДЕМОНОВ
1 month ago 00:08:17 1
Здоровый образ жизни | Классные часы и ОБЖ #100 | Инфоурок