Цифровая археология: восстановление конвейеров по обучению ML-моделей
Различные модели машинного обучения прочно заняли свое место в индустрии информационной безопасности. В «Лаборатории Касперского» мы используем множество моделей машинного обучения для решения различных задач, таких как обнаружение киберугроз, автоматизация внутренних процессов и многое другое. Однако, несмотря на их полезность, при разработке и поддержке таких моделей возникают определенные трудности.
Часто процесс переобучения модели превращается в долгий и сложный квест, в котором нужно найти рабочую Jupyter-тетрадь в неизвестной ветке заброшенного репозитория. Кроме того, необходимо убедиться, что ваш набор данных пополнялся все эти месяцы с момента последнего обучения. Эти трудности возникают отчасти потому, что команды, состоящие исключительно из специалистов по данным, часто сосредотачиваются на исследовательской работе в ущерб инженерной части.
Поговорим о сложностях, с которыми мы сталкивались при восстановлении конвейеров для обучения ML-моделей. Расскажем, как нам пришлось заниматься настоящей «цифровой археологией» — чтобы найти старые, забытые, не всегда корректно работающие скрипты в папках давно ушедших членов команды и заставить их работать. Подскажем, как избежать подобных проблем в будущем.
Иван Балагуров
«Лаборатория Касперского»
1 view
188
38
2 months ago 00:46:01 1
Сослан на планету Земля (1 серия) Чужак в чужой земле
2 months ago 00:55:44 1
В экологических катастрофах прошлого виноваты люди? | Археолог Василий Новиков Подкаст #8
2 months ago 00:10:26 623
Не спеши менять лазер на Sega Saturn, пока.. не откалибруешь привод
2 months ago 00:24:46 1
ПИКТЫ I Битва за выживание в Скара-Брей [История с Artifex]
2 months ago 01:14:40 1
Где в России родина Ахилла?/ Александр Бутягин и Егор Яковлев
2 months ago 00:45:48 1
Часть 4. Происхождение славян/Кирилл Назаренко и Егор Яковлев
2 months ago 00:50:55 1
Часть 3. Предыстория: от Денисовского человека до неолита/Кирилл Назаренко и Егор Яковлев
2 months ago 00:44:34 2
Цифровая археология: восстановление конвейеров по обучению ML-моделей
3 months ago 01:37:47 1
Правда о главной битве Дмитрия Донского (Двуреченский, Соколов, Комнатный Рыцарь) / “МИ“
3 months ago 00:06:57 10.3K
Оказывается у Русских до Кирилла и Мефодия была азбука. Глаголицу уничтожили намеренно
3 months ago 01:38:22 1
Почему люди прошлого понимали цвет не так, как мы?/ Ксения Чепикова и Егор Яковлев
3 months ago 00:44:59 177
Василий Новиков – об истории
3 months ago 00:22:58 1
Древние города на дне озера Иссык-Куль, Кыргызстан
3 months ago 01:05:33 1
Трафальгарское сражение/Кирилл Назаренко и Егор Яковлев
3 months ago 00:08:33 1
Цифровая археология и новейшие исследования у мавзолея Тура-хана
3 months ago 00:02:02 1
Раскопки кургана за 2 минуты. Экспедиция на Южном Урале
3 months ago 01:15:59 1
Выборгское сражение. Спорная победа русского флота / Кирилл Назаренко
3 months ago 00:27:50 798
Рузиль САТТАРОВ: Казанская археологическая школа и ярчайшие сокровища Татарстана