Методы защиты кластера Hadoop в большой ML команде
Подписывайтесь на наш канал здесь и в телеграмм , чтобы быть в курсе будущих митапов и не пропускать полезные доклады!
Мария Изофатова / Мегафон
00:00 - Введение
00:33 - Экосистема Hadoop
01:02 - План доклада
01:19 - Настройка конфигурации spark
03:22 - Мониторинг spark application через Python
05:14 - Сохранение файлов в HDFS
06:24 - Хранение файлов в HDFS
06:58 - Партиционирование
08:14 - Контроль числа файлов
09:18 - Склеиватель файлов в hdfs
10:24 - Память кластера
11:32 - Итоги
Доклад посвящен способам борьбы с уязвимостями кластера Apache Hadoop: репартиционирование (проблема мелких файлов), автоочищение таблиц на кластере, настройка конфигурации PySpark, анализ запущенных Spark application и внутреннего кода. При наличии большого количества аналитиков, которые работают с кластером, могут возникать проблемы с количеством памяти и ресурсов, а также риски создать лишнюю нагрузку на name ноды. Описанные решения по администрированию Hadoop основаны на анализе данных Python и PySpark и могут быть использованы в команде аналитиков любого масштаба.
2 views
790
230
4 weeks ago 01:47:16 346
[kuji podcast] Александр Панчин: гомеопатия и ГМО (KuJi Podcast 19) (2160p)
4 weeks ago 00:05:28 90
Превосходство технологий и как защитить свои данные в интернете / Кибербезопасность
4 weeks ago 00:01:32 1
Тестируем эффективность Нейтроник 15GM - коллективная защита от ЭМИ
4 weeks ago 00:03:07 205
Нейтроник 5GRS: тестируем эффективность спектроанализатором и методом БРД
4 weeks ago 00:01:59 2
Смертельный удар топором в голову. Вадим Старов Защита против топора. Рукопашный бой Спецназа
4 weeks ago 00:02:32 1
🥜 ЛИПОТРИМ ДЛЯ ПОХУДЕНИЯ ЦЕНА 🔴 КАК УБРАТЬ ЖИР А РУКАХ
4 weeks ago 00:01:37 3
ЛЕЧЕНИЕ ПАРАЗИТОЗА ❕ ОЧИЩЕНИЕ ОРГАНИЗМА ОТ ПАРАЗИТОВ ВИДЕО
4 weeks ago 00:00:23 12
Шабер DOUBLE BURR DB1000
4 weeks ago 00:37:17 49
Сценарий Трампа. Козырь Путина. Менять власть на путинскую — национальную. Интервью с Евгением Фёдоровым г.
4 weeks ago 02:48:40 201
«ХИМТРЕЙЛЫ ☠️ Новая нормальность»
4 weeks ago 00:02:45 4
Первенство и чемпионат Омской области по универсальному бою (средства защиты) памяти Виталия Батищева.
4 weeks ago 00:01:15 1
⭐ ЛЕЧЕНИЕ ПРОСТАТИТА И ПОВЫШЕНИЕ ПОТЕНЦИИ
4 weeks ago 00:05:00 217
24 ноября - День разбора посуды и девичьих гаданий \\ Народные поверья
4 weeks ago 00:01:11 2
⚠ ЧЕМ ОТМЫТЬ КОВРОЛИН В АВТО ⛔ КАКИМ СРЕДСТВОМ ЧИСТИТЬ
4 weeks ago 00:07:37 5
Хроника героической обороны Севастополя. 15 июля 1942 года
4 weeks ago 00:00:20 3.8K
Удушение птицы пожарной пеной.
4 weeks ago 00:04:18 1
Коротко о сетевом маркетинге
4 weeks ago 00:01:34 2.3K
Володин о трёхлетнем бюджете: до 1 января 2025 года регионы получат все необходимые средства
4 weeks ago 00:10:36 6
В 70 раз больше с посадкой картофеля верхушками клубней по технологии Гордеевых
4 weeks ago 00:03:09 11
Доктор Рассел Блейлок рассказывает о 6 натуральных средствах, которые намного безопаснее и эффективнее, чем вакцина от простуд
4 weeks ago 00:01:00 6.6K
Удивительный гагачий пух. ХИЖИНА ХОББИТА
4 weeks ago 00:02:32 1
🍧 Как убрать гормональный живот у женщин
4 weeks ago 00:39:59 1
Печень ожила! Даже врач удивился действию этой неприметной травки…
4 weeks ago 00:19:44 1
Лекарства от ПАРАЗИТОВ убивают РАК? Свежие научные факты от доктора-онколога