Павел Сушин. Как вырастить динозавра масштабирование платформы YTsaurus от 200 до 20000 хостов
YTsaurus — платформа для хранения и обработки больших данных Яндекса, adhoc аналитики, построения ETL задач и регулярных батч процессов. Первый кластер YTsaurus состоял из 200 хостов. Сегодня это гетерогенные кластера, доходящие в размере до 20К хостов и обрабатыващие данные самых разных сервисов — от поиска до погоды, и от такси до яндекс.облака.
Мастер-сервер YTsaurus является сердцем кластера и выполняет целый ряд ключевых функций: обслуживание дерева метаинформации, авторизация, генерация таймстемпов, управление репликацией чанков. В докладе я расскажу про архитектурные решения, которые позволили мастеру не стать узким местом, несмотря на рост кластеров.
Сайт –
1 view
531
202
1 month ago 00:54:14 9
YTsaurus: опыт эксплуатации хранилища из 180К дисков / Павел Сушин (Яндекс)
7 months ago 00:03:53 2.3K
Бессмертный полк
8 months ago 03:12:43 1
МЕЛОДРАМА УДИВИТЕЛЬНАЯ, ДОБРАЯ И СВЕТЛАЯ! Виолетта из Атамановки. ФИЛЬМ
12 months ago 00:02:50 1
НИКИТОСИК | Видео с Никитой
1 year ago 01:21:35 316
Мёртвое море. Каньон Вади-эль-Муджиб. Иордания / Dead Sea. Canyon Wadi al-Mujib. Jordan
1 year ago 00:03:00 1
Николь-Мари - Everybody’s Dancing (feat. шоу LIKE Катя Адушкина)
1 year ago 00:37:31 18
Павел Сушин. Как вырастить динозавра масштабирование платформы YTsaurus от 200 до 20’000 хостов
2 years ago 00:03:00 14K
Бессмертный полк.
2 years ago 00:12:09 1
Как создать сайт по доставке суши? Открыть интернет-магазин по продаже суши #3 | PAVEL RIX
2 years ago 00:03:40 2
Катя Волкова - Выходной (feat. шоу LIKE Катя Адушкина)
3 years ago 00:02:06 5
БУМЕРАНГ | Трейлер | в кинотеатре «Москва» c 2 декабря
3 years ago 00:02:05 649
«БУМЕРанг» | 16+ | трейлер
3 years ago 00:02:06 1
Бумеранг (16+) - трейлер. С 2 декабря
4 years ago 00:08:22 39
Суши на дом. Доставка в Энгельсе.
6 years ago 00:12:37 1
15 КРУТЫХ ПЯТИМИНУТНЫХ РЕЦЕПТОВ
6 years ago 00:00:52 667
bandicam 2018-10-09 23-55-25-792
7 years ago 00:00:26 190
Павел Катышев Катя Волкова Тимоха Сушин Даша Щербакова Никита Златоуст
8 years ago 00:03:16 2.2K
Шоу LIKE Катя Адушкина - Смотри Меня В YouTube
8 years ago 00:05:21 378
Штатный состав ГАП
9 years ago 00:00:40 2
Разборка-сборка АК-74 за 14 секунд
9 years ago 01:33:59 117
День города Дорогобуж 2015 - 865лет - Гости: Валерия Сушина, Кирилл Астапов, Николай Тимохин