7 петабайт логов в Elastic. Как мы это сделали. Роман Николаев (Тинькофф)

В Тинькофф тысячи сервисов, и все эти сервисы пишут логи. Объемы логов постоянно росли и сейчас это 7 ПБ, а суммарное количество нод на 15 кластерах в двух ДЦ достигло 370 штук. На таких объемах вылезает много проблем. Роман рассказал, как эти проблемы были решены в Sage, а также поделился информацией о внутреннем устройстве Elastic.