Основы мониторинга и сбор метрик

Изучаем описание метрик, мониторинга и системы оповещений под руководством старшего системного инженера Logrocon Ивана Худорожкова. Рассматриваемые вопросы: 1. Что такое метрики и зачем их собирать? 2. Что такое мониторинг? 3. Программное обеспечение для мониторинга 4. Что такое система оповещений? 5. Какие данные нужно отслеживать? 6. 5 ошибок в настройке и процессе сбора данных 7. А что если не мониторить и не проверять свои данные? 8. Список литератур Что такое метрики и зачем их собирать? Метрика – это стандарт для измерения ресурса. Метрики могут ссылаться либо на ресурс и его единицы измерения, либо на данные, собранные об этом ресурсе. Метод сбора и анализа проблем с производительностью инфраструктуры (железо, сеть). Метод сбора высокоуровневых данных и анализа (веб сервисы, базы данных, очереди и тд). Метод сбора и анализа бизнес-метрик. Что такое метрики и зачем их собирать? Метрика процесса Целевая точка Текущее измерение процесса Результат усовершенствования процесса Что такое мониторинг? Мониторинг — это постоянный сбор и анализ различных параметров (метрик) поведения системы. С его помощью можно описать и измерить в числовом выражении каждый важный аспект проекта. Данные из разных точек среды собираются системой мониторинга, которая отвечает за хранение, агрегацию, визуализацию данных и автоматические реагирует на изменения, когда значения соответствует заданным условиям. Первая обязанность Задача мониторинга Программное обеспечение для мониторинга: Grafana — универсальная обертка для работы с аналитическими данными, которые хранятся в разных источниках. Она сама ничего не хранит и не собирает, а является лишь универсальным клиентом для систем хранения метрик. Например, с помощью нее можно ходить за цифрами как в традиционную базу PostgreSQL, так и в специализированные аналитические системы типа Prometheus. Prometheus - Система сбора данных временных рядов, разработанная музыкальной компанией SoundCloud для решения внутренних потребностей в быстрой и гибкой обработке продуктовых метрик. Продукт с задачей справился настолько хорошо, что был выпущен за границы SoundCloud и теперь доступен как opensource для всех желающих. Zabbix — свободная система мониторинга и отслеживания статусов разнообразных сервисов компьютерной сети, серверов и сетевого оборудования, написанная Алексеем Владышевым. Nagios — программа с открытым кодом, предназначенная для мониторинга компьютерных систем и сетей: наблюдения, контроля состояния вычислительных узлов и служб, оповещения администратора в том случае, если какие-то из служб прекращают свою работу. USE Method: Grafana RED Method: Prometheus USE Method: Zabbix Nagios USE Method — метод был предложен Brendan Gregg для анализа производительности любой системы. USE — это акроним от терминов Utilization, Saturation и Errors (Утилизация, Насыщение и Ошибки). RED Method — подход, предложенный Tom Wilkie и является акронимом от (Requests) Rate, Errors, Duration ((Запросы) Скорость, Ошибки, Продолжительность). Он рассчитан на сбор метрик с самих приложений. (Запрос) Rate (Запрос) Errors (Запрос) Duration Для каждого приложения отслеживайте: Задержка Трафик Ошибки Насыщенность USE Method: Grafana Prometheus UCA method: UCA акроним от Users, Conversions, Activity (Пользователи, Преобразования, Деятельность) и он нацелен на измерение бизнес метрик сервиса. Его предложил Mike Julian и рассмотрел его в своем курсе Monitor Anything. Conversions Activity UCA UCA method: Google Analytics Yandex Metrika Что такое система оповещений? 1. Мониторинг оборудования. 2. Мониторинг состояния приложений. 3. Мониторинг бизнес-метрик. 5 ошибок в настройке и процессе сбора данных Человеческий фактор. Отсутствие связи между бизнес-задачами и настройкой аналитики. «Плавающее» руководство по сбору данных. Разрозненные данные. Отсутствие проверок. Комплексный мониторинг - преимущества Комплексный мониторинг - вывод А что если не мониторить и не проверять свои данные? Список литературы Реферальные ссылки: #xref_monitoring_golden-signals Спасибо за внимание! :)