Доклад Ильи Аблеева на DevOps Meetup "Мониторинг высоконагруженного проекта".

50 %
50 %
Information about Доклад Ильи Аблеева на DevOps Meetup "Мониторинг высоконагруженного...
Technology

Published on December 3, 2013

Author: BadooDev

Source: slideshare.net

Description

О чем доклад:
- Как в нашем проекте устроен Zabbix, применяемые нами способы автоматизации, собственные методы "дискавери" серверов и сервисов. Плюс как правильно держать Zabbix под высокой нагрузкой и не упираться в ресурсы серверов.
- Для чего мы используем Pinba, какие именно метрики помогают нам узнать о реальных проблемах пользователей.
- Как мы храним графики в RRD. Мониторинг этих графиков: User activity monitoring.
- Zabbix -> RRD => Capacity Planning.
Как быстро найти слабые места среди кластеров в десятки и сотни нод.

Мониторинг высоконагруженного проекта Наш опыт использования Zabbix, Pinba, RRD. Илья Аблеев

Что мы используем? ● Zabbix ○ Zabbix 1 ○ Zabbix 2 ● Pinba ● RRD ● User Activity Monitoring

Zabbix ● ● ● ● ● 3 датацентра 2.500 реальных хостов и алиасов 230.000 метрик 290.000 триггеров Примерно 1.000 метрик в секунду

Zabbix 1 ● Только обнаружение проблем, минимум графиков ● Храним историю 1 день ● Не храним тренды ● Не храним ивенты (отдельная статистика)

Zabbix Discovery, автоматизация ● DNS. A-запись = один реальный хост ○ “чистый” DNS ○ Доменные имена для сервисов - CNAME ■ ● дополнительная логика обнаружений сервисов Новые хосты - новый тикет в мониторинг ○ ручная “премодерация”, добавление и удаление в полуавтоматическом режиме

RRD framework ● Собственный фреймворк ● Быстрое и удобное добавление графиков ● Масштабируемость ● Получение данных с помощью API

Pinba ● “Лёгкий” мониторинг Nginx, PHP, etc (over UDP) ● Статистика (avg, percentiles) по запросам и user defined timer внутри них ● Хранилище, интерфейс - MySQL ● Real-time отчёты ○ by hostname, by script, by status, etc Больше - на http://pinba.org

RRD framework Очень много метрик и графиков: ~ 2 млн. Как определять проблемы?

Старый вариант – Zabbix + Уже используем, не увеличиваем зоопарк + Алерты “из коробки” – MySQL загнется от объема данных – Ручное управление лимитами метрик

Новый вариант – UAM Самописная утилита – User Activity Monitoring + Гибкая расширяемая система анализа данных + Экспорт данных (REST API) – Нужно писать код

User Activity Monitoring ● Тесная итеграция с нашим RRD фреймворком ● Простой интерфейс добавления метрик для мониторинга ● Поддержка нескольких алгоритмов обработки данных ○ анализ относительных значений ○ анализ абсолютных значений ● Импорт алертов в заббикс (лампочки)

Zabbix 2 ● Использование дополнительного Zabbix’а для сбора данных о системе ● Отсутствие триггеров и уведомлений ● Хранение истории за несколько лет ● Синхронизация хостов с Zabbix 1

Zabbix 2 ● Встроенные механизмы агрегации данных в Zabbix неудобны и ресурсоёмки ● Нельзя получить одну метрику по всем серверам на едином графике “из коробки”

Zabbix 2 + RRD Позволяет: ● сортировать кластеры по загруженности ● искать неоптимально загруженные машины в кластере

Zabbix 2 + RRD ● amean - среднее арифметическое ● median - среднее (сортируем, выбираем среднее значение) ● range - разница между max и min значением ● percentile 95% - для 95% машин метрика не выше указанного значения

Вопросы? ableev@corp.badoo.com Habr: http://habrahabr.ru/company/badoo/ Twitter: @BadooDev

Add a comment

Related presentations

Related pages

Доклад Ильи Аблеева на DevOps Meetup ...

Доклад Ильи Аблеева на DevOps Meetup "Мониторинг высоконагруженного проекта". ... О чем доклад:
Read more

Zabbix в Badoo или о чем не пишут в ...

Доклад Ильи Аблеева на Zabbix Meetup ... Доклад Алексея Владышева на Zabbix Moscow Meetup ...
Read more

доклад Ильи - YouTube

Доклад Ильи Аблеева на Zabbix ... Доклад Ильи Агеева на LoveQA ... Доклад Ильи ...
Read more

Мониторинг, лучшие практики ...

Мероприятия "DevOps Meetup" ... Статистика на практике для ... доклад ...
Read more

Zabbix Moscow - Zabbix Moscow Meetup (Moscow) - Meetup

От Аблеева. ... Доклад Ильи был четко ... Каждый пришел на meetup получить ответы на свои ...
Read more

Zabbix видео :: WikiBit.me

Zabbix Moscow Meetup 2016 Доклад Алексея Владышева, ... Доклад Ильи Аблеева на Zabbix Meetup. 24-07-2015 / 11:07.
Read more

Разбираенм MikroTik SXT series | VK

Zabbix Moscow Meetup 2016 Доклад ... Meetup 2016 Доклад Ильи Аблеева из отдела мониторинга Badoo на ...
Read more

Badoo - World News

... Summer Party, Badoo Dream Guy/Girl Kiss Prank!, Bumped Into - Badoo (part 2), Bumped Into - Badoo, Los perfiles de Badoo más WTF para LIGAR!, ...
Read more