Бесплатная система мониторинга - The Dude (Часть 1)

Бесплатная система мониторинга The Dude от компании Mikrotik.

Хочу начать цикл статей про систему мониторинга от компании Mikrotik по имени The Dude. В переводе с английского языка ЧУВАК. Я не знаю по какому принципу разработчики называли систему мониторинга, но видимо хотели привнести немного юмора, что бы было не так скучно.

Хочу сразу предупредить копипастеров и плагиатчиков, при копировании и размещении данных материалов, ссылка на автора и сайт, обязательна. Для ленивых, автор Виталий (obsessionsys) - tranz-it.net. 

Первоисточник: Mikrotik The Dude - Бесплатная система мониторинга. Часть 1

Начнем разбирать более подробно. Так как я удаленный сотрудник компании, и обслуживаю удаленные сервера и системы, и я не имею прямого физического контакта с оборудованием, мне понадобилась система мониторинга.




Выбирал по многим критериям:

1. Бесплатность, т.е. OPEN SOURCE

2. Возможность развернуть на различных системах т.е. КРОСПЛАТФОРМЕННОСТЬ

3. Простота первоначальной настройки

4. Не грамоздкая, как монстры Nagios, Cacti, Zabbix

5. Интуитивный интерфейс

6. Без финансовых вложений (сделать на том что есть из железа)

7. Минимум временных затрат

8. Расширяемый функционал

9. Масштабируемость

10. Нетребовательность к ресурсам

11. Мониторинг на основе стандартных средств всех семейств ОС (SNMP, TCP, и др) без использования агентов

12. Типизация устройств на основе автоопроса

13. На борту был Syslog-Server

14. ГЛАВНОЕ -> КАРТЫ СЕТЕЙ с возможностью вручную строить карты.

15. ГЛАВНОЕ -> ЗАПУСК ПРОГРАММ НА УДАЛЕННОЙ МАШИНЕ С ПЕРЕДАЧЕЙ КОНТЕКСТНЫХ ПАРАМЕТРОВ

16. ВСТРОЕННЫЙ ЯЗЫК ДЛЯ НАПИСАНИЯ ФУНКЦИЙ ОПРОСА

17. ОПОВЕЩЕНИЯ ПО E-MAIL И SMS и другие.

18. Использование стандартных программ на рабочем ПК для подключения к серверам

Ну вот, вроде бы ничего не упустил. Таким образом, системы мониторинга такие как NAGIOS, CACTI, ZABBIX отбросились сразу по многим причинам, даже не хочу перечислять. Очень долго перебирал кучу софта, и даже попадались платные и даже ужасно платные, но это мне не подходило, как то не хотелось платить, ведь нам надо отделаться малой кровью.

И когда я начал использовать оборудование Mikrotik, и поставил себе дома вместо Draytekа, Mikrotik RB800+816, я наткнулся на прекрасную вещь, это бесплатная система мониторинга The Dude. Я был очень удивлен, что компания предоставляет этот разработку бесплатно (1-й пункт удовлетворен). Многие станут поливать грязью и говорить что The Dude фигня и прочее, на вкус и цвет товарища нет. Но все же продолжу.

Систему можно установить как на Linux так и на Windows, но лучше всего данная система работает под своей ОС - RouterOS.

Саму систему мониторинга под разные платформы можно скачать с официального сайта MIKROTIK.COM. Так же на официальном сайте можно опробовать демо режим, по приведенной ссылке выше, указан IP адрес, после скачивания и установки The Dude (он и является и клиентом и сервером, т.е. идет все в одном флаконе, но только для Windows и Linux) можно подключиться и посмотреть тестовую сетку с помощью логина admin и без пароля.

Опишу немного печальный опыт установки под Linux и Windows, только вкратце, какие нашел косяки и баги, но может быть это было только у меня, просьба сильно не пинать. Установка на ОСь Windows Server или Windows XP с разлоченным количеством TCP сессий, потерпело неудачу, при увеличении количества устройств мониторинга переполнялся стек сокетов, и сервер начинал жутко тормозить, невозможно было зайти по RDP и все это продолжалось до перезагрузки, после чего через некоторое время повторялось. С Linux как таковых проблем небыло, т.к. сокеты Windows и Linux похоже, но в Linux работает немного подругому, и переполнений небыло, хотя при больших и частых запросов по протоколу TCP/IP сокеты были перегружены, но это случалось очень редко, и помогала опять же банальная перезагрузка системы. Минус ко всему в Linux мониторинг может работать через Wine, и автоматически не прописывается в автозагрузку, но при небольших манипуляциях это сделать можно, но от wine не убежать.

Поэтому я все же выбрал родную систему RouterOS для установки системы мониторинга, и установил ее на виртуальную машину VirtualBox. После чего, через графическую утилиту Winbox подключился к RouterOS. Прописал IP адрес (IP -> Addresses - [+]), шлюз (IP -> Routes ->[+]), ну и DNS (для поллинга по локальным DNS серверам )

С оффсайта скачиваем .npk файл системы мониторинга, в Winbox открываем пункт меню Files и закидываем его с помощью drag-and-drop (переносом мышки) после чего перезагружаем систему (System -> Reboot -> Yes)

Все, после перезагрузки системы, система мониторинга установлена на RouterOS.

Для Windows сервера все тривиально, когда будете устанавливать обязательно указывайте чекбоксом пункт Server Files, а все остальное на ваш вкус.

Теперь на рабочем ПК (если это Windows) устанавливаем тот же самый файл The Dude только убрать галочку с пункта Server Files, если ОС Linux, устанавливаем с помощью Wine и запускаем клиента. Для более наглядности, я установил тестовую версию The Dude на виртуальную машину Windows, которая будет являться как сервером так и клиентом.

Окно подключения к системе мониторинга The Dude


После, необходимо в поле Сервер вписать IP адрес нашей виртуалки или сервера где установлен The Dude, режим - безопасный, порт - 2211, имя пользователя admin, поле пароль оставить пустым, и нажать кнопку "Подключиться". У меня прописан localhost, т.к. сервер у меня установлен на этойже машине. После коннекта сразу же высветится окно автоматического опроса локальной сети на основе IP адреса операционной системы на которой установлен The Dude. Для первого теста можете нажать опросить, и вы посмотрите как система опросит все IP адреса вашей локальной сети, при этом будет добавлять все найденные устройства на карту. (Пункт 12 - удовлетворен)

Я этого не делал, и нажал отмену, т.к. я сам буду контролировать процесс добавления устройств на карту, и тем более еще сама система The Dude не настроена.

Для начала необходимо настроить саму систему. По сути все настройки системы мониторинга очень интуитивны и понятны, но я разберу более развернуто, и дам несколько рекомендаций, которые я выявил в следствии использования этой системы. Соответственно идем в настройки:

Настройки системы мониторинга

И увидим следующее:

Раздел: Общий


Во вкладке Общие, сразу видно что к чему, правда с отправкой email возникает множество проблем, но решить их можно. Таким образом на главной вкладке настраиваются DNS сервера, для поиска устройств системой мониторинга и настройки отправки на email.

Раздел: SNMP


На картинке выше настраивается SNMP поллинг, т.е. профили SNMP по которым будет собираться данные с устройств. Профиль включает в себя сообщество, порт и версию. МОЙ СОВЕТ: Используйте разные профили SNMP под разные сети, и разные агенты, если у вас будет распределенная сеть. В целях больше эстетических, чем практических. Обязательно указывайте комментарии, ко всем пунктам где это возможно сделать, так как Вам потом будет намного легче ориентироваться.

На данном этапе по умолчанию профиль snmp стоит public версии 1, который будет применяться автоматически ко всем сетям и устройствам. Вы можете выбрать свой или создать собственный и установить его по умолчанию. The Dude поддерживает все три версии протокола snmp. (Пункт 11 - в большей части удовлетворен)

Раздел: Опрос

ОЧЕНЬ ВАЖНО ОСТАНОВИТЬСЯ ИМЕННО НА ЭТОЙ ВКЛАДКЕ

Опрос устройств - Очень важная вкладка настройки сервера мониторинга

Самая интересная вкладка на мой взгляд. И очень опасная. СКАЖУ СРАЗУ: ЧЕМ МЕНЬШЕ СТОИТ ПАРАМЕТР "ИНТЕРВАЛ ЗОНДИРОВАНИЯ", А ПАРАМЕТР "ТАЙМАУТ ЗОНДИРОВАНИЯ" и "КОЛИЧЕСТВО ЗОНДОВ..." СТОИТ БОЛЬШЕ, тем больше нагрузка на систему мониторинга и тем больше требуется системных ресурсов от железа. МОЙ СОВЕТ: Параметр "Интервал зондирования" ставьте больше (все зависит от количества устройств) на первом этапе примерно минут 5-10, и соответственно, чем больше устройств вы будете мониторить, этот параметр пропорционально немного надо увеличивать. Параметр "Таймаут зондирования" надо ставить меньше, но не равно нулю, я себе ставлю примерно секунды 2-3. Параметр "Количество зондов в состоянии "Не работает"" я ставлю примерно 2. Почему два, чем больше зондов у Вас будет в мониторинге самого устройства (т.е. например мониторинг CPU, DNS, TELNET, SSH, HTTP, и т.д) тем больше возрастает нагрузка на систему мониторинга, поэтому я стараюсь рационально расходовать ресурсы железа на котором стоит система мониторинга. Пословица - Экономия должна быть экономной.

Ну оповещения, это раздел где вы можете настроить систему оповещения как душе угодно о каких либо действиях на устройствах. Вы можете добавить в оповещения, проигрывания звуковых файлов, или отправку СМС, или отправку письма. У меня например стоит проигрывания свиного визга, когда выключается сервер, и я сидя даже в другой комнате уже знаю, по какой то причине мой сервер выключился, наверно мой сын нажал кнопку резет на системнике сервера. Или например вывести сотрудникам ИТ отдела звук похоронного маша, когда отрубился сервер 1С, что бы они знали что скоро придут бухгалтера, и главбух будет поочередно хоронить их в коморке системного администратора. Таким образом в этой системе мониторинга можно гибко настроить систему оповещения сотрудников ИТ отдела, вплоть до вывода на отдельный монитор карты, для наглядного отображения всех узлов сети, которая и будет издавать какие нибудь звуки. (Пункт 17 удовлетворен)

Раздел: Сервер

Настройки раздела Сервер

В данном разделе Вы можете указать порты к которым можно будет подключаться к системе мониторинга, по умолчанию обычный порт подключения к серверу мониторинга The Dude - 2210, безопасный 2211. Можете выставить свои порты, только при подключении нужно будет указывать к какому порту подключаться. Так же можно указать сети из которых можно подключаться к серверу мониторинга, по умолчанию стоит разрешено подключаться всем сетям. Можно добавлять несколько сетей, нажимаю стрелочку вниз. И система мониторинга у себя в ядре пропишет правила фаервола по доступу к системе мониторинга. 

Ух ты, и даже веб интерфейс есть, обалдеть, который может работать как по 80 порту так и по SSL, ну не красота ли, правда по порту SSL необходимо сначало сгенерировать сертификат и перекинуть в систему мониторинга в раздел Files левого меню. Думаю что с этим раздело не должно возникнуть проблем, все очень понятно.

Раздел: Агенты

В этом разделе указываются и настраиваются подключение агентов, для распределенного мониторинга удаленных сетей. В качестве агента указываются Dude сервера такой же версии как и основная, наша, которую мы настраиваем сейчас. (Пункт 9 - удовлетворен)

Раздел: Syslog

(Пункт 13 - удовлетворен)

Сервер Syslog

В сислог сервере мы его можем включить, выставить порт, и добавить кучу профилей для устройств которые будут сваливать логи на наш сервер, а также можно распределить что бы каждый сервер сваливал свои логи в свой файл (Раздел Logs в левом меню системы мониторинга где можно настроит сколько угоднов системных журналов и для разных устройств).

Раздел: Карта

Настройки карты сети

В данном разделе вы можете настроить визуальное отображение объектов на карте (это Фон, Внешний вид устройства, Вид сети, Вид субкарты, Вид статики, и т.д.)

Раздел: Диаграмма

Настройка диаграммы

Здесь настраивается Как долго сохранять графики и историю диаграмм, указан начальный размер хранилища, а также указывается цветовая гамма для отображений диаграмм. По поводу истории я ничего не трогал и оставил так как есть, только поменял Шрифт, что бы было понятно что написано на диаграмме.

Остальные разделы для начала не так важны, но вы можете поиграться с настройками, но только осторожно. :)

После чего нажимаем кнопку "ОК". Можно сказать что система настроена.

Подведем итоги

1. Бесплатность, т.е. OPEN SOURCE - бесплатна

2. Возможность развернуть на различных системах т.е. КРОСПЛАТФОРМЕННОСТЬ - кросплатформенна

3. Простота первоначальной настройки - думаю все согласятся что настроить это не трудно

4. Не грамоздкая, как монстры Nagios, Cacti, Zabbix - да это точно всего 3,9 мегабайта

5. Интуитивный интерфейс - для меня ну очень (ИМХО)

6. Без финансовых вложений (сделать на том что есть из железа) - виртуальная машина

7. Минимум временных затрат - если честно мне настроить систему удалось за 20 минут

8. Расширяемый функционал - это в дальнейшем опишу

9. Масштабируемость - да масшабируема, за счет небольших агентов на той же самой системе the Dude

10. Нетребовательность к ресурсам - виртуалка 1CPU, RAM 512 Mb, HDD-RouterOs 1 GB, HDD-Dude 8 Gb,  загрузка виртуального CPU 34 % при условии мониторинга 41 устройства (железо Intel Desktop Board DN2800MT)

11. Мониторинг на основе стандартных средств всех семейств ОС (SNMP, TCP, и др) без использования агентов - да, мониторинг без агентов

12. Типизация устройств на основе автоопроса - есть

13. На борту был Syslog-Server - есть и не плохой, и работает

14. ГЛАВНОЕ -> КАРТЫ СЕТЕЙ с возможностью вручную строить карты. - да карты есть, и очень гибкие (есть минус, приходится тонко и вручную настраивать отображение данных каждого устройства)

15. ГЛАВНОЕ -> ЗАПУСК ПРОГРАММ НА УДАЛЕННОЙ МАШИНЕ С ПЕРЕДАЧЕЙ КОНТЕКСТНЫХ ПАРАМЕТРОВ (есть, главное мозги и руки на правильном месте)

16. ВСТРОЕННЫЙ ЯЗЫК ДЛЯ НАПИСАНИЯ ФУНКЦИЙ ОПРОСА (очень гибкий - имеется)

17. ОПОВЕЩЕНИЯ ПО E-MAIL И SMS и другие. (есть)

18. Использование стандартных программ на рабочем ПК для подключения к серверам (тут куда душа лежит, я пользуюсь Linux Mint + The Dude Client + Remmina + мини скрипты)

В следующей статье опишу как добавить устройтсва на карту и настроить мониторинг.