ZABBIX Monitoring Network

Server und Application Monitoring mit Docker

Genesis Mining

Je nachdem in welchem Umfeld du unterwegs bist, sammelst du über die Zeit mehrere Server an. Ob diese nun virtualisiert sind oder nicht ist dabei nicht entscheidend. Die Frage die du dir stellen solltest: Wie kannst du den Überblick behalten?

Ich habe beispielsweise einen ganzen „echten“ Server nur zur Sicherung der Daten meiner anderen Server. Dies realisiere ich mittels der Open Source Software BackupPC (ich blogge hierzu gerne, wenn es interessant ist – einfach Kommentar hinterlassen). Auf dieses System greife ich natürlich nicht täglich zu, sondern nur im Notfall. Doch wie häufig prüfe ich, ob das System überhaupt läuft? Du ahnst es schon: Gar nicht! Ohne Witz, ich denke an diesen Backupserver nur genau einmal im Monat: Wenn die Rechnung kommt.

Und hier ist der Knackpunkt: Mit steigender Anzahl an Systemen, sinkt die Motivation, wirklich alle Systeme im Blick zu behalten. Bei meiner Cloud oder der Piwik-Instanz werde ich schon merken wenn die ausfällt, auch wenn es sicherlich einige Stunden dauert, aber bei Systemen die halt „einfach da sind“ kann es Tage oder Wochen dauern. Daher sollte ich hier nun endlich mal ein Monitoringsystem aufsetzen.

Definition von Monitoring

Im Monitoring (zumindest für mich) geht es mir darum, eine beliebig große Anzahl an Servern und auch Applikationen zu überwachen. Und zwar in einem Intervall, den ich selbst nicht leisten kann, sprich: „Alle X Sekunden“ oder „Alle X Minuten“. Die ermittelten Daten werden gespeichert und können rückwirkend ausgewertet werden.

Innerhalb dieser Intervalls werden dann verschieden viele Parameter abgefragt. Je nach Ergebnis der Abfrage und je nach Parameter sowie eben auch möglicher anderer Parameter können dann verschiedene Ereignisse ausgelöst werden sodass ich bspw. eine E-Mail erhalte, wenn ein Server abstürzt oder wenn der verfügbare Speicherplatz einer Festplatte nahezu aufgebraucht ist. Aber eben auch die Verfügbarkeitsprüfung von Applikationen ist wichtig, bei dem angesprochenen Backupsystem bspw. ist es zwar nett zu wissen, dass der Server läuft, aber dadurch weiß ich ja noch lange nicht, ob die Applikation auch verfügbar ist.

Na toll, dann musst du halt den ganzen Tag in dieses Monitoring-System glotzen oder was?“ Fragst du mich jetzt vielleicht…. nein 😉

Die oben erwähnten Ereignisse können genutzt werden um mich über gewisse Situationen informieren zu lassen. Bspw. währe ein wichtiges / kritisches Ereignis, wenn ein Server ausfällt. Und ich habe für mich entschieden, dass ich bei kritischen Ereignissen definitiv sofort benachrichtigt werden, bspw. in Form einer E-Mail.

So einfach geht’s: ZABBIX Monitoring Server einrichten

netcup.deIch habe mir bei netCup einen ganz kleinen Server geholt, der bei mir nun ausschließlich das Monitoring ausführen wird. Damit ich mich nicht um die Installation bzw. Migration der Monitoring-Anwendung kümmern muss, werde ich -wiedermal- Docker einsetzen.

Server-System vorbereiten

Dazu habe ich ein Debian Wheezy aufgesetzt (musst du nicht genau so machen), mit diesem Startpunkt ergibt sich erstmal die Installation von Docker und nginx auf dem Server:

Nun habe ich alle Pakete aktualisiert und nginx installiert (brauche ich später mal). In meinem Setup muss ich nun noch das kernel-update auf eine Version > 3.10 vornehmen.

Nachdem der neuere Kernel installiert ist, kann ich mit der Installation von Docker fortfahren. Hierzu muss ich erstmal die passenden Software-Repositoriys im System hinterlegen:

Unter Debian Wheezy muss ich in "/etc/apt/sources.list" nun noch die Zeile "deb-src [arch=amd64] https://download.docker.com/linux/debian wheezy stable" auskommentieren.

Nun kann ich den Paketmanager aktualisieren lassen und dann Docker in der Community Edition installieren:

ZABBIX Server als Docker-Container aufsetzen

Ich habe mich für ZABBIX als Monitoring-Server entschieden. Das System hatte ich vor einigen Jahren schon mal für einen Anwendungsfall im Einsatz und kenne zumindest noch einige Grundlagen. Außerdem habe ich damit später noch etwas vor (mehr dazu in den kommenden Beiträgen). ZABBIX benötigt eine Datenbank. Und im Sinne von Docker benötigen wir also zwei Container: Einmal der Monitoring-Server und einmal dann halt die Datenbank.

Zum Einsatz kommt hier ZABBIX Version 3.2.4 und eine MariaDB. Beide Images stammen vom monitoringartist. Die Container werden jeweils als „deamon“ (-d Parameter) gestartet, laufen also im Hintergrund und Docker wird außerdem angewiesen, die Container sofort neuzustarten, falls sie Abstürzen (--restart unless-stopped Parameter).

Damit die DB zwischen den Starts korrekt persistiert wird und backups gezogen werden können, werden zwei Ordner als Volumes gemounted. Außerdem wird localtime als Read-Only eingebunden. Ich habe mich hier überwiegend an die Anleitung gehalten.

Neben der DB brauche ich dann noch die eigentliche Server-Applikation. Hierzu nehme ich vom monitoringartist das ZABBIX XXL-Image. Hier geben wir ebenfalls localtime als Read-Only rein. Ansonsten gibt es keine weiteren Volumes, da der Server keine eigenen Daten persistiert (nur die DB). Ich verlinke dann noch die Datenbank und gebe zwei Ports frei damit von außen mit der Applikation kommuniziert werden kann (hier kommt später nginx zum Einsatz).

Damit Zugangsdaten und einige Konfigurationen passen, setze ich noch verschiedene Environment-Variablen.

Nun läuft der ZABBIX Server, bis das Web-Interface erreichbar ist, kann es wohl 60 Sekunden dauern, also nicht erschrecken. Du kannst darauf zugreifen, dazu benötigst du die IP / URL deines Server und hängst da den Port (in diesem Fall 8090) hinter, also bspw.: http://server-ip:8090

ZABBIX DashboardDie Standard-Login-Daten sind „admin“ als Benutzername und „zabbix“ als Passwort.

Tipp: Das Passwort solltest du sofort ändern.

Ersten Server ins Monitoring aufnehmen

Der erste Server der im Monitoring überwacht werden sollte, ist der Monitoring-Server. Zugegeben, das hört sich sinnfrei an, wenn der Monitoring-Server abstürzt kann er dich darüber schließlich nicht informieren. Ich mache es dennoch. Zum einen möchte ich genau jetzt wissen, ob Daten erfasst werden können, zum anderen möchte ich die Daten für rückwirkende Analysen erfassen.

Du gehst dazu über den Menüpunkt „Configuration > Hosts“ und dort siehst du den „Zabbix Server“. In rot steht „deactivated“ dort, wenn du darauf klickst, aktivierst du die Aufzeichnung.

Weitere Server ins Monitoring aufnehmen

Von hieran geht es unglaublich schnell, weitere Server ins Monitoring aufzunehmen. Ich habe inzwischen auf allen Servern Docker laufen da ich künftig jegliche Applikationen jeweils in einem Docker-Container betreiben möchte. Daher setze ich nun auch auf den zu überwachenden Servern einen Zabbix-Agent im Docker-Container ein. Mein Vorteil: Ich führe ein einziges Kommando aus und der Server ist im Monitoring.

Hierzu setze ich, ebenfalls vom monitoringartist, das Image dockbix-agent-xxl-limited in der neusten Version ein. Wichtig hierbei ist, dass der --net=host Parameter verwendet wird, sodass der Docker-Container im selben Netzwerk-Stack läuft wie der Host. Außerdem muss der Container mit dem --privileged Parameter gestartet werden, da er auf viele Systemeigenschaften zugreifen muss, die überwacht werden sollen. Das gesamte Filesystem muss gemountet werden, zusätzlich muss /var/run in den Container (auf selben Pfad) gelegt werden. Auf diese Weise kann der ZABBIX-Agent im Container alles überwachen.

Über die zwei Environment-Variablen ZA_Server und ZA_ServerActive wird die Verbindung zum Monitoring-Server festgelegt.

An diesem Punkt kam ich ins Grübeln: Keinerlei Autentifizierung findet hier statt. Keine Tokens, keine Zugangsdaten, nix… Was, wenn jemand meine ZABBIX-Url herausfindet und mich mit Daten überflutet? Nachdem ich den ersten Versuch startete merkte ich aber schnell, dass eine Authentifizierung hier nicht notwendig sein wird.

Der Agent startet und Fragt vom Angegebenen Monitoring-Server ab, was er alles überwachen soll (dies kann pro Server variieren). Der Monitoring-Server schaut anhand des Anfragenden Hostname in der Konfiguration. Solange ich also in ZABBIX einen Server nicht eintrage, bekommt dieser „nichts“ zurück. Denn ZABBIX möchte von diesem Server dann keine Daten haben.

Damit der Agent also irgendwas übermittelt, muss ich erstmal den Server anlegen und konfigurieren. Dies erfolgt über den Menüpunkt „Configuratino > Hosts“. Hier siehst du eine Liste aller Hosts und kannst auch einen neuen Host anlegen.

ZABBIX Host anlegenIn der ersten Ansicht gibst du den Host-Name (der Hostname des Server), den Visible-Name (mit diesem Namen zeigt ZABBIX dir den Server an) und die IP Adresse des Servers an.

Im Tab „Templates“ wählst du dann noch Templates, ich wähle hier überwiegend nur „Template OS Linux“. Über die Templates werden die verschiedenen Parameter definiert, die überwacht werden sollen (bspw. CPU Auslastung, Festplattenspeicher, …).

ZABBIX: GLIBC-Error beheben

Ich hatte beim Start des ZABBIX-Agent auf einigen Servern Probleme. GLIBC war wohl nicht in der korrekten Version vorhanden. Dies lässt sich fix beheben:

Danach unbedingt den eingefügten (letzten) deb-Eintrag auskommentieren. Jetzt noch den Docker-Container vom Zabbix Agent löschen und neu anlegen.

TeamSpeak Server in unter 5 Minuten [teamspeak] [docker]


TeamSpeak Server in unter 5 Minuten. Alles was man dafür benötigt ist irgendeinen (v)Server, da können auch bereits andere Applikationen drauf laufen.

Um mit anderen Applikationen nicht in Konflikt zu kommen empfehle ich den Einsatz von Docker. Ich selbst nutze Docker immer mehr, da es die einzelnen Applikationen eines Servers kapselt sodass sie sich gegenseitig nicht beeinflussen.

Mit folgenden zwei Zeilen startet ihr euren Server:

Ihr könnt euch dann direkt per Client auf euren Server verbinden und mit der finalen Konfiguration beginnen.

Die wichtigen Dateien wie die sqlite-DB oder die Logs werden dabei unter /srv/docker/teamspeak abgelegt.

ownCloud-Docker-Image Update-Prozess

ownCloud Update 8.1 zu 9.1 [owncloud] [docker]

Bitpetite

Man was war das für ein Abend neulich… Eigentlich wollte ich „nur“ von ownCloud 8.1.10 auf 9.1.3 aktualisieren. Dank Docker sollte das recht simpel sein. Da ich mir schon gedacht habe, dass es holprig wird, bin ich von Version zu Version gegangen. Erst auf Version 8.2.9 und dann auf 9.0.7, hier fingen dann die Probleme an. Während das Update ohne Fehler durchlief, konnte ich mich nicht mehr einloggen. Im Log laß ich dann: Base table or view not found: 1146 Table ‚oc_external_mounts‘ doesn’t exist

Fehler nach Update auf ownCloud 9.0.7

Na Klasse, da existiert irgendeine Tabelle nicht. Nach kurzem Googlen wusste ich dann, dass es an der App files_external liegt. Da ich diese meines Wissens nach nicht verwende, habe ich sie deaktiviert

Und schon konnte es weitergehen. Der letzte Schritt wäre jetzt ja sicher einfach getan, denn von Version 8.2.9 auf 9.0.7 wäre sicher ein größerer Sprung, als von 9.0.7 auf 9.1.3… Pustekuchen.

Fehler nach Update auf ownCloud 9.1.3

Direkt beim Update eine fette Meldung: Call to undefined method OCA\Federation\AppInfo\Application::setupCron() in /var/www/html/apps/federation/appinfo/update.php on line 23

Nach einigem Suchen bin ich darauf gestoßen, dass ein Update der Cloud im Docker doch nicht immer so ohne Aufwand aktualisiert werden kann. Kurzum: der apps-Ordner, der über ein Mapping eingebunden wird, muss halt mit den neuen Apps aus Version 9.1 gefüllt werden.

Nun sind die neuen Apps verfügbar und die Exception der federation-App sollte nicht mehr fliegen.

Bei mir lief das Update dann sauber durch, warum auch immer wurde der Maintenance-Mode aber aktiv gelassen.

Nach ca. einer Stunde war also alles aktualisiert und es läuft auch prima. Die Daten sind alle da, die User-Zugänge sind unverändert und die geteilten Inhalte sind ebenfalls noch da. Zusätzlich sind die Share-Links erhalten geblieben.

Docker statt vServer – Wie ich 770GB verloren habe

bitconnect

Ich habe vServer gemietet. Das ist eine tolle Sache. Dort kann ich tun und lassen was mir beliebt. Doch nicht für jeden Anwendungsfall muss gleich ein vServer her. Denn es gibt inzwischen Docker, dort entfällt eine Menge overhead, den so ein vServer mit sich bringt.

Ich habe ja den ein oder anderen Server und auch ein paar vServer. Damit ich vor Datenverlusten geweiht bin, habe ich einen Server dafür gemietet, sich um Backups zu kümmern. Die Anforderungen an diesen Backup-Server: Massiv Speicherplatz, möglichst günstig. Und so endete es in einem Server der mit 100Mbit Anbindung nicht der schnellste, aber mit 2x2TB (bewusst ohne RAID) viel Speicher hatte und günstig war. Da ich für Kunden ebenfalls Server sichern wollte habe ich mich vor über einem Jahr auf diesem Server dazu entschieden, zwei vServer aufzusetzen. Beide lediglich mit Backuppc ausgestattet. Und jeder vServer hatte seine eigene Festplatte. So konnte ich den Speicherbedarf gut regeln. Ich behaupte nicht dass dies die einzige Lösung ist/war aber es ging schnell und funktionierte.

Nun hat eine Festplatte defekte Sektoren bekommen und musste getauscht werden. Ich habe also den betroffenen vServer gestoppt und seine VDI auf einen anderen Server übertragen, was bei 770GB und der schwachen Anbindung etwa 30 Stunden dauerte. Dann wurde die Festplatte getauscht und ich habe die VDI wieder zurückgespielt (also nochmal etwa 30 Stunden). Resultat: Der vServer ließ sich nicht mehr booten. Die Datei ist beschädigt gewesen, sicherlich folgend aus den kaputten Festplattensektoren. Demnach: 770GB Datenmüll. Es ist nicht dramatisch, es handelte sich lediglich um ein Backup anderer Daten, die ja weiterhin auf ihrem Server lagen und funktionierten.

Ich hatte schon länger darüber nachgedacht, die zwei vServer zu deaktivieren und hier Docker in den Einsatz zu nehmen um beide Backuppc-Instanzen zu betreiben und auf die zwei verschiedenen Festplatten zu schreiben. Ich hatte nur nie einen Anlass dazu. Nun hatte ich bedarf und habe mich rangesetzt.

Fazit: Es läuft prima. Doch was ist jetzt der Unterschied?

Docker vs. Virtualisierung

Ich möchte darauf hinweisen, dass ich kein Virtualisierungs-Profi bin. Ebenso bin ich auch kein Docker-Profi. Ich habe konkrete Anwendungsfälle und benutzte dann eine passende Technik. Sobald es läuft und ich die Situation als „stabil“ einschätze, bin ich zufrieden.

Für mich gibt es zwischen Docker und Virtualisierung in dem obigen Beispiel einen gravierenden Unterschied: Durch das defekte VDI-File, habe ich nun 770GB Daten verloren. Mit Docker hätte ich sicherlich auch Daten verloren, aber eben nur jene, die in den entsprechenden Sektoren gespeichert wurden. Es ist davon auszugehen, dass ein Großteil der Daten erhalten geblieben wäre.

Ein weiterer Punkt ist das Thema Sicherheit: Ich habe natürlich quasi nie die vServer aktualisiert. Auch den Host nicht. Ich hatte einfach schiss, dass dann vbox nicht mehr startet oder irgendwas auf den vServern nicht mehr läuft. Demnach hatte ich einen Host und zwei vServer die potenziell angreifbar wären oder um die ich mich hätte potenziell kümmern müssen.

Nun mit Docker habe ich nur noch den Host. Die Container haben keine Möglichkeit den Host anzugreifen und die Container sind von außen lediglich über einen einzigen Port erreichbar. Mit jedem Update von Backuppc wird ein neues Image bereitgestellt, welches wiederum auf einem aktualisierten Linux-Image beruht und somit werden „Systemupdates“ implizit mit dem aktualisieren des Images eingespielt. Den Host werde ich fortan aktualisieren, ich betreibe einige Docker-Hosts und habe bisher noch nie erlebt, dass es zu einem Problem innerhalb eines Docker-Container kam, dadurch dass ich den Host aktualisiert hätte…

Einfache Wartung: Ich habe ein Script geschrieben welches beide Docker-Instanzen gleichzeitig verwaltet. Ich gebe in dem Script das Basis-Image und einige weitere Parameter an. Und dann kann ich mein Script aufruren und ein Update ausführen, die Container stoppen / starten oder in die Logs schauen. Alle Aktionen werden dann auf beiden Containern ausgeführt. Das ist praktisch und spart Zeit.

Plesk Onyx – ERROR: Zend_Db_Adapter_Exception: SQLSTATE[HY000] [2002] No such file or directory

Genesis Mining

Für die Entwicklung einiger eigener Plesk Extensions habe ich einen vServer gemietet auf dem ein Plesk Onyx läuft. Neulich gab es da 100 Paket-Updates und ich hab sie mal machen lassen. Kurz darauf der Schreck: Plesk funktionierte nicht mehr. Die Meldung: ERROR: Zend_Db_Adapter_Exception: SQLSTATE[HY000] [2002] No such file or directory. Und nun?

Ich habe im Internet gelesen und versucht. Nichts half. Etwa 10 Minuten nach dem „Update“-Klick wusste ich, das mysql nicht lief. Etwa 30 Minuten später wusste ich was los war:

Ergab:

Es gab also irgendwelche Probleme mit dem Pfad „/var/lib/mysql-files“. Ich habe geprüft was darin ist und wollte schauen ob die Berechtigungen passen… Der Ordner existierte nicht! OK, daran wird es wohl liegen, doch wo bekomme ich den Ordner her und was gehört da rein.

Die Lösung ist simpel

Ganz ehrlich, ich habe das folgende im Netz als Kommentar gelesen und wollte einfach nicht daran glauben dass es wirklich hilft:

Also: Einfach Ordner anlegen, Dateiberechtigungen setzen und schon startet MySQL wieder.

Im Plesk fand ich einen gelben Warnhinweis, dass ein update nicht lief wie geplant und ich doch bitte die Reperatur (link) starten solle. Geklickt, gewartet: Fertig.