ownCloud – „from source“ in Docker Container [owncloud] [docker]

Die eigene Cloud-Lösung dank ownCloud ist eine tolle Sache. Ich habe ja so einige Server. Sowohl im „Managed Service“, also bei denen sich professionelle Serveradmins um das System kümmern als auch einige andere, bei denen ich mich selbst drum kümmere (eigene Systeme wie bspw. ownCloud, bei denen es sich aus kostengründen so ergibt).

Ich betreibe unter anderem eine ownCloud Instanz auf einem der Server die ich halt selbst verwalte. Und noch andere Systeme. Was immer wieder schwierig für mich ist: Zugriffsrechte. Ich habe mich damit anscheinend noch nicht ausgiebig genug bei Linux beschäftigt. Daher hat es eine ganze Weile gedauert, bis die ownCloud wie gewünscht lief.

Nun habe ich etwas Sorge gehabt, als ein anderes System auf dem Server PHP 5.6 brauchte. Da ich nicht weiß, wie ich mehrere PHP Versionen parallel betreibe, habe ich einfach von PHP 5.4 auf PHP 5.6 umgestellt. Eben mit der Sorge, dass dadurch andere Systeme ggf. Schwierigkeiten bekommen.

Um solche Sorgen nicht mehr zu haben, möchte ich schon seit langem alle Anwendungen dieses Servers in eigene Docker Container umziehen. Mit Docker habe ich mich hier auf dem Blog schon beschäftigt. Ich finde die Idee von Docker genial und habe ja auch seid kurzem meine eigene private Docker Registry.

Docker Container einrichten

Bevor ich groß mit Dateien hantieren wollte, habe ich die Docker Container aufgesetzt. Dazu schreibe ich mit immer ein anwendung.sh-Bash-Script, also in dem Fall owncloud.sh

Nun vergesse ich nie wieder wie ich diese container konfiguriert habe. Kommt eine neue Version von ownCloud, kann ich einfach oben den Image-Namen ändern und das Script erneut ausführen. Praktisch!

Ich habe das Script ausgeführt und auf meine neue Cloud per http://host:81 zugegriffen. Ich wollte sehen, ob alles funktioniert. Der Installations-Wizard war zu sehen, demnach: Läuft.

Datenbank einspielen

Ein spannender Punkt. Denn ich habe ja, wie oben im Script zu erkennen, einen Docker Container für MySQL eingerichtet. Wie bekomme ich da jetzt also die Datenbank rein?

Ich habe mich dazu entschieden, ein SQL-File zu exportieren und dieses in das Docker Volume zu schieben sowie die Berechtigungen richtig zu setzen.

Nun konnte der Datenbankimport stattfinden, vorher muss natürlich erst eine neue DB angelegt werden. Beides geht in jeweils einem einzigen Aufruf:

Konfiguration übernehmen

Nachdem nun die Datenbank steht, muss natürlich die neue ownCloud-Installation mit der Datenbank verbunden werden bzw. generell die ganze Konfiguration übertragen werden.

Damit allerdings nicht getan, die Konfiguration muss geprüft werden. Denn es hat sich zumindest der Datenbank-Host geändert. Die Datenbank findet man nun nicht mehr auf „localhost“, sondern über den Host „mysql“ (siehe Docker Link im Installationsscript).

Daten übernehmen

Tja und als letzter Schritt fehlt nur noch, die Daten zu übernehmen.

Nun ist meine neue ownCloud-Installation Testbereit.

ownCloud umschalten

Nach den Tests kann ich den vHost im Apache des Server einfach als Redirect auf den Port 81 (siehe Port-Mapping im Docker-Script) konfigurieren. Dann ist automatisch meine schöne URL nutzbar, der Apache fungiert in dem Moment einfach als Proxy.

In meinem Fall ist wie gesagt ein Apache im Einsatz, das ganze lässt sich natürlich mit nginx auch realisieren. Diesen habe ich allerdings noch nicht oft eingesetzt und habe hier also zu einem vertrauten Mittel gegriffen.

Und schon kann ich meine Cloud über den Browser aufrufen und bedienen.

Sentry – Warte nicht auf Fehlermeldungen von Anwendern

Eines der Tools, die Du nicht kennst, aber ab jetzt lieben wirst, ist Sentry. Denn Sentry übernimmt für dich einen wesentlichen Teil der Programmierung, über den du sicherlich noch nicht mal nachgedacht hast.

Mir zumindest ging es so. Auf der Suche nach einem Log-Sammel-System, sodass ich unterschiedliche Log-Dateien von verschiedenen Applikationen auf verschiedenen Servern zentral an einer Stelle abrufen und auswerten kann, bin ich auf die Webseite von Sentry gestoßen und kurz hängen geblieben.

Sentry’s real-time error tracking gives you insight into production deployments and information to reproduce and fix crashes.

Vorab-Info: Ich schreibe recht ausführlich. Es ist mir wichtig zu zeigen warum ich einen Mehrwert in dieser Technik sehe. Auf die Tool-Handhabung an sich gehe ich nicht großartig ein.

Worum geht es?

Wann genau bekommst du mit, dass eine deiner Anwendungen einen (schweren) Fehler hatte und ein User nicht wie gewohnt arbeiten konnte oder gar ein CronJob nicht funktionsfähig ist? Ich selbst bekomme das in zwei Momenten mit:

  1. Ich selbst merke, dass irgendwas nicht stimmt (bester Fall)
    1. Cron-Ergebnis fehlt oder
    2. Ich sehe einen Fehler beim benutzen der Anwendung
  2. Ein Anwender merkt, dass irgendwas nicht stimmt (schlechtester Fall)

Aus zwei Gründen ist der zweite Fall der schlechteste Fall.

  1. Der Anwender hats gemerkt und
  2. Anwender können nur sehr selten vollqualifizierte Fehlermeldungen abgeben

Und genau darum geht es: Gute Fehlermeldungen.

Sentry wird dich natürlich nicht darüber informieren, dass deine Webanwendung auf einem 1024*768px Monitor eines Windows XP basierten Systems mit FireFox 1 eine Textüberlagerung hat. Nein, darum geht es nicht. Aber dass eine JavaScript-Exception in dieser Konstellation fliegt oder auf einem deiner Server ein CronJob an Heilig Abend um fast Mitternacht eine PHP Exception geschmissen hat, dass wirst du dann in Echtzeit per E-Mail, SMS, Chat oder Slack usw. mitbekommen.

Und nein: Sentry unterstützt nicht nur JavaScript und PHP.

Wie kann ich diese Technik nutzen?

Entweder Du beziehst den SaaS (es gibt auch ein Free-Packet) oder hostest selbst eine Instanz. Letzteres war mir anfangs gar nicht bewusst und so habe ich den SaaS derzeit in zwei Projekten im Einsatz, mit dem etwas mulmigen Gefühl was ich immer habe, wenn ich irgendwo einen Gratis-Service ziehe und externe Sachen in meine Tools einbinde. Vergangene Woche habe ich dann mitbekommen dass Sentry Open Source ist und habe mir freudig am Wochenende einen eigenen Server aufgesetzt.

Für welche Sprachen / Techniken kann ich Sentry einsetzen?

Hier eine Liste der Sprachen, die Sentry unterstützt bzw. bestehende Integrationen hat (Stand 10.10.2016):

  • C#
  • Coca
  • Elixir
  • Go
  • Java
  • JavaScript
  • Node.js
  • Objective-C
  • PHP
  • Python
  • Ruby

Noch besser lesen sich die Frameworks in denen Sentry ganz einfach eingebunden werden kann:

  • net/http
  • App Engine
  • Log4j
  • Log4j 2
  • Logback
  • Angular 1
  • Angular 2
  • Backbone
  • Ember
  • React
  • Vue
  • Connect
  • Express
  • Koa
  • Laravel
  • Monolog
  • Symfony2
  • Bottle
  • Django
  • Flask
  • Pylons
  • Pyramid
  • RQ
  • Tornado
  • Rack
  • Rails

Kurzgesagt: Sentry könnt ihr in fast jedem Projekt einsetzen. Und diese Liste ist nur der aktuelle Stand. Andauernd kommen neue Integrationen dazu.

Wie funktioniert es?

Ich selbst habe die Technik nun seid einigen Wochen in zwei Projekten im Einsatz. Ein Laravel-Projekt (in Entwicklung und auch schon Produktiv) und ein nw.js-Projekt (in Entwicklung).

Bei Laravel bspw. sind es einige wenige Handgriffe, schon ist der passende Server verbunden.

  1. Laravel-Abhängigkeit über einen composer-Befehl installieren
  2. einen Provider und einen Alias in der config/app.php Eintragen
  3. Sentry als zusätzliches Reporting in der Datei App/Exceptions/Handler.php erfassen
  4. Abschließend kann nun pro Instnaz der Applikation über die .env-Datei der Sentry DSN konfiguriert werden

Die ersten drei Schritte gelten für alle Instanzen der Applikation der vierte Schritt wird pro Instanz ausgeführt, also quasi beim Setup.

Wie die verschiedenen Sentry SKDs in den verschiedenen Programmiersprachen / Frameworks eingesetzt werden, wird in der Dokumentation sehr übersichtlich beschrieben.

Und wie schaut das jetzt aus?

So weit so gut. Vielleicht sagst Du jetzt auch: „Wow, viel zu kompliziert“. Ich habe beim ersten Projekt auch gut überlegt ob ich mir so einen „Klotz“ ans Bein binden will. Nun werde ich es nahezu immer einsetzen.

Ich zeige dir jetzt auch ein paar Eindrücke, anhand derer du erkennst, warum Exception-Tracking wichtig ist. Die Anwendungsfälle entsprechen realen Szenarien die ich in den vergangenen Wochen hatte, daher sind es nicht so viele.

Anwendungsfall 1: Exception während AJAX Request

Ich habe ein Formular programmiert, es hat genau drei Felder. In dem ersten Feld wird eine Bestell-ID eingegeben. In dem zweiten Feld wird ein Zahlbetrag eingegeben und im dritten Feld kann eine Bemerkung angefügt werden. Der Handhabung halber lade ich nach Eingabe der Bestell-ID lädt ein JavaScript per AJAX den zu zahlenden Betrag und fügt diesen in das zweite Feld ein. Das funktionierte in den Testfällen alles gut.

Eines Morgens rufe ich E-Mails ab und bekomme eine Meldung über Sentry. Eine Exception wurde in der PHP-Funktion, die den Zahlbetrag für den AJAX-Request ermittelt, geschmissen. Die Bestellung für die der Zahlbetrag ermittelt werden soll, wurde nicht gefunden. Das hatte ich so nicht abgefangen.

Dem Anwender ist dies nicht aufgefallen. Er schaut nicht in die Browser-Konsole. In dem Feld für den Zahlbetrag steht immer 0, außer der AJAX-Request ermittelt halt einen anderen Wert. In diesem Falle wurde gar kein Wert ermittelt (ERR 500) und so blieb es „0“. Der Anwender hat einfach den passenden Betrag eingegeben und weitergemacht.

Mit dem nächsten Update habe ich den Fehler, von dem der Anwender nichts wusste, behoben und die Anwendung somit stabiler gemacht.

Wichtigste Informationen: Browser, Gerät, Level, …

Direkte Anzeige des Quellcode und der Zeile, in der die Exception geflogen ist.

Zusätzliche Informationen über den Kontext.

Und in diesem Moment war mir dann auch klar, was genau der Fehler war. Die Bestell-ID wurde kopiert, inkl. einem Leerzeichen am Ende (siehe das „verrückte“ Komma). Nun war klar was ich zu tun hatte.

Anwendungsbeispiel 2: Offensichtliche Störung – nicht gemeldet

Dieses Beispiel kommt dann dem Punkt nahe, dass der User sehr wohl mitbekommt, dass etwas nicht läuft, aber auch nichts weiter meldet. Genau das wird wahrscheinlich oft vorkommen: Keiner Meldet einen Fehler und schmunzelt über das instabile System.

Gleiches Projekt wie Anwendungsfall 1. Was genau der Fehler ist weiß ich selbst noch nicht, habe im Internet nachgelesen und eine Idee was ich ändern kann. Muss es halt nur noch mal prüfen. Na jedenfalls fliegt eine TokenMismatchException von Laravel und so sieht dass dann aus:

Grundlegende Informationen zum System

Grundlegende Informationen zum System

Quellcode-Informationen - Wo fliegt der Fehler?

Quellcode-Informationen – Wo fliegt der Fehler?

Kontext der Anfrage - Stark maskiert - Datenschutz

Kontext der Anfrage – Stark maskiert – Datenschutz

Interessant hierbei für mich: Der Token stimmt angeblich nicht, ist aber gesetzt. Nun weiß ich zumindest genau, dass alle erwarteten Inputs vorhanden sind und es eine „echte“ Anfrage war.

Meldungs-SPAM durch Bots?

Nein. In Sentry kann man Anfragen rausfiltern. Und die Liste bekannter Bots ist standardmäßig komplett rausgefiltert. Filtern kann man:

  • Errors von localhost / 127.0.0.1
  • Errors bei denen bekannt ist, dass sie durch gewisse Browser-Erweiterungen entstehen
  • Errors bei denen bekannt ist, dass sie durch das verwenden von Legacy-Browsern entstehen
  • Errors von Bots / Web-Crawlern

Fazit

Sentry wird mir helfen, meine Software besser im Blick zu behalten, ohne auch nur eine Sekunde lang Logfiles kontrollieren zu müssen. Sobald etwas dramatisches passiert, kann ich mich -in meinem Fall- per Mail benachrichtigen lassen. Dann weiß ich, dass ich aktiv werden sollte.

Auf diesem Weg sammle ich als Entwickler noch mehr Erfahrung für meine künftigen Projekte.

docker login: x509: certificate signed by unknown authority [Docker] [Registry]

Ich wollte mich per docker login auf meiner privaten Docker Container Registry einloggen. Doch ich erhielt folgende Meldung:

Gestern hatte ich auf einem anderen Server das selbe Problem und habe aber vergessen, was ich getan habe um es zu lösen. Damit ich es nicht vergesse und ich dir vielleicht auf diesem Notizzettel auch helfen kann, schreibe ich also fix einen Blogbeitrag.

Meine Registry ist unter lw-scm.de:5500 erreichbar. Wenn deine Registry auf einer anderen URL verfügbar ist, musst du im folgenden Code also deine Adresse eintragen.

Docker kennt die CA nicht

Grund für die Meldung ist, dass das Docker-System den Zertifikatsaussteller nicht kennt / verifizieren kann. Daher musst du das öffentliche Zertifikat des jeweiligen CA (Certificate Authority) für den Docker-Client ablegen.

In meinem Fall handelt es sich um ein Login SSL Zertifikat von COMODO, also ein „echtes“ und ich habe es vor kurzem gekauft. Beim Kauf des Zertifikates habe ich eine .ca-bundle-Datei bekommen. Diese Datei muss ich nun in den passenden Docker-Zertifikats-Ordner legen, in meinem Fall /etc/docker/certs.d/lw-scm.de:5500. Ich habe sie bei mir in ca.crt umbenannt.

So nun existiert der Ordner und jetzt kann ich die Datei kopieren.

Nun kann direkt der Login erneut ausgeführt werden.

Ich will mich dennoch umschauen warum die CA nicht akzeptiert wird, denn COMODO ist eigentlich ziemlich verbreitet.

GitLab CI Runner im Docker Container [GitLab Runner] [Docker] [PHP] [NodeJS] [LESSCSS]

Ich habe ja bereits berichtet, dass ich meine GitLab-Installation in einen Docker-Container verfrachtet habe. Nun möchte ich passend dazu natürlich auch meine GitLab-Runner in Docker-Containern laufen lassen. Was mir hierbei gut gefällt: Das restliche System ist von den für Build-Prozesse notwendigen Tools nicht zugemüllt.

GitLab Runner im Docker-Container laufen lassen

Wie in der originalen Anleitung zu lesen, ist es gar nicht schwer, einen GitLab-Runner im Docker-Container auszuführen:

Doch ich will natürlich noch einige zusätzliche Tools für PHP-Entwicklung in den Runner einbinden.

Ein PHP-Optimierter GitLab-Runner

Das tolle an Docker: Auf bestehenden Images aufbauen und diese erweitern. Mit einem Dockerfile.

Ich habe also mein eigenes Dockerfile geschrieben:

Kurz erklärt: Was hier passiert ist quasi das originale Docker-Kommando (siehe ganz oben). Es wird also das Docker-Image „gitlab/gitlab-runner:latest“ geladen. Dann werden zusätzliche Kommandos ausgeführt.

  1. Die Liste der verfügbaren Programme aktualisieren
  2. Neue Pakete installieren: php5, php5-pear, zip, curl, php5-mcrypt, NodeJS, npm und ncftp
  3. Das mcrypt-PHP-Modul aktivieren
  4. nochmals vergügbare Programme aktualisieren
  5. Neue Pakete installieren: php5-xsl
  6. NodeJS passend verlinken
  7. Den LessCSS-Precompiler über NodeJS installieren
  8. phpmd installieren
  9. phploc installieren
  10. Composer installieren
  11. phpcpd installieren
  12. phpdox installieren

Mit dieser Palette an Tools kann ich meine Projekte optimal bauen. Jetzt muss ich das Docker-Image nur noch erstellen und ausführen lassen:

Nun läuft mein PHP-Optimierter GitLab-Runner. Jetzt muss er nur noch registriert werden, dazu führt man folgendes Kommando aus und befolgt die Anweisungen:

Meinen Runner nutzen

Wenn Du dich um das Dockerfile nicht kümmern möchtest, aber meine Tool-Palette cool findet, kannst Du genau diesen Runner auf jedem Server installieren, dazu nutzt du statt dem obigen docker-build Kommande folgendes:

Nun zieht dein Docker sich das Dockerfile aus meinem öffentlichen Repository und baut das Docker-Image.

GitLab – Update 8.0.5 auf 8.4.4 im Docker-Container [GitLab 8.0.5] [GitLab 8.4.4] [Docker]

Heute habe ich meine GitLab-Instanz von 8.0.5 auf 8.4.4 angehoben, dies wird mir viele Vorteile bringen, die Entwicklung ist ja mächtig vorangegangen.

Etwas bammel hatte ich schon, denn dieses Update ist das erste Update von GitLab, welches ich über den Austausch des GitLab-Container machen werde. Vorher hatte ich GitLab ja direkt aus den Sourcen installiert und bin dann ende letzten Jahres von GitLab Source-Installation auf GitLab Docker Container gewechselt.

Stoppen des aktuellen GitLab Docker Container

Zuersteinmal habe ich die GitLab-Instanz gestoppt:

Weil ich nicht wusste was nun geschehen würde habe ich ein Backup gemacht:

GitLab Docker Container aktualisieren

Aktualisieren? Pfft. Nicht mit mir. Ich kille einfach den alten Docker-Container und tausche ihn aus:

Nun ließ sich der GitLab Container aber nicht starten. Mir rutschte das Herz in die Hose.

Etwas googlen und überlegen später kam mir die Idee, dass es vielleicht im Host-Update lag. Also habe ich kurzerhand die beiden anderen Container auch neugestartet und anschließend dann den zweiten Versuch für den GitLab Container durchgeführt:

Und voila: GitLab migrierte die Daten. Nachverfolgen kann man den Fortschritt über die Log-Ausgaben des Container:

Fazit nach dem GitLab Docker Container Update

Mich für das Hosting von GitLab in einem Docker-Container zu entscheiden ist echt Gold wert! So einfach war noch kein Update von GitLab für mich.

Außerdem muss ich m ich nun um keine Abhängigkeiten von GitLab mehr kümmern, dass macht ja der Cotnainer himself 🙂