Aufsetzen eines Monitoring-Systems für große Datenmengen

Stellen Sie sich vor, Sie richten ein Backend-System ein, das Dienste für über eine Million autonomer Geräte bereitstellt, die in ständiger Echtzeit-Kommunikation mit dem Backend stehen - das Internet der Dinge im großen Maßstab.

Die Daten von den Geräten werden durch eine Kette von Systemen geleitet und sogar an Systeme von Drittanbietern für weitere Berechnungen weitergeleitet. Die Ergebnisse werden dann nahezu in Echtzeit an die Geräte zurückgegeben, damit diese autonome Entscheidungen treffen können.

Die Herausforderung besteht darin, den Überblick darüber zu behalten, was in diesem riesigen, verteilten System vor sich geht.

An Daten über das Backend-System und die daran angeschlossenen Geräte mangelt es nicht: Im Gegenteil, man muss riesige Mengen davon analysieren, den Entscheidungsträgern aggregierte Fakten präsentieren und sogar autonome Steuerungsentscheidungen treffen, und das alles nahezu in Echtzeit.

Wir haben ein Überwachungssystem auf Basis des Elastic-Stacks entworfen und implementiert: mit Logstash zum Filtern und Extrahieren der relevanten Daten, Elasticsearch zum Speichern und für schnelle Suchfunktionen und Kibana zum Anzeigen.

Das System ist weltweit in Betrieb und besteht aus Dutzenden von Elasticsearch-Clustern weltweit, von denen der größte über 100 Knoten hat. Täglich werden über 8 Terrabyte an Daten eingelesen.