Daten speichern für Graph-Generierung

[gruena]

Hallo!

Ich würde gerne (zur Veranschaulichung) von 3000 Servern jeweils den aktuellen Ping speichern.

Als Beispiel:
- 3000 Server
- alle 5 Sekunden Ping messen (in Millisekunden)
- einen Monat lang speichern, alte Daten löschen
- die letzten x Stunden live im Browser anzeigen (mithilfe einer Javascript-Bibliothek für Graphen und jQuery für Ajax)
- und angenommen, dass der Pingwert auf 10er gerundet wird (um gleiche Pings eventuell optimieren zu können?)


Welche Datenkbank würdet ihr benutzen?

Viele Grüße,
gruena

[Shakademus]

Allein schon die TTL klingt nach Redis, würde ich sagen.

[rec]

mrtg / rrdtool mit roundrobin datenbank
3000 server sind viel, es würde aber alle 30 sekunden reichen, weil du ja irgendwann sowieso mittel wirst.

[morpheus]

Für mich hört sich das auch nach Redis an. Aber am besten generierst du einmal Testdaten und testest dann die Performance [1].

Den Intervall von 5 Sekunden empfinde ich auch als relativ hoch. Das sind 720 Messwerte pro Stunde, was du in einem Graphen über mehrere Stunden nicht sinnvoll darstellen kannst. Zudem wird es auch schwierig alle 5 Sekunden 3000 Pings abzusetzen und diese zuverlässig auszuwerten.

[1] http://redis.io/topics/benchmarks

[gruena]

So, endlich fertig.


Hatte mir noch mrtg angeguckt, aber damit konnte ich nicht viel anfangen.


Mit Redis mache ich das jetzt so:
- Alle 5 Sekunden alle Server mit IP, Port, Ping (Ping ist Beispiel, ich hab da was anderes) aus MySQL abfragen (MySQL dient sozusagen als Stateserver zwischen verschiedenen Skripten)
- Falls Ping geändert:
- - zur Liste hinzufügen: LPUSH Server_$ip:$port time():$newPing
- - Gesamte Liste zu Server_$ip:$port auslesen und als fertigen String in Server_$ip:$port_cache speichern
- In jeden Durchlauf den Expire neu setzen: EXPIRE Server_$ip:$port 60
- Da ich z.B. nur die letzten 1000 Pings speichern will, schneide ich die alten einfach in jedem Durchlauf ab: LTRIM Server_$ip:$port 0 1000-1

Jetzt kann ein Client ein PHP-Skript aufrufen, indem z.B. einfach nur Server_$ip:$port_cache mit JSON-Header gesendet wird. Schneller könnte es doch nicht sein.

Mit Google Chart Tools lasse ich den Graphen anzeigen. Weil ich time() zu jedem Ping speichere, kann die Chart-Bibliothek dann auch die Abstände Zeitstempelabhängig logisch anzeigen.

Eine Iteration über momentan 1600 Server dauerd grad mal 300ms alle 5 Sekunden (PHP-Skript in screen-Session).


Wieviele Tage ich nun mit 1000 maximalen Listenelementen speichern kann, weiß ich nicht. Es kommt nun darauf an, wie oft sich der Ping ändert (destoweniger wie grober man rundet). Das muss ich jetzt nach ein Paar Tagen sehen und dann ggf. anpassen.

Ziemlich perfekte Lösung, weil ich halt alle 5 Sekunden polle und damit "live" bin, aber die Listen/Caches ändern sich nur, wenn sich der Ping geändert hat.

Danke für die Redis-Empfehlung.