[Gelöst] [V1.6] Fehler in Zeitseriendatenbank - SSD schlagartig voll

[Robosoc]

Hallo Heiko, vielen Dank! Ich hatte Deinen Beitrag damals mitgelesen und mich jetzt gerade wieder daran erinnert. Ich glaube aber im Moment noch nicht daran, dass es bei mir an Docker liegt. Zumindest zeigt mir der Portainer-Manager keinen übertrieben hohen SSD-Speicher gebrauch an, den ich nicht erwarten würde und auch vor zwei drei Wochen gesehen habe.

Einen entscheiden Unterschied haben wir auch in der Bewertung der Zeitreihen-Datenbank. Du hattest - zumindest interpretiere ich es so - die Arbeitsspeicherauslastung beschrieben, die man auf der System-Monitor-Seite in der Dienste-Tabelle angezeigt bekommt. Da ich in den letzten Wochen gelernt habe, dass die nicht viel aussagt (auch in Deinem Topic), habe ich diese jetzt nicht zur Rate gezogen. Ich beziehe mich mit den den 3,9 GB auf die Anzeige der SSD-Auslastung auf der Seite "Zeitreihen-Manager".

Ich bin mir eigentlich ziemlich sicher, dass die früher nie so groß war und dass meine eigentliche Zeitreihen mit <400MB dort inder Anzeige den größten Anteil hatte.

[ms20de]

Hallo Sven,

ich schaue mir deinen Server an.

Viele Grüße,
Matthias

[Sun1453]

@Robosoc Ich habe das Problem mit dem Wiederherstellen der Daten aus einem Backup und den Mehraufwand gerade, mal in dem FR nochmal dokumentiert.

Es hat zwar mit dem Problem an sich hier nur indirekt zutun, aber so eine Wiederherstellung usw. bindet ja immer Resourcen der Entwickler. Daher wäre eine Wiederherstellung der Timeseries als Self Service für den Anwender aus einem Backup der TS doch besser.

[Robosoc]

==> Vorschlag: Wenn Du möchtest, können wir folgendes überlegen: Rückspielen des Backup, wir installieren danach die neue Influx von Hand und dann sollte das Problem erledigt sein.

Ja, da wäre ich sehr interessiert dran. Danke! Ich werde jetzt noch prüfen, was ich eventuell seit der letzten Sicherung nicht gesichert habe (Node-Red Flows, Zählerstände der letzten Wochen, Änderungen in Grafana Panels, Änderungen in einer Logik, an die ich mich erinnern kann) und dies irgendwie manuell wegsichern. Bis auf die Zählerstände bekomme ich dass dann ja alles problemlos wieder hergestellt und die fehlenden Zählerstände von der Zwischenzeit (letzte Sicherung bis jetzt) sind vermutlich kein Beinbruch und nur ein Schönheitsfehler in Tages-/Wochenauswertungen.

Ich melde mich, sobald den TWS neu aufgesetzt habe.


Ich wäre wirklich wirklich sehr interessiert daran die Speicherauslastung - denn das ist die meines Erachtens mit Abstand wichtigste Systemobjekt-Info - so bald wie möglich in einer TimeSeries geschrieben zu bekommen. Dann hätte ich mir schon längst ein Alert in Grafana darauf gebaut. Mir ist klar, dass es vermutlich noch lange dauern wird, bis Ihr die Nachrichtenzentrale fertig habt oder auch alle Wunsch Systemobjekte (wie hier mal begonnen) eingearbeitet habt. Aber vielleicht könnte Ihr das Feature System-Objekte ja schon mit dem einen, allerwichtigsten Wert "Speicherauslastung" alle 6h anlegen und uns mit der V2.0 zur Verfügung stellen. Wir User müssen von unserem SMART Home gemeldet bekommen (das zumindest ist meine Erwartungshaltung), wenn der Speicher zu voll wird- ob nun eigenverschuldet oder durch Systemprobleme wie in diesem Fall ist völlig egal. Es ist unbefriedigend, wenn man da selber immer wieder aktiv rauf schauen muss. Unter Umständen kann man dann reagieren, bevor es zu spät ist (wäre in meinem Fall vielleicht nicht so gewesen, ist mir klar).

[ms20de]

Hallo Sven,

wie sieht es aus bei dir?
Ich war vorher auf dem Timberwolf Server und er wurde neugestartet, wahrscheinlich weil du das Backup eingespielt hast.

Viele Grüße,
Matthias

[Robosoc]

Nein, ich habe ihn nicht Neugestartet. Zum Zeitpunkt des Neustarts war ich nicht auf dem Gerät. Ich habe anschließend aus Grafana Telegram-Alarme bekommen und gedacht Du hast den Server neugestartet, weil Du oben ja geschrieben hast, dass Du Dich drauf schaltest. Ich war erst etwa 20 Minuten nach dem Neustart auf dem Server (drei Services um die TimeSeries waren erst 10 Minuten lang am laufen) und habe dann zunächst in Grafana geprüft, ob Du es eventuell geschafft hast die verlorenen KNX-Daten wieder herzustellen. Dabei habe ich gemerkt, dass ich auf meine Grafana-Parallelinstanzen nicht drauf kam, was daran lag, dass die Container sich andere IP-Adressen gezogen hatten. Das haabe ich dann im Proxy-Server nachgezogen und habe mir Grafana angeschaut. Sonst habe ich nichts gemacht. Einen Neustart habe ich weder Soft - noch Hardwaremässig ausgeührt!

[Robosoc]

Ich mache jetzt nichts auf dem Server und warte dass Du Dich meldest.
Heute abend nach 16:00 Uhr (aber wahrscheinlich viel später) mach ich mich an das Sichern der Dinge, die ich oben schon beschrieben habe. Wenn ich grünes Licht von Dir habe, spiele ich dann auf eine Alte Datensicherung zurück.

[Sun1453]

Gut so Sven. Das ist ja ein nicht triviales Problem und es sollte gut von Elabnet nachvollzogen werden was denn da genau passiert ist. Ich denke Matthias kann dein altes Backup und ein aktuellen bestimmt zusammen Mergen in Sachen Timeseries, damit du wieder alle Daten hast.

[Sensej]

Aber vielleicht könnte Ihr das Feature System-Objekte ja schon mit dem einen, allerwichtigsten Wert "Speicherauslastung" alle 6h anlegen und uns mit der V2.0 zur Verfügung stellen. Wir User müssen von unserem SMART Home gemeldet bekommen (das zumindest ist meine Erwartungshaltung), wenn der Speicher zu voll wird- ob nun eigenverschuldet oder durch Systemprobleme wie in diesem Fall ist völlig egal. Es ist unbefriedigend, wenn man da selber immer wieder aktiv rauf schauen muss. Unter Umständen kann man dann reagieren, bevor es zu spät ist (wäre in meinem Fall vielleicht nicht so gewesen, ist mir klar).

Hi Sven,
ich habe mir vor ca. einem Jahr das TWS-Monitoring-System in Grafana eingerichtet, weil ich dieses sehr interessant fand und seit dem läuft es bei mir und bleibt ein Teil vom TWS. Mit dem konnte ich schon paar Probleme rechtzeitig erkennen und beheben und sehr viele Sachen analysieren(z.B. Arbeitsspeicheranstieg bei DB-Abfragen). Temperatur des Servers und der Festplattenspeicher sind auch wichtige Werte, die man im Auge behalten muss.

Zu dem System gehören 2 Container(prometheus + node-exporter) und ein Grafana-Dashboard.

TWS-Monitor.jpg

MfG Juri

[Sun1453]

Hey Juri,

das ist ja mal nen geiles Projekt. Daumen hoch. Wenn du uns das genauer Vorstellen willst dann bitte in einem anderen Beitrag. Wir wollen ja nicht zuviel Offtopic hier rein bringen. Stefan wird es uns danken wenn wir wo anders über dieses geile Machwerk reden. Danke.