[Gelöst] [V1.6] Fehler in Zeitseriendatenbank - SSD schlagartig voll

[Robosoc]

Mit Erschrecken habe ich gerade festgestellt, dass einige meiner Grafana-Panels keine Werte mehr von vor 01.11.2020 anzeigen. In Panels, in denen ich sowohl TimeSeries, als auch KNX-Loging Werte anzeige, konnte ich dann sehen, dass dies auf alle KNX-Logging Werte zutrifft.

Ich gehe davon aus, dass mein Timberwolfserver an die KNX-Logging Datengrenze gestoßen ist und das Routinelöschen eingetreten ist. @StefanW : Kannst Du bestätigen, dass die KNX-Logger Bereinigung, also wenn das Ereingniss intritt dass die Logging-Datengrenze errreicht ist, den Bestand auf die letzten drei Monate reduziert? Ist es dazu so programmiert, dass dies immer zu einem Monatswechsel geprüft un durchgeführt wird?

Oder habe ich ein anderes Thema bei mir ?

Ich hätte nicht erwartet, dass ich dadurch auf einen Schlag über 1 Jahre Werte verliere und nur noch die letzten 3 Monate behalte, sondern eher, dass vielleicht die 10% ältesten Daten verschwinden...das wäre bei mir dann irgendwas aus Anfang 2019 gewesen...


Natürlich habe ich ich ein Backup, in dem ich alte Daten habe, aber noch bin ich nicht soweit, dass ich mir aus einer CSV-Datei zielsicher eine Timeseries erstelle. Damit muss ich mich dann wohl jetzt wohl oder übel beschäftigen.

[StefanW]

Hallo Sven,

die Kürzungen im Ringspeicher finden statt, wenn der freie Speicher auf der SSD zu knapp wird. Hat nichts mit Monatsanfang zu tun.

lg

Stefan

[Robosoc]

Hallo Stefan, vielen dank für die schnelle Antwort, aber die hilft mir noch nicht weiter.

Ich frage mal konkreter: Ich hatte bis vor kurzem Daten von etwa 1,7 Jahren im KNX-Log-Ringspeicher. Jetzt scheinen es noch 0,25 Jahre zu sein. Ist das das Ergebnis von Kürzungen im Ringspeicher, weil der Speicherplatz auf meiner SSD zu knapp wurde? Das waren dann vermutlich mehr als 50% der Logging-Daten. Das erscheint mir für einen Ringspeicher (FiFo-Prinzip) ein wenig aggressiv eingestellt.

Ich kann mir das aktuell auch noch nicht ganz erklären, weil ich noch vor wenigen Wochen eine grüne Anzeige im Systemmonitor für die SSD hatte. Wenn ich mich richtig erinnere lag dies Auslastung bei ~45%, da bin ich mir auch recht sicher, weil ich diese über einen längeren Zeitraum sporadisch beobachtet habe und durch konsequentes Löschen von alten ETS-Dateien oder Datensicherungen versucht habe diese auch niedrig zu halten. Dazu habe ich gerade kürzlich eine Reihe von Timeseries gelöscht. Und die Systemmonitoranzeige hatte ich mir ja auch genaue angeschaut, als wir WD-1840 aufgedeckt haben).

Ich habe im Januar lediglich NodeRed als Docker installiert. Wenn der Speicher jetzt so schnell angestiegen ist, kann es ja eigentlich nur am NodeRed liegen. Da gehe ich jetzt mal auf die Suche. Aber bitte bestätige mir noch einmal, dass es wirklich sein kann, dass über 50% der KNX Daten aufgrund einer Kürzung im Ringspeicher entstehen kann. Damit ich jetzt nicht vergeblich nach eines nicht gewünschten Massennutzers meines SSD Speichers suche.

[Robosoc]

Okay, habe mich gerade auf mein System per remote eingewählt und sehe, dass die SSD tatsächlich auf 89% und in rot dargestellt wird. F*ck.

[Robosoc]

Die Docker / Portainer scheinen mir auf den ersten Blick nicht das Problem zu sein, die nehmen zusammen mit den Images 1,71 GB weg. Das ist nicht wenig, sollte aber nicht das Problem sein. Ich bin eher überrascht über die Anzeige auf der Seite Zeitreihen-Manager.
Dort findet man im rechten Bildschirmbereich die "Belegung SSD Details".
~3,9 GB nimmt der Punkt "Time Series Interne Daten" ein
~330 MB nimmt der Punkt Time Series ein.
~30 MB Logik Editor Doktor Modus

Sind 3,9 GB für "Times Series interne Daten" normal? Vielleicht kann das ja auch jemand anderes schnell auf seinem Wolf prüfen.

[Hiele]

Hier meine Daten:

Time Series 738.8 MB
Time Series Interne Daten 83.6 MB
Logik Editor Doktormodus 116.0 kB
Timberwolf Server Monitoring 84.0 kB
Anderes 11.1 GB
frei 851.8 GB

Komme bis 2012 bei den WG Sensoren zurück

[Robosoc]

Danke Hiele
Da ich ja einen 950er TWS habe (und Du einen 2600er) ist meine SSD natürlich deutlich kleiner als Deine. Aber meine Vermutung ist zumindest schon mal ein wenig bekräftig, dass mein signifikanter Anstieg im Punkt "Time Series Interne Daten" liegen könnte. Denn der Punkt ist bei Dir gerade einmal 83 MB und bei mir 3900MB groß.

Die Größe meiner Time Series passt mit ~330 MB ganz gut zu den Angaben in den letzten Datensicherungen und ist zudem ja sogar kleiner als Deine. Somit würde ich zumindest darauf schließen, dass ich nicht unbeabsichtigt irgendwo massiv eine Zeitserie vollballere.

[Robosoc]

Nur zur Info: Aus irgendeinem Grund war das Topic auf gelöst gestellt. Eventuell hatte Stefan das nach seiner Antwort in Beitrag #2 gemacht. Ich habe es jetzt erstmal wieder auf Frage zurückgestellt. Der ursprüngliche Betreff "Auf einmal nur noch die letzten 3 Monate im KNX Logging" passt sicher nicht mehr zum eigentlichen Problem, daher habe ich den Betreff umbenannt.

Ich passe diesen gerne auch wieder erneut an, wenn klarer ist was der Ursprung des Problems ist (und da will ich ja ein Fehlhandeln von meiner Seite gar nicht ausschließen).

edit: [V1.6] im Betreff ergänzt

[zitterfritz]

Hallo Sven,

irgendwie kommt mir Dein Problem bekannt vor. Hatte vor ein paar Wochen ein ähnliches Problem auf meinem Hutschienenserver 960Q.
viewtopic.php?p=29215#p29215

Glücklicherweise waren bei mir nur ca. eine Woche alte Timeseries und KNX- Logging Daten verloren.
Wir haben damals ein Problem mit einem Container vermutet, der vermutlich die SSD plötzlich über Nacht vollgeschrieben hat.
Allerdings hatte ich da so meine Zweifel, ob da nicht doch ein Problem bei der TimeSeries Verwaltung vorlag, habe es aber nicht weiter nachverfolgt.

Vielleicht können die Entwickler bei Deinem TWS noch prüfen, ob die Ursache bei der TimeSerien Verwaltung liegt.
Meinen TWS hatte ich damals neu aufgesetzt und eine Ursachensuche war nicht mehr möglich.

Viele Grüße

Heiko

[StefanW]

Hallo Sven,

danke für die neuen Infos, Es gibt da ein bekanntes - aber seltenes - Problem mit der Influx, dass nach temporären Komprimierungs-Prozessen wegen einer schlechten Speicherverwaltung dann Reste über bleiben. Das KÖNNTE bei Dir zutreffend sein.

Wir arbeiten schon seit einem halben Jahr an dem Thema und haben daraus eine neue Version der Influx entwickelt, die das Problem nicht mehr hat.

Diese neue Version wird mit IP2 zur V 2.0 ausgerollt

==> Vorschlag: Wenn Du möchteest, können wir folgendes überlegen: Rückspielen des Backup, wir installieren danach die neue Influx von Hand und dann sollte das Problem erledigt sein.

==> Alle anderen: Spielt diese Woche die IP1 und nächste Woche die IP2 zur V 1.6 auf. Es hat keine wesentlichen funktionalen Änderungen sondern enthält nur ein OS-Update und die neue Zeitserien-Engine V 1.8

lg

Stefan