[FIRMWARE] NEUHEIT: Selektives Löschen von Datenpunkten in Zeitserien

[StefanW]

Verehrte Nutzer des Timberwolf Servers,

Es gibt Neuigkeiten beim Zeitserienmanagement, etwas, das schon lange gewünscht wurde


#### Updated #### Updated #### Updated #### Updated #### Updated #### Updated #### Updated #### Updated ####


Selektives Löschen von Datenpunkten aus Zeitserien



Mit der Insider Preview 1 zur V 4.8 wird die Firmware um einen neuen Assistenten erweitert, mit dem Datenpunkte aus Zeitserien gelöscht werden können.

Hierfür gibt es zwei Hauptanwendungsfälle:


Falsche / Unzutreffende Datenpunkte wurden in der Vergangenheit aufgezeichnet

Datenpunkte mit stark abweichenden falschen Werten "versauen" alle Grafiken und Berechnungen. Z.B. wenn Temperaturwerten normalerweise zwischen 15 und 25 Grad Celsius aufgezeichnet werden, jedoch plötzlich ein Wert von 65.536 Grad dazu kommt, weil eine Sensor oder eine Logik einen Fehler hatte. Wegen dem üblichen Autoscale der Grafiken verschwinden die eigentlich gültigen Datenpunkte in der Nulllinie, weil sich die Auflösung der Grafik nach den 65.536 Grad Celsius richtet. Dies kann auch durch temporäre Fehlverknüpfung mit dem falschen Objekt (mit höheren Werten) passieren.

==> Mit der neuen Funktion kann man diesen Zeitraum mit solchen falschen Eintragungen selektiv herauslöschen (also aus der "Mitte" des Datenstroms.


Kürzen von Zeitserien um Speicherplatz einzusparen

Insbesondere auf älteren Modellen des Timberwolf Servers mit z.B. 16 GB Flash könnte der freie Speicherplatz durchaus knapp werden, wenn intensiv Zeitserien angelegt wurden. Womöglich gab es gerade am Anfang eine eher "dichte" Aufzeichnung. Zum Beispiel führt eine Aufzeichnung eines Temperatursensors alle 5 Minuten schon zu 105.000 Einträgen pro Jahr. Ansich ist das nicht viel, aber wenn man das mit hunderten Sensoren so gemacht hat und womöglich jede Minute über fünf Jahre, dann kann das explodieren (100 Sensoren x 1 Eintrag pro Minute x 5 Jahre = 100 x 60 x 24 x 365 x 5 = 262,8 Mio Datensätze).

==> Die neue Funktion erlaubt das Löschen beliebiger Zeiträume, damit auch vom, Beginn einer Zeitserie an. So kann man z.B. "alles vor 2023" aus der Zeitserie löschen und damit dessen Speicherplatz (nachdem die automatische Bereinigung gelaufen ist) einsparen.


Funktion: Datenpunkte aus Zeitserien löschen

Der Zeitserien Manager wurde erweitert und verbessert

• Verbesserte Listenansicht mit den Aktionen pro Zeitserie
• neue Lösch-Funktion
• größere Icons
• Anzahl der Datenpunkte mit Tausender Trennzeichen

Neues Symbol für selektives Löschen




Neuer Assistent zum Löschen von Datenpunkten aus Zeitserien

Auswahl des Zeitraumes dessen Datenpunkte gelöscht werden sollen





Viele Detailanzeigen

• Anzeige des Zeitbereiches, in dem Datenpunkte enthalten sind (erster bis letzter Datenpunkt)
• Vorschau der Anzahl der von der Löschung betroffenen Datenpunkte je nach gewähltem Zeitraum
• Wichtig: Zeitangaben richten sich nach der Zeitzone des angemeldeten Nutzers (nicht nach der Zeitzone des Servers)

Aus mehreren Zeitreihen auf einmal löschen

Über den Button "Weitere Zeitserien miteinbeziehen" können beliebig viele weitere Zeitserien miteinbezogen werden (jeweils alle Datenpunkte aus dem selben Zeitraum)

• Die Sortierung der Tabelle kann "nach Bezeichnung" oder "nach Zeitserien DB ID" gewählt werden
• Aus der Liste dann Zeitserien auswählen
• Wichtig: Dies ist nicht umkehrbar, die Daten sind dauerhaft gelöscht

Damit kann man NICHT:

- Man kann damit keine Datenpunkte aus System-Zeitserien wie KNX-Log, Dr-Modus (Diagnose) usw. löschen

- Man kann damit (noch) NICHT auf Basis von Werten aus Zeitserien löschen ("lösche im angegebenen Zeitraum alle Werte über 65534"), weil die Influx DB dafür keinen Befehl zur Verfügung stellt


Verfügbarkeit

Diese neue Funktion steht AB SOFORT mit der Insider Preview 1 zur Version 4.8 im Insider Club zur Verfügung

Link zur den Release Notes: https://elabnet.atlassian.net/wiki/x/AYCEyw

lg

Stefan

[speckenbuettel]

Wow! Auf die Funktionen freue ich mich.
Vielen Dank für die Ankündigung.

[StefanW]

Hi Falk,

Wow! Auf die Funktionen freue ich mich.
Vielen Dank für die Ankündigung.

Merci. Damit erfüllen wir einen schon öfters gehörten Wunsch.

Wir tun uns mit "Löschen"-Funktionen bei Zeitserien etwas schwer, weil wir da sehr schlechte Erfahrungen beim WireGate Server gemacht haben "plötzlich sind alle meine Daten verschwunden". Damals mussten wir jeden einzelnen Löschbefehl aus der Software entfernt, damit wir keinen (damals auch öffentlichen) Stress mehr bekommen und aus dieser Erfahrung war es den Entwicklern beim Timberwolf Servern bislang untersagt, dass es Funktionen gibt, mit dem in den Zeitserien der Kunden gelöscht werden kann.

Wir haben uns jetzt durchgerungen, weil es ja auch hinreichend Argumente für diese Funktion gibt und hoffen, dass Nutzer, wenn Sie sich etwas (oder zuviel) gelöscht haben, dann nicht der Software die Schuld an vermeintlich fälschlicherweise gelöschten Daten geben. Wir werden sehen.

lg

Stefan

[Kaaennixx]

Toll, darauf warte ich ebenfalls schon einige Zeit. Freue mich schon auf die Veröffentlichung

[Mibr85]

Mega Funktion da kann ich endlich mal meine Zeitserien aufräumen
Wird es denn eine Möglichkeit geben die gesamte InfuxDB herunter zu laden, um diese auch in einem externen Grafana zu nutzen?

[Sun1453]

Wird es denn eine Möglichkeit geben die gesamte InfuxDB herunter zu laden, um diese auch in einem externen Grafana zu nutzen?

das interessiert mich auch.

aber auch diese ganz spezische Funktion die irgendwann dann auch kommen wird:

- Man kann damit (noch) NICHT auf Basis von Werten aus Zeitserien löschen ("lösche im angegebenen Zeitraum alle Werte über 65534")

[abeggled]

Vielen Dank, das ist ein wichtiges Feature, auch wenn es noch dauern wird.

[pholler]

Sehr cool - freue mich schon drauf!

[Parsley]

Sehr cooles und wichtiges Update, danke!

(Gäbe es in Influx theoretisch auch die Möglichkeit "zu dichte" Messreihen "auszudünnen"? Beispielsweise "nur einen Wert pro Stunde behalten", wenn fälschlicherweise alle 5s gelogt wurde?)

[StefanW]

Hallo zusammen,

nur ganz schnell vorab:

wir haben eben die Insider Preview 1 zur neuen Hauptversion 4.8

mit diesem neuen Feature veröffentlicht, das nun die Daten AUCH aus mehreren Zeitserien gleichzeitig löschen kann.

Beschreibung im ersten Eintrag wurde entsprechend aktualisiert und erweitert.

lg

Stefan