[FIRMWARE] NEUHEIT: Selektives Löschen von Datenpunkten in Zeitserien

[gbglace]

Beim Ausdünnen in Form reinen Löschen, kann man sowas auch als where Bedingung im SQL formulieren, aber dann würde ich es nur tun wenn die Werte hochfrequent geliefert wurden und dabei konstant sind. Bei Werten mit unterschiedlichen Beträgen müsste man eher aggregieren und austauschen.

Aggregation und Austausch würde auch direkt die "Duplikate" mit korrekt bereinigen.

[StefanW]

Hi Lukas,

(Gäbe es in Influx theoretisch auch die Möglichkeit "zu dichte" Messreihen "auszudünnen"? Beispielsweise "nur einen Wert pro Stunde behalten", wenn fälschlicherweise alle 5s gelogt wurde?)

Jein, es gibt dafür keinen SQL-Befehl in der Influx. Auch nicht für das Löschen von Datenpunkten nach Wert ("alle höher als 65536").

Was man daher implementieren müsste, das wäre eine eigene Programmierung, welche eine Zeitserie als Quelle nimmt und auf Basis von Regeln (erlaubter Wertebereich) und / oder (nur ein Datenpunkt pro Zeiteinheit) eine neue Zeitserie anlegt.

Wir denken drüber nach, aber es gibt für solche Detailfunktionen keine Credits. Zudem gibt es auch viele andere Features die nachgefragt werden.

lg

Stefan

[StefanW]

Hallo zusammen,

der erste Artikel in dem Thread wurde - zum einen wegen der nun hinzugekommenen Funktion "in mehreren Zeitserien selektiv zu löschen" als auch wegen der heutigen Veröffentlichung in der IP 1 zur V 4.8 - aktualisiert.

Ich bitte um freundliche Beachtung

lg

Stefan

[Parsley]

Hi Stefan

Jein, es gibt dafür keinen SQL-Befehl in der Influx.

Danke für die Info. Dann bitte nicht umsetzen, weil es definitiv wichtigere Dinge gibt!

[speckenbuettel]

Update auf IP1 lief ohne Probleme.

Das Löschen von Datenpunkten funktioniert ebenfalls einwandfrei. Nochmals vielen Dank an das ElabNET-Team für diese langersehnte Erweiterung!


Folgende Erweiterungen könnte ich mir für die Zukunft vorstellen (Vorschläge, keine Anforderungen - der Einstieg ist ja gemacht und damit kann man durchaus arbeiten):
- Automatisierung über Logiken (z. B. einmal pro Jahr bestimmte Zeitreihen bereinigen)
- Auswahl mehrerer Zeitreihen vereinfachen durch Such-/Filterfunktion bzw. Tags
- Sortieren der Zeitreihen wahlweise nach dem Namen oder der ID.


Ich habe herausgelesen, dass das "Verdichten" von Zeitreihen deutlich aufwändiger ist. Allerdings ist das auch ein interessantes Anwendungsfeld.
Im Rückblick auf die letzten drei Monate sind z. B. Temperaturen alle 10 Minuten interessant. Aber nach drei Jahren wahrscheinlich nicht mehr.
Das Löschen jedes x. Datenpunktes würde die Darstellung und daraus abgeleitete Schlüsse verzerren, aber ein nachträgliches Aggregieren (z. B. anstatt Tmperatur alle zehn Minuten jeweils der Durchschnitt pro Stunde oder pro drei Stunden) könnte den Informationsgehalt beibehalten, bei gleichzeitiger Ersparnis von Informationsdichte und Speicherplatz.

Vielen Dank und viele Grüße#
Falk

[gbglace]

Ja mit dem Bulklöschen werde ich mich auch noch befassen.

Meine zuletzt angelegten MQTT Objekte generieren hier reichlich Material. (Die Datenpunkte der PV-MPPT Tracker haben seit 10.09. bis letztes We jeweils 1,3 Mio Einträge in die jeweilige TS generiert. Der Netztstromzähler seit März 8 Mio je TS. Als wirklich gut 1 Mio je Monat.

Da sind wahrscheinlich auch reichlich Duplikate dabei.

Um nicht immer soviel Löschen zu müssen wäre da bei den Hochfrequenzsystemen mehr Benefit zu generieren wenn man im Verknüpfungs-Bereich der Quellsysteme angeben könnte wie bei einem Logikausgang Weiterleitung an TS nur bei Änderung oder Trigger/Zyklus.

Bis dahin werde ich dann erstmal noch Logiken bauen, um die Flut an Daten in Richtung TS auszubremsen.

[Sun1453]

Hi Göran, da gibt es ja noch die Filtermodule welche es bei Modbus schon gibt aber bei den Systemen MQTT / HTTP API noch nicht umgesetzt sind. Ja aktuell muss man da noch die Logik bemühen, aber ich denke das wird auch noch geändert werden.

[Franky]

Update ohne Probleme installiert

[Micro]

Bei mir das Update auf allen Servern ohne Probleme durch, aber ich musste den Insider-Bezug nicht erneut aktivieren.

[Parsley]

die Filtermodule welche es bei Modbus schon gibt aber bei den Systemen MQTT / HTTP API noch nicht umgesetzt sind.

Ja, das sind Implementationslücken im TWS über deren Auflösung ich mich auch sehr freuen würde.