[DISKUSSION] Timeseries manipulieren / bearbeiten?

[Chris M.]

Yup. Genau so isses. Zwingt Dich ja keiner die Daten wieder zu importieren.

KISS: Keep it simple, stupid.

[gbglace]

OK und die Timeseries ist dann schon ein paar Jahre alt mit x Mio Zeilen lang, wer von den PC Legastheniker will das CSV dann noch bearbeiten? Und kann der TWS das händeln weil in der Influx sind das noch hochkomprimierte kleine Datenbestände die dann im CSV Rohformat explodieren?
Und welches von Excel vergewaltigte CSV, gerade mit einer Datumsspalte oder Dezmalwerten per Punkt getrennt beinhaltend will man dann wieder sauber zurück lesen?

Es ist und bleibt ein massiver Treiber an Fehlerpotenzial, klar kann man das lösen aber will man den dafür notwendigen Aufwand priorisieren?

So lange das also nicht vollständig als Feature vorhanden ist, sehe ich entweder die Werte vorm Speichern gefiltert oder eben im Chart filtern.

[starwarsfan]

Hallo miteinander,

das wird ja wieder mal eine interessante Diskussion hier. Sehr schön, gefällt mir.

Aus den bisherigen Inputs könnte ich mir durchaus eine Funktionalität vorstellen, welche das Potential hat, ohne zusätzlichen Support-Aufwand zu funktionieren.

Zunächst würde ich den Funktionsumfang genau definieren, welcher abgedeckt werden soll. Ich habe jetzt die alten Diskussionen dazu nicht nochmal gelesen aber AFAIR war der Anwendungsfall immer die Bereinigung der Timeseries.

Nennen wir die Funktion mal "Timeseries-Plausibilisierung". Damit könnte das so wie der bekannte Verknüpfungsassitent aussehen, in welchem als Input die gewünschte Timerseries-DB selektiert wird. Als Hauptfunktion gibt es nun zwei Optionen: "Entferne Werte grösser als" und "Entferne Werte kleiner als", welche auch beide gleichzeitig aktiviert werden können und als Parameter jeweils einen entsprechenden Max- resp. Min-Wert bekommen. Mehr ist im Assistenten nicht notwendig. Wird dieser nun gestartet, liest er von der selektierten Timeseries-DB und schreibt die gefilterten Werte in eine neue Timerseries-DB.

Im Anschluss verknüft der Assistent die neue Timerseries-DB zusätzlich mit der Quelle, welche auch in die alte Timerseries-DB schreibt. Damit werden mehrere Fliegen mit einer Klappe geschlagen:
- Während der Bereinigung gehen keine Werte verloren
- Die alte DB bleibt bestehen und wird weiterhin befüllt
- Die neue DB wird ebenfalls mit neuen Werten befüllt und kann via Grafana etc. geprüft werden
- Wenn's nicht passt, neue DB löschen und den Assistenten nochmal mit angepassten Werten laufen lassen

Damit es nicht vergessen geht und unnötigen Platz auf der Disk belegt, könnte zusätzlich auch noch eine Meldung in die Notification-Box gehängt werden, dass die alte Timeseries-DB gelöscht werden sollte, wenn sie nicht mehr benötigt wird.

Ich würde sagen, damit ist das DAU-Konform und resistent gegen das komplette Zerschiessen der Quelldaten. Ausserdem könnte der Assistent später auch mit weiteren Filter-Funktionalitäten erweitert werden, wenn dafür ein Bedarf besteht. Natürlich fällt auch das nicht vom Himmel resp. muss implementiert werden aber zumindest handelt man sich damit nicht potentiell erheblichen Support-Aufwand ein.

Was meint ihr dazu?

[jensgulow]

d'accord

[Sun1453]

@starwarsfan

Ich sehe es so wie du es geschrieben hast.

Weitere Filter Funktionalitäten neben Werten die höher oder niedriger sind, könnten dann noch entsprechende Zeiträume sein die man entfernen möchte. Dabei sollte man z.B. von 01.01.2022 12:00 bis 01.01.2022 13:30 zum Beispiel selektieren können. Dann werden einen die Werte nochmal angezeigt die vorhanden sind und dann geht man auf entfernen.

[Robert_Mini]

Sehr guter Vorschlag.
Ich würde dann aber noch ein von-bis Zeitfenster ergänzen, dann kann man auch falsche Werte entfernen - zb Zählerstand wird zyklisch geschrieben, wenn kein Wert kommt dann der alte (Ist manchmal der Fall, wenn man für Visu und Zeitserie Werte schreibt).

Das Zeitfenster sollte mit dem Kriterium verknüpfbar sein.

Lg
Robert

[gbglace]

Na so langsam kommen wir doch zu einer sinnvollen Feature Diskussion.

Die Lösung mit dem Assistent der nur einen Wertefilter enthält klingt gut. Die Anzeige der daraus resultierenden Werte sehe ich aber schon nicht mehr für Stufe1 dafür hat man ja Grafana kann man sich ja vorher die Filterwerte hinbauen.

Grundsätzlich auch ein Zeitfenster definierenklingt gut, man muss nur wieder beachten das man nicht Positivfilter und Negativfilter vermischt, das macht es nicht immer übersichtlich.

Robert.
Dein Beispiel mit der Zeitfilterrung habe ich mir in den ersten Zeilen noch analog zum Vorschlag von Michael vorgestellt aber irgendwie würde es dann doch unklar wie es gemeint ist als dann der Zähler mit zyklischen Werten auftauchte.

Sollen grundsätzlich solche Wertwiederholungen entfernt werden? Das wäre wieder eine andere Funktionalität und ist schwerer umsetzbar.

[starwarsfan]

Hallo miteinander

Na so langsam kommen wir doch zu einer sinnvollen Feature Diskussion.

So sieht's aus.

Die Lösung mit dem Assistent der nur einen Wertefilter enthält klingt gut. Die Anzeige der daraus resultierenden Werte sehe ich aber schon nicht mehr für Stufe1 dafür hat man ja Grafana kann man sich ja vorher die Filterwerte hinbauen.

Ack, sehe ich auch so. Es gibt ja bereits zwei Varianten, um die Werte zu prüfen: Einmal mit entsprechenden Filterwerten vorher sowie mit dem Test der neuen DB nach dem Cleanup.

[Robert_Mini]

Robert.
Dein Beispiel mit der Zeitfilterrung habe ich mir in den ersten Zeilen noch analog zum Vorschlag von Michael vorgestellt aber irgendwie würde es dann doch unklar wie es gemeint ist als dann der Zähler mit zyklischen Werten auftauchte.

Sollen grundsätzlich solche Wertwiederholungen entfernt werden? Das wäre wieder eine andere Funktionalität und ist schwerer umsetzbar.

Nein natürlich nicht.
Hatte nur mal den Fall, dass eine Verbindung abgebrochen ist und dann ein konst. Wert geschrieben wurde.
Hat nichts mit unsere Diskussion zu tun.

Lg
Robert

[Eraser]

Das würde mit dem kleiner/größer und Zeitfenster-Filter dann auch funktionieren, also würde das so schon perfekt passen.