UPGRADE IP 9 verfügbar!
Timberwolf VISU jetzt mit NEUEM Layout Editor
Freie Anordnung, Reihenfolge und Größe der Widgets - viele weitere Verbesserungen
Infos im Wiki: https://elabnet.atlassian.net/l/cp/06SeuHRJ

NEU! Insider & Leistungsmerkmale FÜR ALLE freigeschaltet
Damit kann nun jeder das Upgrade vornehmen und VISU & IFTTT testen. Alle Info hier: viewtopic.php?f=8&t=5074

Video: Auswertung des KNX-LOGs mit Grafana mit dem Enertex Smartmeter

Diskussionen über Zeitserien, Logging und Auswertung mit Grafana
Forumsregeln
  • Denke bitte an aussagekräftige Titel und gebe dort auch die [Firmware] an. Wenn ETS, CometVisu, Grafana, Edomi oder eine andere Software beteiligt ist, dann auch immer deren Version
  • Bitte mache vollständige Angaben zu Deinem Server, dessen ID und dem Online-Status in Deiner Signatur. Hilfreich ist oft auch die Beschreibung der angeschlossener Hardware sowie die verwendeten Protokolle
  • Beschreibe Dein Projekt und Dein Problem bitte vollständig. Achte bitte darauf, dass auf Screenshots die Statusleiste sichtbar ist
  • Bitte sei stets freundlich und wohlwollend, bleibe beim Thema und unterschreibe mit deinem Vornamen. Bitte lese alle Regeln, die Du hier findest: https://wiki.timberwolf.io/Forenregeln

Ersteller
StefanW
Elaborated Networks
Reactions:
Beiträge: 9689
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Frauenneuharting
Hat sich bedankt: 4831 Mal
Danksagung erhalten: 7632 Mal
Kontaktdaten:

Video: Auswertung des KNX-LOGs mit Grafana mit dem Enertex Smartmeter

#1

Beitrag von StefanW »

Hallo Foristen,

wir bentzen bei uns im Gebäude ein Enertex Smartmeter mit KNX. Es loggt alle wesentlichen Werte zu Spannung, Strom, Nullleiter und vieles mehr auf den Bus und dies wird vom KNX Logger auf unserem "Hauswolf" aufgezeichnet.

Aus diesem Log werten wir diese Daten dann mit Grafana aus. Hier sind KEINE Zeitreihen angelegt, sondern das kommt direkt aus dem Log und der Dekodierfunktion des Timberwolf Servers. Wer sich das ansieht, bekommt schnelle einen Eindruck, wie extrem mächtig und einfach diese Sache ist.



Link zum Weitergeben: https://wrgt.news/video-tutorial-TW-logging-grafana

Bitte, wie immer, wir machen das für Euch, die Funktion wie die Videos und freuen uns über Eure Kommentare. Bitte auch fleißig unseren YouTube Kanal abonieren und auch auf Daumen hoch drücken, weil das motiviert uns, mehr Videos zu machen.

lg

Stefan
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART
Bitte WIKI lesen. Allg. Support nur im Forum. Bitte keine PN
Zu Preisen, Lizenzen, Garantie, HW-Defekt an service at elabnet dot de

Link zu Impressum und Datenschutzerklärung oben.

jockele
Reactions:
Beiträge: 187
Registriert: Mo Aug 13, 2018 8:40 pm
Wohnort: Steisslingen
Hat sich bedankt: 27 Mal
Danksagung erhalten: 39 Mal

#2

Beitrag von jockele »

Hallo Stefan,

mal noch eine kurze Frage die mir beim spielen in Grafana kam:

Was ist der Unterschied bezüglich der Auswertungen in Grafana zwischen KNX-Objekten und time series?
Gibt es bei der einen oder anderen Vorgehensweise Vorteile bzw. Nachteile? Speicherplatz,.....?

Die Objekte die mit Gruppenadressen verknüpft sind schicke ich ja im Normalfall sowieso auf den Bus und habe sie damit auch im KNX-LOG. Macht es dann Sinn für diese Objekte auch noch time series anzulegen?
Timberwolf Server 2500, ID:142 + PBM
VPN offen, Reboot nach Absprache

jockele
Reactions:
Beiträge: 187
Registriert: Mo Aug 13, 2018 8:40 pm
Wohnort: Steisslingen
Hat sich bedankt: 27 Mal
Danksagung erhalten: 39 Mal

#3

Beitrag von jockele »

Hallo @StefanW ,

wahrscheinlich ist die Frage in meinem obigen Post untergegangen, könntest Du dazu evtl. nochmal was schreiben?

Dankeeeee
Timberwolf Server 2500, ID:142 + PBM
VPN offen, Reboot nach Absprache

S. Kolbinger
Elaborated Networks
Reactions:
Beiträge: 588
Registriert: Mi Aug 15, 2018 11:34 am
Hat sich bedankt: 82 Mal
Danksagung erhalten: 558 Mal

#4

Beitrag von S. Kolbinger »

Hallo @jockele,

entschuldige bitte, wenn ich mich - obwohl nicht direkt angesprochen - einmische.
Aber ich hoffe, @StefanW hier etwas entlasten zu können.

Zuerst zu dem grundlegenden Unterschied:
  • Beim KNX-Logger werden alle Telegramme, die auf dem Bus erscheinen, aufgezeichnet und abgespeichert.
    Pro empfangenem Telegramm wird der Zeitstempel, das Telegramm im "Raw-Format" (=Bitstrom) und soweit möglich, PA, GA und decodierter Wert (wenn DPT zu GA bekannt ist) abgespeichert.
  • In der Zeitserie können ziemlich alle Werte, die im TW auftreten, d.h. empfangen oder erzeugt werden, mit entsprechendem Zeitstempel abgespeichert werden.
    Aktuell geht das nur für 1Wire-Werte, aber bald ist das auch universell für alle Objekte verfügbar.
In 99% der Fälle reicht daher der KNX-Logger vollkommen aus, um den Werteverlauf darstellen, bzw. nachvollziehen zu können.
Der Speicherverbrauch ist auch geringer, da keine Zeitserie mit (fast) dem gleichen Zeitstempel zusätzlich angelegt werden muss.

Wann macht es dann einen Unterschied?
  • Wenn ich einen Wert per KNX-Objekt auf den Bus schreiben will, aber der Schreibvorgang fehl schlägt, weil der Bus z.B. gestört ist.
    Dann bekommt das der KNX-Logger nicht mit. Nur wenn ich das Objekt zusätzlich in eine Zeitserie logge, erscheint dieser Schreibversuch dort.
  • Wenn ich wirklich einen genauen auf Millisekunden genauen Zeitstempel brauche, bzw. die Zeit zwischen dem Schreibauftrag und dem Erscheinen des Telegramms am Bus messen will.
Ich hoffe, dass ich den Sachverhalt einigermaßen klar darstellen konnte.
Und weiterhin viel Spaß mit deinem Timberwolf.

Stefan Kolbinger
Gruß,
Stefan K.

jockele
Reactions:
Beiträge: 187
Registriert: Mo Aug 13, 2018 8:40 pm
Wohnort: Steisslingen
Hat sich bedankt: 27 Mal
Danksagung erhalten: 39 Mal

#5

Beitrag von jockele »

das hilft definitiv schon mal weiter, danke.

Noch eine Frage zum KNX-Logger, wieviele Telegramme bzw. wie lange wird denn der Log gespeichert bzw. gibt es dann auch irgendeine Möglichkeit die Logs mal händisch aufzuräumen nach Zeitraum x?
Timberwolf Server 2500, ID:142 + PBM
VPN offen, Reboot nach Absprache

Ersteller
StefanW
Elaborated Networks
Reactions:
Beiträge: 9689
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Frauenneuharting
Hat sich bedankt: 4831 Mal
Danksagung erhalten: 7632 Mal
Kontaktdaten:

#6

Beitrag von StefanW »

Guten Morgen,

ein wesentlicher Unterschied liegt in der Speichertiefe - auf die Zeit bezogen.

Je nach Modell liegt die Loglänge zwischen 10 Millionen und 1 Milliarde Telegramme (kann man in der Preisliste auf der "blauen" Seite mit den Software-Eigenschaften nachlesen). Danach rotiert das Log und die älteren Daten sind weg.

Die Länge (in zeitlicher Hinsicht) von Zeitserien ist nur durch den Speicherplatz beschränkt und da die meisten Geräte hier sehr viel haben, muss man sich da keine Gedanken machen.

Wer also womöglich sehr weit in die Vergangenheit zurücksehen will bei den Daten, der setzt sich eine Zeitserie.

Die Logs muss man nicht händisch aufräumen, das macht ein Prozess automatisch. Der Timberwolf Server ist doch ein Server der einem die Arbet abnehmen soll... nicht neue schaffen.

lg

Stefan
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART
Bitte WIKI lesen. Allg. Support nur im Forum. Bitte keine PN
Zu Preisen, Lizenzen, Garantie, HW-Defekt an service at elabnet dot de

Link zu Impressum und Datenschutzerklärung oben.

jockele
Reactions:
Beiträge: 187
Registriert: Mo Aug 13, 2018 8:40 pm
Wohnort: Steisslingen
Hat sich bedankt: 27 Mal
Danksagung erhalten: 39 Mal

#7

Beitrag von jockele »

ok, aber könnte man denn theoretisch händisch ein einzelnes bzw. mehrere Telegramme löschen?
Es wäre ja denkbar dass ich z.B. irgendwann im Laufe der Zeit (rein hypothetisch) von einem Temperatursensor einen falschen Wert bekomme weil die Dame des Hauses oder der Nachwuchs meinte er/sie muss mit dem Fön mal auf einen Sensor zielen, dann hätte ich ja in meinem Diagramm des Temperaturverlaufs ein paar schöne Ausreisser drin die man gerne wieder weg hätte
Timberwolf Server 2500, ID:142 + PBM
VPN offen, Reboot nach Absprache

Robert_Mini
Reactions:
Beiträge: 3741
Registriert: So Aug 12, 2018 8:44 am
Hat sich bedankt: 1164 Mal
Danksagung erhalten: 2058 Mal

#8

Beitrag von Robert_Mini »

StefanW hat geschrieben: Mi Nov 21, 2018 7:02 am ein wesentlicher Unterschied liegt in der Speichertiefe - auf die Zeit bezogen.
Aber das ist genau das Problem.

Ich brauche keine redundanten Daten. Der Busmonitor macht das perfekt. Aber mit 4-6 Telegrammen/sec ist man irgendwo nach 5 Jahren am 1Mrd Limit.
Ich vermute es geht da um die Größe/Performance der Datenbank.

Leider kommt man mit der Telegramrate nur bedingt runter, da zb Stromverbrauch (Akt. Leistung über Impulszähler) schon viel ausmacht.

Die Datenbank sichern/exportieren ist nicht geplant, oder?

Bleibt dann eben nur weitere Zeitreihen anzulegen (Wetter, Stromverbrauch, etc.), sind im Moment ca. 120rrd am WG, davon 35Sensoren.

@Chris M.: Auch ist mir noch unklar, ob die Cometvisu Zeitreihen braucht oder auch aus dem Log Diagramme anzeigen können wird.

Lg
Robert
Timberwolf Server 2500 / #117 (VPN offen + reboot nach Rückfrage) / zusätzlich: 3500M/#935, 3500L/#1297

Ersteller
StefanW
Elaborated Networks
Reactions:
Beiträge: 9689
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Frauenneuharting
Hat sich bedankt: 4831 Mal
Danksagung erhalten: 7632 Mal
Kontaktdaten:

#9

Beitrag von StefanW »

jockele hat geschrieben: Mi Nov 21, 2018 9:16 amok, aber könnte man denn theoretisch händisch ein einzelnes bzw. mehrere Telegramme löschen?
Wir haben das gestern intern diskuttiert. Wir haben verstanden, dass Euch das wichtig ist und es steht auf der Liste der weniger wichtigen Leistungsmerkmale. Wenn mal Zeit ist dafür..

Stefan

Hinzugefügt nach 3 Minuten 40 Sekunden:
Robert_Mini hat geschrieben: Mi Nov 21, 2018 9:20 amAber das ist genau das Problem.
Naja, was heißt Problem. Es geht um DB-Größe vs. Speicherplatz

Robert_Mini hat geschrieben: Mi Nov 21, 2018 9:20 amDie Datenbank sichern/exportieren ist nicht geplant, oder?
Die DB ist Bestandteil der Sicherung. Export ist derzeit nicht geplant, aber technisch sicher machbar.

Robert_Mini hat geschrieben: Mi Nov 21, 2018 9:20 amBleibt dann eben nur weitere Zeitreihen anzulegen (Wetter, Stromverbrauch, etc.), sind im Moment ca. 120rrd am WG, davon 35Sensoren.
Das ist nicht so schlecht, zumal wir ein Feature planen, dass man Zeitreihen aus dem Log erstellen und fortführen lassen kann. Ist aber Zukunftsmusik

Robert_Mini hat geschrieben: Mi Nov 21, 2018 9:20 amAuch ist mir noch unklar, ob die Cometvisu Zeitreihen braucht oder auch aus dem Log Diagramme anzeigen können wird.
Die CometVisu soll eine Objekt-Schnittstelle bekommen. Zeitreihen sind Objekte und das Ergebnis von SQL-Abfragen sind auch Objekte.... damit ginge dann beides.

Stefan
Zuletzt geändert von Robert_Mini am Mi Nov 21, 2018 2:11 pm, insgesamt 3-mal geändert.
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART
Bitte WIKI lesen. Allg. Support nur im Forum. Bitte keine PN
Zu Preisen, Lizenzen, Garantie, HW-Defekt an service at elabnet dot de

Link zu Impressum und Datenschutzerklärung oben.

Robert_Mini
Reactions:
Beiträge: 3741
Registriert: So Aug 12, 2018 8:44 am
Hat sich bedankt: 1164 Mal
Danksagung erhalten: 2058 Mal

#10

Beitrag von Robert_Mini »

Danke für deine umfangreiche Antwort!
Die Idee, dass man Zeitreihen aus dem Log erstellen + fortsetzen kann ist spitze!!!!

Danke und lg
Robert
Timberwolf Server 2500 / #117 (VPN offen + reboot nach Rückfrage) / zusätzlich: 3500M/#935, 3500L/#1297
Antworten

Zurück zu „Zeitserien, Logging & Grafana“