UPGRADE IP 9 verfügbar!
Timberwolf VISU jetzt mit NEUEM Layout Editor
Freie Anordnung, Reihenfolge und Größe der Widgets - viele weitere Verbesserungen
Infos im Wiki: https://elabnet.atlassian.net/l/cp/06SeuHRJ

NEU! Insider & Leistungsmerkmale FÜR ALLE freigeschaltet
Damit kann nun jeder das Upgrade vornehmen und VISU & IFTTT testen. Alle Info hier: viewtopic.php?f=8&t=5074

[FR] influx Datenbank aus ext. Quellen beschreiben

Diskussionen über Zeitserien, Logging und Auswertung mit Grafana
Forumsregeln
  • Denke bitte an aussagekräftige Titel und gebe dort auch die [Firmware] an. Wenn ETS, CometVisu, Grafana, Edomi oder eine andere Software beteiligt ist, dann auch immer deren Version
  • Bitte mache vollständige Angaben zu Deinem Server, dessen ID und dem Online-Status in Deiner Signatur. Hilfreich ist oft auch die Beschreibung der angeschlossener Hardware sowie die verwendeten Protokolle
  • Beschreibe Dein Projekt und Dein Problem bitte vollständig. Achte bitte darauf, dass auf Screenshots die Statusleiste sichtbar ist
  • Bitte sei stets freundlich und wohlwollend, bleibe beim Thema und unterschreibe mit deinem Vornamen. Bitte lese alle Regeln, die Du hier findest: https://wiki.timberwolf.io/Forenregeln

Ersteller
murelli146
Reactions:
Beiträge: 90
Registriert: Mi Jan 16, 2019 9:21 pm
Hat sich bedankt: 13 Mal
Danksagung erhalten: 50 Mal

influx Datenbank aus ext. Quellen beschreiben

#1

Beitrag von murelli146 »

Gibt es eine Möglichkeit in die influx db des TWS zu schreiben?

Habe auf dem WG noch RRDs die nicht bei der Migration übernommen wurden.
In Edomi nutze ich Bausteine die bis Dato Werte in eine infuxdb (auf einer VM) schreiben.

Vorhaben:
Die RRDs kann ich mit Hilfe eines Scripts in eine influxDB schreiben.
Die VM möchte ich auflösen und die TWS DB nutzen.

Ist im TWS so etwas eingerichtet. ev. eine "influx_private_DB" mit schreib rechten?
Oder muss man einen eigenen Container dafür laufen lassen?

Schöne Grüße
Gernot
Schöne Grüße
Gernot
_______________________________________________________
TWS 2600 ID:276 , VPN offen, Reboot nach Rücksprache erlaubt

James_T_Kirk
Reactions:
Beiträge: 309
Registriert: Do Sep 13, 2018 10:54 pm
Hat sich bedankt: 99 Mal
Danksagung erhalten: 120 Mal

#2

Beitrag von James_T_Kirk »

:text-yeahthat: Möchte ich auch gerne
TWS 950Q 435 verkauft, umgestiegen auf Home Assistant

Robert_Mini
Reactions:
Beiträge: 3741
Registriert: So Aug 12, 2018 8:44 am
Hat sich bedankt: 1164 Mal
Danksagung erhalten: 2058 Mal

#3

Beitrag von Robert_Mini »

Für die RRD von WG wird es bald einen Import in eine Zeitreihe geben, die man dann fortsetzen kann.
Bez. deiner DB in Edomi hilft das aber wenig.

Robert
Timberwolf Server 2500 / #117 (VPN offen + reboot nach Rückfrage) / zusätzlich: 3500M/#935, 3500L/#1297

StefanW
Elaborated Networks
Reactions:
Beiträge: 9689
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Frauenneuharting
Hat sich bedankt: 4831 Mal
Danksagung erhalten: 7633 Mal
Kontaktdaten:

#4

Beitrag von StefanW »

Wir denken darüber nach.

Wir werden da erst einen MEchanismus etablieren müssen, die Datenmengen auch zu verwalten und dem Kunden da auch die Mittel an die Hand zu geben, wie man dann auch wieder was löscht.

Aber prinzipiell bietet es sich natürlich auch an, dass man die Influx DB dafür nutzt bzw. eine kundeneigene Instanz zur Verfügung stellt.

lg

Stefan
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART
Bitte WIKI lesen. Allg. Support nur im Forum. Bitte keine PN
Zu Preisen, Lizenzen, Garantie, HW-Defekt an service at elabnet dot de

Link zu Impressum und Datenschutzerklärung oben.

Ersteller
murelli146
Reactions:
Beiträge: 90
Registriert: Mi Jan 16, 2019 9:21 pm
Hat sich bedankt: 13 Mal
Danksagung erhalten: 50 Mal

#5

Beitrag von murelli146 »

Zwischenzeitlich werde ich auf die influxDB im Docker ausweichen.
Möchte mir aber die Möglichkeit offen lassen später die DB in die TWS influxDB zu integrieren.
Dürfte dann kein Problem sein vom Docker zum TWS influx zu wechseln. (DB im export)

Kann jemand ev. davor schon sagen auf was man dabei achten sollte?

Mit TWS Grafana sollte es auch kein Problem geben, dort kann man die Docker DB hinzufügen.

Einzig und über dieses Problem stolpere ständig. Kommunikation Docker > TWS bzw. macvlan auf host.
Das macht die Sache nicht gerade leicht.
Zuletzt geändert von murelli146 am Fr Mär 08, 2019 10:43 pm, insgesamt 1-mal geändert.
Schöne Grüße
Gernot
_______________________________________________________
TWS 2600 ID:276 , VPN offen, Reboot nach Rücksprache erlaubt
Benutzeravatar

Zugschlus
Reactions:
Beiträge: 345
Registriert: Di Okt 02, 2018 4:28 pm
Wohnort: St. Ilgen, Baden-Württemberg
Hat sich bedankt: 112 Mal
Danksagung erhalten: 82 Mal
Kontaktdaten:

#6

Beitrag von Zugschlus »

StefanW hat geschrieben: Fr Mär 08, 2019 10:06 pm Wir denken darüber nach.

Wir werden da erst einen MEchanismus etablieren müssen, die Datenmengen auch zu verwalten und dem Kunden da auch die Mittel an die Hand zu geben, wie man dann auch wieder was löscht.
Ich hätte da auch einen Usecase, nämlich den Import meiner Stromverbrauchsdaten, die zur Zeit ein Volkszähler per optischer
  • D0-Schnittstelle (Zähler vom Versorger und Wärmepumpen-Zwischenzähler)
  • Modbus-RTU (eigener Zwischenzähler für die geschäftlich genutzten Räume)
  • Web Scraping aus den Webfrontends der Photovoltaik-Wechslerichter und
  • (zukunftmusik) Impulseingang vom Wasserzähler
erfasst.

Grüße
Marc
--
Marc Haber, St. Ilgen. Freier IT-Berater, Debian Developer.
TWS 950Q #326, VPN auf Anfrage - KNX, 1Wire (13/55/54 Slaves), MQTT, Cometvisu, viel Grafana, ganz ein bisschen Logik.

StefanW
Elaborated Networks
Reactions:
Beiträge: 9689
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Frauenneuharting
Hat sich bedankt: 4831 Mal
Danksagung erhalten: 7633 Mal
Kontaktdaten:

#7

Beitrag von StefanW »

Jep, alles verstanden.

lg

Stefan
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART
Bitte WIKI lesen. Allg. Support nur im Forum. Bitte keine PN
Zu Preisen, Lizenzen, Garantie, HW-Defekt an service at elabnet dot de

Link zu Impressum und Datenschutzerklärung oben.

StefanW
Elaborated Networks
Reactions:
Beiträge: 9689
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Frauenneuharting
Hat sich bedankt: 4831 Mal
Danksagung erhalten: 7633 Mal
Kontaktdaten:

#8

Beitrag von StefanW »

Der erste Schritt in dieser Sache:

- Mit der nächsten BETA (die wir diese Woche vorraussichtlich nicht mehr schaffen) kommt das Löschen von inaktiven Zeitserien, d.h. man kann nicht mehr benötigte Zeitserien nun auch löschen. Das ist ein erster Schritt, um den Speicherplatz in der DB auch administrieren zu können.

- Der Import von non-1-Wire RRDs wurde mit der letzten BETA funktionierend eingeführt, so dass man die "alten" Zeitserien vom WireGate Server nun auch im Timberwolf Server weiterführen kann (weiterführung dadurch, dass man ein KNX-Objekt auf die importierte Zeitserie weiterschreiben läßt, einfach in der Objektverwaltung beim jeweiligen KNX-Objekt die importierte Zeitserie auswählen)

- Vor einigen Versionen wurde auch die Möglichkeit eingeführt, die Zeitserien beliebig umzubenennen.


Damit haben wir eine Menge von Verbesserungen hinsichtlich der Zeitserien hinzugefügt:

1. Import früherer RRD-Zeitserien vom Wiregate Server in den Timberwolf Server und fast nahtlose Fortführung über KNX Objekte

2. Führung eigener Zeitserien auf der Basis von KNX Objekten, damit kann man auch jetzt schon von eigenen Applikationen eine Zeitserie schreiben lassen, man muss nur die aufzuzeichnenden Daten auf den KNX Bus ausgeben

3. Zeitreihen kann man nun beliebige Bezeichnungen und Beschreibungen geben, damit kann man das gut verwalten

4. "Überflüssige" Zeitreihen lassen sich ab BETA 26 löschen

5. Die Anzeige der Zeitserien im TWS läßt sich nun auch als Grafana-Generator benutzen, weil wenn man mehrere Zeitserien anklickt, einen gemeinsamen Zeitraum aussucht (die stehen alle dann rechts untereinander) und dann rechts oben auf den Grafana-Button drückt, bekommt man eine Grafana Ansicht aller dieser Zeitserien, man muss sich das also nicht extra zusammen klicken in Grafana, sondern bekommt das mit dem Feature "Grafana Plus" (bei Professional Software Lizenz) einfach als KLick auf einen Button (ich glaube das ist eines der am meisten übersehenen Features, weil wir es auch nie groß erklärt haben).


Damit sollten der großer Teil aller Wünsche erfüllt sein. Künftig wird man über ModBus / MQTT (je nach SW-Lizenz) auch noch andere Wege haben um auf Zeitserien zu schreiben.

Was nun noch fehlt, ist ein automatisches Verdichten / Löschen wenn der Speicher voll wird. Daran arbeiten wir noch.


lg

Stefan
Zuletzt geändert von StefanW am Fr Jul 26, 2019 7:10 pm, insgesamt 4-mal geändert.
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART
Bitte WIKI lesen. Allg. Support nur im Forum. Bitte keine PN
Zu Preisen, Lizenzen, Garantie, HW-Defekt an service at elabnet dot de

Link zu Impressum und Datenschutzerklärung oben.

Elrom
Reactions:
Beiträge: 89
Registriert: Fr Aug 17, 2018 11:20 am
Hat sich bedankt: 40 Mal
Danksagung erhalten: 35 Mal

#9

Beitrag von Elrom »

StefanW hat geschrieben: Fr Jul 26, 2019 1:02 pm
- Mit der nächsten BETA (die wir diese Woche vorraussichtlich nicht mehr schaffen) kommt das Löschen von inaktiven Zeitserien, d.h. man kann nicht mehr benötigte Zeitserien nun auch löschen. Das ist ein erster Schritt, um den Speicherplatz in der DB auch administrieren zu können.
Super, mit der Löschfunktion macht ihr vermutlich viele glücklich. Und auch Punkt 5 scheint eine tolle Funktion zu sein - bin gespannt.
Zu "..diese Woche vorraussichtlich nicht mehr..." : Es so viel zu warm für technisch so anspruchsvolle Arbeiten, geht lieber Eis essen, nächste Woche soll es etwas kühler werden! :D

VG
Erik
TWS 950Q #266 / VPN an, Reboot ok
Benutzeravatar

tws88_user
Reactions:
Beiträge: 428
Registriert: So Aug 12, 2018 9:42 am
Wohnort: Raum Magdeburg
Hat sich bedankt: 242 Mal
Danksagung erhalten: 148 Mal

#10

Beitrag von tws88_user »

Die Nutzbarmachung (Lesen) der Daten aus der primären InfluxDB für andere externe Anwendungen zur Erstellung von Graphen wäre noch das Sahnehäubchen. Oder geht das vielleicht sogar schon und ich habe einfach nicht genügend Durchblick.
Zuletzt geändert von tws88_user am Fr Jul 26, 2019 10:03 pm, insgesamt 1-mal geändert.
Viele Grüße, Kai
______________________
Timberwolf88 (2500er) - VPN offen. Reboot bitte nach Absprache.
Antworten

Zurück zu „Zeitserien, Logging & Grafana“