[Frage] Externe TSDB

[lnxshell]

Hi!

Ich sags gleich , ich hab "NOCH" keinen Timberwolf aber die VISU gefält einfach zu sehr - wird also nicht mehr lang dauern. Ich hätte nur eine Frage zum Thema InfluxDB (TSDB) generell. Gibts es die Einstellungsmöglichkeit alle Zeitserien in eine "externe" TSDB zu schreiben (ggf. zusätzlich bzw. statt internal)?

Vielen Dank & lG
Oliver

[StefanW]

Hallo Oliver,

herzlich willkommen hier im Forum und hoffentlich baldiger TWS Besitzer.

Gibts es die Einstellungsmöglichkeit alle Zeitserien in eine "externe" TSDB zu schreiben (ggf. zusätzlich bzw. statt internal)?

Nein, gibt es nicht, aber der Wunsch ist nicht ganz neu und es steht auf der Liste der Wünsche.

Im Moment stehen folgende Dinge bei uns im Entwicklungsfokus:

1. VISU mit weiteren Widgets ausbauen und erweiterte Mapping-Funktionen integrieren (damit die VISU mehr Datentypen "frisst) sowie in späteren Releases dann Rechtemanagement, mehr Navigation, globale Funktion, eigene native APPs

2. Logik wird stark erweitert und bekommt neue Fähigkeiten

3. Integrator VPN (wobei es ein indirektes Cloud-basiertes VPN ist, das sehr einfach, auch von Nutzern die keine Integratoren sind, benutzt werden soll), das erleichtert dann auch den gegenseitigen Support in der Community

4. Konfigurationen von MQTT und Rest-API per Profil exportierbar, importierbar - damit untereinander austauschbar, was ebenfalls den Support untereinander vereinfacht und das Community-Konzept verbessert

5. Notification, damit man sich Nachrichten schicken lassen kann, hier kam erst vor einigen Tagen eine neue Version heraus


Das sind alles sehr wichtige und vielfach gewünschte Verbesserungen. Der Themenbereich wie Zeitserien usw. kann man danach angehen, weil wir wollen natürlich schon das gesamte System frisch und modern halten


lg

Stefan

[lnxshell]

Klare Ansage und nachvollziehbar - Vielen Dank!

Ich werde einfach wieder darauf zurück kommen wenn es soweit ist

lg
Oliver

[StefanW]

Hi Oliver,

danke sehr.

Meine Hinweise dazu, was wir planen, heißt nicht, dass wir das verbindlich versprochen haben, weil die Vergangenheit hat gelehrt, dass die Zeit einem schneller durch die Finger rinnt, als man das glauben wollte und vieles entpuppt sich als aufwändiger, als man sich das gedacht hat, daher nur eine unverbindliche Info über unsere interne Planung.

lg

Stefan

[lnxshell]

Hallo Stefan,

vl einen unpopuläre Meinung im Software Umfeld, aber das war mir von Anfang an klar

Bzw. ich habe mit dem gleichen Phänomen beruflich oft zu "kämpfen":

"Ja aber du hast ja gesagt das könnte (möglicherweise) funktionieren und wir brauchen das JETZT (GESTERN)..."

"Ja eh ....."

Also keine Sorge, ich behalts mir auf der Liste für die "Must-Have" Kriterien für meine Migrations-/Kauf- Entscheidung bzw. finde ich es immer sehr spanned, wenn man so ein Produkt wachsen sieht und Ideen / Anforderungen einer lebhaften Community mit einfließen .


lg
Oliver

[Robert_Mini]

Hallo Oliver!

Was ist der Hintergrund deiner Frage?
Du schreibst von extern speichern und gleichzeitig Migration.
Geht es dir um das Mitnehmen von Altdaten auf den Wolf oder Mitnahme von Wolf in eine eventuelle künftige Ersatzlösung (Vermeidung vendor lock-in)?

Lg Robert

[lnxshell]

Hallo Robert!

Danke für die berechtigte Frage! Die Gründe sind vielfältig...

VORWORT: Ich sage bzw. behaupte in KEINER WEISE, daß InfluxDB schlecht ist bzw. die Lösung im Timberwolf falsch ist. Ganz im Gegenteil find ich die Kombination im Smarthome großartig.

Allerdings (aus rein persönlicher Sichtweise):

1. Deine Annahme ist korrekt - ich bin kein Freund von Vendor lock-in. Das ist so eine Prinzip Sache bzw. vl auch beruflich bedingt

2. Meine Datensammlung (TSDB) ist durchaus umfangreich und zentralisiert. Somit liefern zahlreiche Systeme ihre Kennzahlen in eine zentrale TSDB (Symcon, IObroker, ebusd, CheckMK, ..*1). Ich würde mich auch als "metric addicted" bezeichnen

3. Ich bin seit 2 Jahren ca. von InfluxDB auf Victoriametrics umgestiegen wegen Performance, Skalierbarkeit und Effizienz. Ich weiß, dass kann man sicher bei viel Bier sehr lang diskutieren, ob es wirklich besser ist - Meiner Meinung ja (wieder beruflich bedingt, betreue eine sehr große Umgebung als interner Service Provider - spielt für "daheim" vermutlich weniger eine Rolle ). Allerdings macht sich die effizientere Speicherung der Daten durchaus bemerkbar (Faktor ~10x ca Victoriametrics vs Influx). Auch in Docker läufts wirklich gut.

4. Weiters find ich PromQL / MetricsQL hat sich gut weiterentwickelt im Vergleich zu InfluxQL bzw. FLUX (OMG ....) - ist aber wieder eine persönlich Präferenz.

5. Victoriametrics versteht Influx Line Protocol bzw. API v1 und v2 als Input (Output nur PromQL / MetricsQL bzw. CSV etc.) Somit bin ich total flexibel und es funktioniert perfekt im Prometheus Ecosystem.

Wenn es jemand interessiert:

Vergleich -> https://soufianebouchaara.com/benchmark ... -database/
Influx with VCM: https://docs.victoriametrics.com/guides ... om-influx/

PS: Wirklich danke für die Frage - freut mich wenn es etwas Diskurs zu meiner Frage gibt!

*1) Wenn die Aufzählung anderer Hersteller ein Problem ist lösche ich diese gerne. Ich finde aber, eine offene Diskussion macht immer Sinn. Aber Regeln sind Regeln - kP somit!

lg
Oliver

[lnxshell]

Ergänzung / Anmerkung Punkt 5.

Nachdem VCM nur Influx Input kann, ist es natürlich kein Ersatz für die "interne" InfluxDB Instanz. Mein große Hoffnung ist somit eine externe zusätzlich verwenden zu können (ev. intern kürzere retention time, extern für Jahre ..etc). Man könnte auch permanent Daten von der internen Instanz "absaugen" und in eine andere TSDB schreiben .. würde auch gehen. Es gibt viele Ansätze wenn der "externe" Zugriff gewährleistet ist.