UPGRADE IP 9 verfügbar!
Timberwolf VISU jetzt mit NEUEM Layout Editor
Freie Anordnung, Reihenfolge und Größe der Widgets - viele weitere Verbesserungen
Infos im Wiki: https://elabnet.atlassian.net/l/cp/06SeuHRJ

NEU! Insider & Leistungsmerkmale FÜR ALLE freigeschaltet
Damit kann nun jeder das Upgrade vornehmen und VISU & IFTTT testen. Alle Info hier: viewtopic.php?f=8&t=5074

[FR] Cloud- bzw FTP-basierte Backuplösung gewünscht?

Hier bitte Eure Diskussionen und Feature Requests zu neuen Logikmodulen und Funktionen des Logik-Editors
Antworten
Benutzeravatar

Ersteller
773H
Reactions:
Beiträge: 428
Registriert: Mo Okt 15, 2018 9:24 pm
Hat sich bedankt: 103 Mal
Danksagung erhalten: 208 Mal

Cloud- bzw FTP-basierte Backuplösung gewünscht?

#1

Beitrag von 773H »

Weil es gerade hier viewtopic.php?f=8&t=3072&start=40#p34942 angesprochen wurde und ich mich dafür interessiere:
Wer hat denn noch Interesse an einer externen Sicherungsmöglichkeit der TWS-Daten ohne die (nach einiger Laufzeit sicherlich unterdimensionierte) interne SD-Karte zu nutzen?
Man sollte ja eigentlich zu Sicherheit (z.B. gegen Elementraschäden) sowieso immer noch ein externes Backup machen und örtlich getrennt aufbewahren. Dazu bietet sich eine cloudbasierte Lösung ja vorbildlich an.


Hintergrund: Vielleicht bin ich nicht der einzige, der das momentan laufende (einmalige) Angebot eines SD-Upgrades nicht zeitnah wahrnehmen kann und andere haben auch ein Interesse an einer SD-losen deutlich erhöhten Sicherungsoption.

Gruß
Stephan
Zuletzt geändert von 773H am So Nov 21, 2021 11:21 pm, insgesamt 2-mal geändert.
TWS 2500 ID:677, PBM ID:495 & ID:632, TWS 2500 ID:574, TWS 2500 ID:220, PBM ID:1022, VPN offen, Neustart kein Problem
Benutzeravatar

Ersteller
773H
Reactions:
Beiträge: 428
Registriert: Mo Okt 15, 2018 9:24 pm
Hat sich bedankt: 103 Mal
Danksagung erhalten: 208 Mal

#2

Beitrag von 773H »

PS: wenn dieser Beitrag nicht auf "abstimmbar" gesetzt ist, kann das vielleicht einer der Admins noch nachholen. Danke.
TWS 2500 ID:677, PBM ID:495 & ID:632, TWS 2500 ID:574, TWS 2500 ID:220, PBM ID:1022, VPN offen, Neustart kein Problem

StefanW
Elaborated Networks
Reactions:
Beiträge: 9689
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Frauenneuharting
Hat sich bedankt: 4831 Mal
Danksagung erhalten: 7632 Mal
Kontaktdaten:

#3

Beitrag von StefanW »

Hallo Stephan,

ganz so leicht ist es nicht.

1. So ein Backup ist kein Stream, sondern - auch wegen der Verschlüsselung - werden die einzelnen Daten zunächst lokal auf der Platte weggeschrieben. Für die Influx-DB bedeutet das, das ein Export angestoßen wird, der richtig Platz braucht (durchaus in der Größe, wie die Influx-DB selbst). Dieser Export wird dann in eine verschlüsselte Datei auf dem Backup Device geschrieben.

2. Würden wir also ein Cloud-Backup machen, dann müsste man ebenfalls so vorgehen und zunächst die Einstellungen und die Datenexporte auf die Platte schreiben, dann hochladen

==> Wessen SSD dafür nicht groß genug ist, dem nutzt das also auch nichts. Darum ist die Erweiterung der SSD, die wir im FreshUp anbieten auch so wichtig. Später könnte man das optimieren, das man die Exports zunächst auf die Backup-SD schreibt und von dort auf einen externen Datenträger. Auch dafür macht eine große Backup-SD Sinn.

==> Daher ist mein Rat an alle: Bucht den FreshUp, damit die Datenträger auch die Größe bekommen, die dem erhöhten Datenaufkommen genügt und damit wir dann auch alternative Backup-Strategien - u.a. via Backup-SD - implementieren können.

So ein Cloud-Backup könnte teuer werden, weil da wir nicht ein Datensicherungsunternehmen mit Entwicklung eines komplexen Backups mit Deduplizierung einzelner Influx-Datensätze gründen wollten, wären das stets komplette Backups und 30 mal Im Monat 10 bis 20 GigaByte hochzuladen kostet durchaus.

Da 90% der Nutzer ein NAS haben dürften, das FTP beherrscht, würde ich das als primäre externe Sicherungsquelle sehen (auch hierfür ist mehr SSD / SD sinnvoll - für die Zwischendateien). Cloud-Backups für sein NAS wird man ohnehin als umsichtiger Mensch schon gebucht haben.


lg

Stefan
Zuletzt geändert von StefanW am So Nov 21, 2021 12:40 pm, insgesamt 1-mal geändert.
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART
Bitte WIKI lesen. Allg. Support nur im Forum. Bitte keine PN
Zu Preisen, Lizenzen, Garantie, HW-Defekt an service at elabnet dot de

Link zu Impressum und Datenschutzerklärung oben.

pbm
Reactions:
Beiträge: 201
Registriert: Mo Dez 02, 2019 10:20 pm
Wohnort: Hannover
Hat sich bedankt: 116 Mal
Danksagung erhalten: 114 Mal

#4

Beitrag von pbm »

Regelmäßiges (automatisches) Backup mit anschließenden kopieren per (s)ftp auf ein beliebiges Ziel wäre ganz nett...
Schöne Grüße
Peer

TWS 2400 #466 // Wartungs-VPN: aktiv // Reboot: nach Rücksprache
Benutzeravatar

Ersteller
773H
Reactions:
Beiträge: 428
Registriert: Mo Okt 15, 2018 9:24 pm
Hat sich bedankt: 103 Mal
Danksagung erhalten: 208 Mal

#5

Beitrag von 773H »

Ja. FTP wurde im oben erwähnten Beitrag auch genannt. Gerne auch das als Alternative zur Cloud.

Gruss Stephan
TWS 2500 ID:677, PBM ID:495 & ID:632, TWS 2500 ID:574, TWS 2500 ID:220, PBM ID:1022, VPN offen, Neustart kein Problem

Sensej
Reactions:
Beiträge: 901
Registriert: So Aug 12, 2018 9:12 am
Hat sich bedankt: 112 Mal
Danksagung erhalten: 240 Mal

#6

Beitrag von Sensej »

Ja, lieber FTP als Cloud
MfG Juri
TWS 2400 ID: 69 + PBM ID: 728 + TP-UART, VPN offen, Reboot erlaubt
Benutzeravatar

Chris M.
Reactions:
Beiträge: 1190
Registriert: Sa Aug 11, 2018 10:52 pm
Wohnort: Oberbayern
Hat sich bedankt: 234 Mal
Danksagung erhalten: 853 Mal
Kontaktdaten:

#7

Beitrag von Chris M. »

Und wenn man sich noch was wünschen darf: SMB / CIFS statt (bzw. vermutlich zusätzlich) zu (S)FTP.

Trotz reinem Linux-Netzwerk zu Hause nutze ich nur SMB/CIFS mit meinem NAS und würde ungern einen zusätzlichen Dienst installieren, der auch noch von mir unbemerkt immer funktionieren muss. Wenn es dagegen Probleme mit SMB gibt, dann bekomme ich das schnell mit, da ich den regelmäßig selbst nutze.
CometVisu Entwickler - Bitte keine PNs, Fragen gehören in das Forum, damit jeder was von den Antworten hat!

CometVisu Fragen, Bugs, ... bitte im Entwicklungs-Forum, hier nur spezifisches für CV<->Timberwolf.

TWS 2500 ID: 76 + TP-UART - VPN offen, Reboot nur nach Absprache
Benutzeravatar

Ersteller
773H
Reactions:
Beiträge: 428
Registriert: Mo Okt 15, 2018 9:24 pm
Hat sich bedankt: 103 Mal
Danksagung erhalten: 208 Mal

#8

Beitrag von 773H »

StefanW hat geschrieben: So Nov 21, 2021 12:40 pm ganz so leicht ist es nicht.
==> Wessen SSD dafür nicht groß genug ist, dem nutzt das also auch nichts. Darum ist die Erweiterung der SSD, die wir im FreshUp anbieten auch so wichtig. Später könnte man das optimieren, das man die Exports zunächst auf die Backup-SD schreibt und von dort auf einen externen Datenträger. Auch dafür macht eine große Backup-SD Sinn.
Danke für die Info. Das war mir SO nicht klar. Trotzdem an dieser Stelle die Frage, warum man denn als Zwischenspeicher nicht statt der SD-Karte die sehr gut dimensionierte SSD verwenden kann. Die Datensicherheit auf lange Sicht ist für ein (kurzes) Zwischenspeichern doch unerheblich.
==> Daher ist mein Rat an alle: Bucht den FreshUp, damit die Datenträger auch die Größe bekommen, die dem erhöhten Datenaufkommen genügt und damit wir dann auch alternative Backup-Strategien - u.a. via Backup-SD - implementieren können.
Ja, mache ich sehr gerne (ist schon 2x bestellt), habe aber Bedenken, dass es - warum auch immer - nicht klappt.
So ein Cloud-Backup könnte teuer werden, weil da wir nicht ein Datensicherungsunternehmen mit Entwicklung eines komplexen Backups mit Deduplizierung einzelner Influx-Datensätze gründen wollten, wären das stets komplette Backups und 30 mal Im Monat 10 bis 20 GigaByte hochzuladen kostet durchaus.
Nun ja, klar, wenn man das Backup auf 24h-Basis durchführen möchte, kommt da schon was zusammen. Dass das Kosten verursacht, ist auch klar. Aber dafür gibt es ja jetzt die Elab-ID :mrgreen:

Ich persönlich hatte eher im Sinn, die Cloud-Lösung als Ersatz für den zu klein gewordenen SD-Speicher zu nutzen. D.h. je 1x vor und 1x nach dem Update. Das dürfte deutlich weniger Traffic erzeugen.

Gruß
Stephan
TWS 2500 ID:677, PBM ID:495 & ID:632, TWS 2500 ID:574, TWS 2500 ID:220, PBM ID:1022, VPN offen, Neustart kein Problem

StefanW
Elaborated Networks
Reactions:
Beiträge: 9689
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Frauenneuharting
Hat sich bedankt: 4831 Mal
Danksagung erhalten: 7632 Mal
Kontaktdaten:

#9

Beitrag von StefanW »

Hallo Stephan,

wir sind inzwischen etwas weiter gekommen und hier noch einige Anmerkungen:
773H hat geschrieben: Mo Nov 22, 2021 9:08 amDanke für die Info. Das war mir SO nicht klar. Trotzdem an dieser Stelle die Frage, warum man denn als Zwischenspeicher nicht statt der SD-Karte die sehr gut dimensionierte SSD verwenden kann.
Als Zwischenspeicher wurde schon immer die SSD verwendet, erst von dort ging es auf die SD / µSD oder mittlerweile auch den Timberwolf Backup USB Stick.

Bei manchen TWS 350 / 950 / 960 wird die SSD mittlerweile zu knapp dafür, daher haben wir nun auch implementiert, dass als Zwischenspeicher für die Erstellung des Backup der Timberwolf Backup USB Stick (automatisch, soweit vorhanden) verwendet wird, auch wenn er selbst das Backup-Ziel ist.

Insofern geht der Backup Dienst nun deutlich intelligenter mit dem verfügbaren Speicherplatz vor.

Trotzdem ist ausreichend SSD wichtig, weil auch die Influx für das Reorganisieren der Datenbanken Platz auf der SSD benötigt.

773H hat geschrieben: Mo Nov 22, 2021 9:08 amIch persönlich hatte eher im Sinn, die Cloud-Lösung als Ersatz für den zu klein gewordenen SD-Speicher zu nutzen. D.h. je 1x vor und 1x nach dem Update. Das dürfte deutlich weniger Traffic erzeugen.
Wir sind bei dem Thema Cloud-Backup nun auch weiter, insbesondere was den Traffic betrifft, sollten wir eine kostenverträgliche Lösung haben. Speicherkosten sind aber ein Thema und hier müssen wir sehen, wie wir das künftig anbieten können.

Bislang ist das Interesse dafür aber offenbar verhalten. Weil diejenigen Power-User, die ein NAS besitzen, wollen das Backup natürlich dort drauf haben, wobei es per FTP den großen Nachteil hat, dass die ganzen Meta-Informationen zur Kompatibilität usw. nicht gelesen werden können (weil man keine "Teile" von Daten per FTP lesen kann). Womöglich ginge ein "Push auf FTP", aber Rücksichern dann nur via Stick, damit wir an die Meta-Daten kommen. Oder man separiert die Meta-Daten. Alles machbar, aber kostet auch Zeit und wir fragen uns, wer das bezahlen wird? Weil dem Neukunden ist es nichts wert (da er solche Funktionen nicht im Auge hat, andere Server bieten so ein eigenständiges Backup Modul nicht an, höchstens Sicherung aus der Config-Software).)


In der aktuellen Umfrage künftiger Leistungsmerkmale kann man hierzu abstimmen: viewtopic.php?f=9&t=3585

lg

Stefan
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART
Bitte WIKI lesen. Allg. Support nur im Forum. Bitte keine PN
Zu Preisen, Lizenzen, Garantie, HW-Defekt an service at elabnet dot de

Link zu Impressum und Datenschutzerklärung oben.
Antworten

Zurück zu „Feature Requests & Diskussionen Timberwolf Logik (Module & Editor)“