[NEUHEIT] NEU: Backup per FTP und Systemobjekten

Hier diskutieren wir über die Leistungsmerkmale rund um Backup & Restore
Forumsregeln
  • Denke bitte an aussagekräftige Titel und gebe dort auch die [Firmware] an. Wenn ETS oder CometVisu beteiligt sind, dann auch deren Version
  • Bitte mache vollständige Angaben zu Deinem Server, dessen ID und dem Online-Status in Deiner Signatur. Hilfreich ist oft auch die Beschreibung der angeschlossener Hardware sowie die verwendeten Protokolle
  • Beschreibe Dein Projekt und Dein Problem bitte vollständig. Achte bitte darauf, dass auf Screenshots die Statusleiste sichtbar ist
  • Bitte sei stets freundlich und wohlwollend, bleibe beim Thema und unterschreibe mit deinem Vornamen. Bitte lese alle Regeln, die Du hier findest: https://wiki.timberwolf.io/Forenregeln
Gesperrt

Ersteller
StefanW
Elaborated Networks
Elaborated Networks
Reactions:
Beiträge: 10755
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Frauenneuharting
Hat sich bedankt: 5310 Mal
Danksagung erhalten: 8716 Mal
Kontaktdaten:

NEU: Backup per FTP und Systemobjekten

#1

Beitrag von StefanW »

Verehrte Nutzer des Timberwolf Servers,

es gibt ein Mega-Update für die KNX-Unterstützung im Timberwolf Server.

Übersicht


Grundlagen Backup & Restore

1. NEU! Hochladen von Sicherungsdateien

2. NEU! Steuerung Datensicherung aus dem Objektsystem

3. NEU! Zwei neue Logik-Module zur Anforderung der Datensicherung (Objektsystem)

4. NEU! Backup per FTP / FTPS

5. Verfügbarkeit




Wichtige Hinweise zu Backup & Restore

Es gibt ein paar wichtige Details, insbesondere zu den verschiedenen Modellvarianten, möglichen Sicherungszielen und technischen Abhängigkeiten, die man wissen sollte.

Daher beachte bitte die folgenden Hinweise für die Datensicherung und Wiederherstellung sowie alle Links zu weiteren Themen im Wiki.

[*]Konfig im Server: Der Timberwolf Server wird per Browser administriert. Dies ermöglicht einen parallelen Zugriff von mehreren Endgeräten gleichzeitig und erleichtert den Support erheblich, weil keine Konfigdaten vom Kunden einzusenden sind. Dies ist ein erheblicher Vorteil gegenüber Windows-basierten Konfig-Tools (wie bei Servern des Wettbewerbers), die stets nur von einem Gerät gleichzeitig aus konfiguriert werden können. Der Timberwolf Server verfügt daher über ein Modul für Backup und Restore, damit Konfiguration und Bewegungsdaten gesichert werden können.
Ergänzend: Nicht im Server gespeichert sind exportierte CSV-Dateien des Busmonitors, Konfigurationsprofile als json und Ihre Exports aus Grafana.

[*]Ablauf Datensicherung: Sobald die Datensicherung gestartet wurde, werden die verschiedenen Daten aus den Konfig-Datenbanken, Zeitserien, Logs usw. in ein - von der Architektur unabhängiges - Datenformat in ein temporäres Verzeichnis exportiert. Für diese temporären Dateien muss ausreichend verfügbarer Speicherplatz im Timberwolf Server verfügbar sein. Nachdem alle zu sichernden Daten in diese temporären Dateien exportiert wurden, wird daraus die eigentliche Sicherungsdatei erzeugt, die stark komprimiert und verschlüsselt wird. Für diese Sicherungsdatei muss ausreichend Platz im Zielsystem sein. Zum Abschluss werden die temporären Dateien automatisch gelöscht. Bitte hierzu auch zum Thema Sicherungsziel USB Backup Stick lesen.

[*]Inhalt der Datensicherung: Die Datensicherung enthält die Konfiguration und alle gespeicherten Daten aus Busmonitor-Logs, Zeitserien usw. Optional können einzelne oder alle Docker Volumes mitgesichert werden. Nicht gesichert werden Passwörter und Docker Container / Docker Images. Ebenfalls nicht gesichert wird die Installation des Servers selbst. Bitte lesen Sie für eine vollständige Aufstellung im Wiki. Eine Re-Installation nach Rücksetzen auf Auslieferzustand bedingt eine funktionierende Anbindung zum Repository in der Timberwolf Cloud.

[*]Kompatibilität von Datensicherungen: Rücksicherungen sind NUR möglich von Sicherungsdateien die von der SELBEN oder einer JÜNGEREN Firmware Version (jedoch ab V 3.5.1) stammen. Wir empfehlen eine regelmäßige Sicherung, z.B. einmal pro Woche. Dies können Sie mit einer Logik mit Zeitschaltuhr durchführen.

[*]Rücksetzen auf Auslieferzustand: Bei Nutzung dieser Funktion wird das Image (mit der Installation im Werk) komplett über die Systempartition restauriert, womit diese KOMPLETT gelöscht und damit auf den Zustand bei Auslieferung zurück gesetzt wird. Bitte beachten, dass damit auch lokale Datensicherungen, die sich auf der Systempartition befinden (das ist das Standard-Sicherungsziel bei der Modellreihe 3500 !) ebenfalls gelöscht. Durch ein solches Rücksetzen wird der Timberwolf Server auf einen - womöglich - jahrelang zurückliegenden Stand gesetzt. Eine Re-Installation auf den aktuellen Firmwarestand ist nur möglich, soweit eine Verbindung zum Repository in der Timberwolf Cloud besteht. Wir raten grundsätzlich davon ab, diese Funktion ohne vorherige Rücksprache mit ElabNET zu nutzen. Bitte machen Sie sich der Folgen bewusst und prüfen Sie vorher, dass eine Reinstallation vom Repository auch möglich ist und dass Sie eine separat vom internen System abgelegte Datensicherung verfügbar haben.

[*]ElabNET USB Backup Stick: Damit Datensicherungen außerhalb des Servers aufbewahrt werden können, bietet ElabNET einen speziellen USB Backup Stick an. Dieser ist von ElabNET korrekt formatiert, wird vom System als Sicherungsziel erkannt und ist mit jeder Modellreihe und allen Firmwareversionen ab V 3.5.1 kompatibel. Ein anderer USB Stick kann nicht benutzt werden. Bitte stecken Sie den Stick nicht ohne vorherige Abmeldung vom System (unter Datensicherung) ab. Formatieren Sie diesen USB Backup Stick zudem keinesfalls!

Der ElabNET USB Backup Stick hat eine weitere Funktion. Dieser ist nicht nur ein Sicherungsziel für Backup, sondern wird vom System auch automatisch als temporärer Zwischenspeicher für die zunächst exportierten Dateien benutzt, wie oben unter "Ablauf Datensicherung" angegeben. Damit unterstützt ein eingesteckter USB Backup auch dann bei der Datensicherung, wenn dieser nicht als Sicherungsziel genutzt wird. Damit ist eine Sicherung auch bei solchen Timberwolf Servern möglich, die über zu wenig freien Speicher für die temporären Daten auf dem lokalen Massenspeicher verfügen. Diese Funktion steht für alle Sicherungsziele zur Verfügung und aktiviert sich automatisch.

Hinweis: Wir geben diesen USB Backup Stick zu Selbstkosten ab (die auch Support und alle künftigen Tests mit jeder neuen Firmware beinhalten).

[*]Sicherungsziele: Die verfügbaren Sicherungsziele variieren je nach Servermodell. Bei den Modelreihen 2xxx, 3xx und 9xx sind SD-Karten (bzw. µSD) eingebaut. Die Sicherung auf den USB Backup Stick steht für alle Modellreihen zur Verfügung. Mit IP 7 zur V 4.5 kann nun auch eine Sicherung per FTP / FTPS (Ansteuerung über Objektsystem) genutzt werden. Bitte hierzu auch das Kapitel Sicherungsziele im Wiki lesen: https://elabnet.atlassian.net/wiki/x/AQAswg

[*]Sicherungsdatei hochladen: Ab Firmware IP 7 zur V 4.5 steht die Möglichkeit zur Verfügung, Sicherungsdateien wieder zum Server hochzuladen. Je nach Modellreihe ist dies möglich auf dortige SD-Karte (bzw. µSD) bzw. auf die interne SSD bei 3500. Diese Funktion kann z.B. dafür genutzt werden, um eine Sicherungsdatei, die auf einen externen FTP-Server gespeichert wurde, wieder zum Server hochzuladen.

[*]Migration auf einen anderen Server: Die Wiederherstellung einer Sicherung auf einen anderen Timberwolf Server wird als Migration bezeichnet. Zu unterscheiden ist hierbei die Migration zwischen zwei Timberwolf Servern der gleiche Modellreihen und der Migration zwischen Servern unterschiedlichen Modellreihen. Letzteres ist nur für ausgewählte Kombinationen von Quell-Servermodell zu Ziel-Servermodell möglich, da die Unterschiede von CPU-Architektur und Interfaces beim Restore nicht für alle Kombinationen hinterlegt ist. Wir empfehlen hierfür die Nutzung des USB Backup Stick um die Sicherungsdatei vom einen Server zum anderen zu transportieren. Sofern beide Server auf dem Stand IP 7 zur V 4.5 sind (oder neuer) kann die Übertragung auch durch herunterladen vom Quell-Server mit anschließendem Hochladen auf den Ziel-Server erfolgen.

Voraussetzung ist ausreichend freier Speicherplatz für die Sicherungsdatei (die mehrere GB umfassen kann) sowie ausreichend freier Speicher für temporäre Dateien bei Sicherung und bei Wiederherstellung. Der USB Backup Stick erweitert diesen temporären Speicherplatz bei der Sicherung automatisch, daher ist dessen Nutzung anzuraten. Wenn Sie eine solche Migration planen, dann lesen Sie bitte vorher ALLE Kapitel zur Datensicherung und Migration durch und machen sich eine Checkliste. Beachten Sie insbesondere diese beiden Artikel im Wiki: https://elabnet.atlassian.net/wiki/x/CgBUfw und https://elabnet.atlassian.net/wiki/x/BABdfw

Eine komplette Aufstellung aller Grundlagen zur Datensicherung des Timberwolf Servers im Wiki: https://elabnet.atlassian.net/wiki/x/AYArwg


1. NEU! Hochladen von Sicherungsdateien

Bislang war es nur möglich, Sicherungsdateien vom Timberwolf Server herunterzuladen.

Mit IP 7 zur V 4.5 ist es nun auch möglich, Sicherungsdateien über die Web-APP zum Timberwolf Server hin hochzuladen. Je nach Modell wird die Sicherungsdatei auf die lokale SD-Karte (bzw. µSD) oder auf die interne SSD gespeichert.

Anschließend kann diese Datei für eine Rücksicherung verwendet werden, sofern ausreichend freier Speicherplatz am Zielserver für die Operation vorhanden ist.

Bild



2. NEU! Steuerung Datensicherung aus dem Objektsystem

Es gibt eine neue starke Funktion, die vielfach von Euch gewünscht wurde.

Gewünscht war eine Steuerung des Servers über Systemobjekte im Allgemeinen und eine zeitgesteuerte Ausführung von Backups im Besonderen.

Wir haben beides realisiert. Mit diesem Upgrade verfügt der Timberwolf Server über ein neues Subsystem der Technologie “Management”. Dieses kann nun Systemobjekte für Steuerung und Rückmeldungen hinsichtlich des Betriebes des Timberwolf Servers selbst zur Verfügung stellen.

Die erste Implementierung von Systemobjekten betrifft die Datensicherung.


Acht Systemobjekte für die Datensicherung

Bild

Das oberste Systemobjekt dient zum Starten der Datensicherung inkl. aller Parameter

Die verbleibenden sieben Objekte dienen der Rückmeldung per Boolean bzw. Text

Hinweis: Bei neueren Firmware Versionen können weitere Systemobjekte implementiert sein. Die Darstellung im Objekt Manager sieht dann anders aus.


Nutzung des Verknüpfungsassistenten


Bild

Auch diese neuen Systemobjekte können mit jedem anderen kompatiblen Objekt mit dem Verknüpfungsassistent verknüpft werden.

Damit kann dann eine Datensicherung auch über einen KNX Glastaster oder einen Shelly Taster angefordert bzw. Rückmeldungen im Display angezeigt werden. No Limits.


Starten der Datensicherung über Systemobjekt

Die Datensicherung kann mit diesem Upgrade auch über das Objektsystem angestoßen werden, indem eine Kommando-Zeichenkette an das Systemobjekt “Backup - action - execute” gesendet wird.

Die Ausführung der Datensicherung kann danach im Nachrichtensystem bzw. im Modul Datensicherung beobachtet werden. Nach Beendigung einer Datensicherung (sowohl bei Erfolg als auch bei Fehler) werden die Rückmeldeobjekte befüllt, so dass Anzeigen in anderen Subsystemen (z.B. auch in der VISU) möglich ist.

Doku: Die acht neuen Systemobjekte für die Datensicherung und der Aufbau der Kommando-Zeichenkette ist hier im Detail beschrieben: https://elabnet.atlassian.net/wiki/x/AYAqwg



3. NEU! Zwei neue Logik-Module zur Anforderung der Datensicherung (Objektsystem)

Um ein Backup über die Steuerobjekte anzufordern, müssen alle Parameter in einem String übergeben werden, die als "Kommando-Zeichenkette" bezeichnet wird.

Um die Erstellung dieser Kommando-Zeichenkette zu erleichtern, stellen wir zwei neue Logik-Module zur Verfügung.

Bild


Auslösen einer Logik für Backup durch VISU und Zeitschaltuhr

Diese neuen Logiken können - wie jede andere Logik auch - zur Auslösung getriggert werden durch z.B. Verknüpfung mit anderen Objekten (z.B. ein Objekt der VISU) oder auch - parallel dazu - mit einer Zeitschaltuhr. Damit sind sowohl angeforderte als auch regelmäßige automatische Sicherungen möglich. Durch das Auslösen der Logik wird die Kommandozeichenkette zusammengesetzt und an den Ausgang gesendet. Wenn dieser - wie in diesem Beispiel - mit dem Systemobjekt für das Anfordern der Datensicherung verbunden ist, dann wird damit die Datensicherung gestartet anhand der Angaben in dieser Kommando-Zeichenkette.

In diesem Beispiel wird das Backup für eine Sicherung auf einen USB Backup Stick angefordert, die Auslösung kann parallel durch die VISU und per Zeitschaltuhr bewirkt werden.

Bild


Dokumentation und Beispiele

Die beiden Logikmodule sind hier im WIKI beschrieben:

Logik für Datensicherung auf USB, SD-Karte, interner Speicher: https://elabnet.atlassian.net/wiki/x/EACWwg

Logik für Datensicherung auf FTP-Server: https://elabnet.atlassian.net/wiki/x/AQCWwg

Beispiele zur Nutzung der Logiken finden sich auch in den Unterkapitel zum Sicherungsziel FTP im Wiki: https://elabnet.atlassian.net/wiki/x/LgCOwg

Hierzu ein Hinweis. Die Doku zu Logik Modulen kann auch direkt aus dem Logik Manager geöffnet werden. Hierzu die Logik im Auswahlassistenten ausklappen und dort auf Handbuch klicken.

Bild



4. NEU! Backup per FTP / FTPS

Ein häufiger Wunsch unserer Kunden war, dass Datensicherung nicht nur regelmäßig vorgenommen werden kann, sondern auch per FTP auf einen Netzwerkspeicher, z.B. ein lokales NAS, aber auch auf einen FTP-Server in der Cloud. Damit kann die Limitationen des Speicherplatzes von SD_Karte, USB Backup Stick oder dem internen Speicher überwunden werden. Zudem kann die Konfiguration, Buslogs und Zeitserien über das Netzwerk in einen separaten Brand- oder Überflutungsabschnitt (bzw. ganz außer Haus) gesichert werden.

Info: Bei der Ahrtalflut wurde auch ein Timberwolf Server zerstört und in einem Fall wurde ein Timberwolf Server einbetoniert, weil Estrich durch ein Leerohr in den Schaltschrank eindringen konnte. Etliche Server wurden durch Blitzschlag oder falsche Verdrahtung (220 V angeschlossen) zerstört. Es macht also durchaus Sinn, die Datensicherung unabhängig vom Server zu halten.

Mit diesem Upgrade steht nun auch eine Datensicherung auf einen FTP Server zur Verfügung. Eine solche Datensicherung per FTP / FTPS ist derzeit nur über die oben erwähnte Ansteuerung per Systemobjekt möglich, jedoch nicht über die Web-APP im Modul Datensicherung. Der Grund dafür ist, dass wir diese Funktion so schnell als möglich zur Verfügung stellen wollten. Eine Integration von FTP in die Web-APP und einer Zeitschaltuhr hätte, wegen der Vielzahl von Parametern, ein bis zwei Mannmonate mehr Aufwand bedeutet. Daher haben wir auf die Implementierung in die grafische Oberfläche zunächst verzichtet. Der Verlauf einer per Systemobjekt angestoßene Sicherung kann weiterhin in der Web-APP (und im Nachrichtencenter, damit auch im VISU Client) angesehen werden. Auch eine komplette Steuerung mit Rückmeldung über ein VISU Widget ist möglich.

Hinweis: Sollte eine Rücksicherung einer auf FTP abgelegten Sicherungsdatei nötig sein, dann kann mit der neuen Funktion "Hochladen einer Sicherungsdatei" in der Web-APP die Sicherungsdatei vom FTP-Server wieder zum Timberwolf Server auf SD- bzw. internen Speicher hochgeladen werden. Die Wiederherstellung ist anschließend von diesen Sicherungszielen aus zu starten.


Dokumentation und Beispiele

Wir haben die FTP-Sicherung mit einem Synology NAS sowie mit zwei Cloud Anbietern (IONOS und Hetzner) getestet und haben alle nötigen Einstellungen dokumentiert. Wer kein lokales NAS hat oder die Daten lieber in der Cloud haben möchte, dem möchten wir das Angebot von Hetzner ans Herz legen, weil eine "Storage Box" mit 1 TB nur 3,81 EUR pro Monat kostet. Man kann sogar mit seinem Windows Explorer (und auch so ziemlich allem anderen) direkt darauf zugreifen, was das Management erheblich erleichtert. Es gibt bei Hetzner keine Mindestlaufzeit, man kann das auch nur für einen Tag buchen.

Doku für Sicherungsziel FTP-Server: https://elabnet.atlassian.net/wiki/x/LgCOwg

Doku für Sicherung auf Synology NAS per FTPS: https://elabnet.atlassian.net/wiki/x/IAAXww

Doku für Sicherung auf IONOS HiDrive per FTPS: https://elabnet.atlassian.net/wiki/x/AQAqww

Doku für Sicherung auf HETZNER Storage Box: https://elabnet.atlassian.net/wiki/x/AQAuww

Sollte jemand sich den Zugriff auf QNAP oder andere FTP-Server erarbeitet haben, dann kann man uns gerne die Screenshot (gute Auflösung bitte) und alle notwendigen Erklärungen via wetransfer.com an service at elabnet dot de senden, dann bereiten wir auch dafür gerne einen Wiki-Artikel auf.

Zum Thema FTP ist noch ein weiterer Artikel mit Informationen unterhalb dieses Artikels in diesem Thread geplant, bitte hier um etwas Geduld

Ich rate jedem Nutzer, eine solche automatische Datensicherung auf ein FTP-Ziel einzurichten und wenigstens wöchentlich (besser täglich) zu aktivieren. Wenn dieses in der Nacht läuft, dann stört die Datenübertragung über das Internet niemanden. Falls jemand kein lokales NAS hat, dann ist eine Cloud Lösung für 3,81 EUR für 1 TB bei HETZNER monatlich günstig zu bekommen (keine Mindestlaufzeit, täglich kündbar). Bitte daran denken, ab und an alte Sicherungsdaten auf den FTP-Servern zu löschen, damit ausreichend Platz bleibt. Hierzu kann man sich mit dem Windows Explorer / Mac Finder / Linux per CIFS/SMB mit allen oben getesteten Varianten verbinden.



5. Verfügbarkeit

Diese neuen Funktionen stehen mit der IP 7 zur V 4.5 ab SOFORT zur Verfügung.

Über die Verfügbarkeit dieser neuen Funktionen in einer Hauptversion können wir im Moment keine belastbaren Angaben treffen.


lg

Das Team von ElabNET
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART
Bitte WIKI lesen. Allg. Support nur im Forum. Bitte keine PN
Zu Preisen, Lizenzen, Garantie, HW-Defekt an service at elabnet dot de

Link zu Impressum und Datenschutzerklärung oben.

Ersteller
StefanW
Elaborated Networks
Elaborated Networks
Reactions:
Beiträge: 10755
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Frauenneuharting
Hat sich bedankt: 5310 Mal
Danksagung erhalten: 8716 Mal
Kontaktdaten:

#2

Beitrag von StefanW »

Hinweis:

Hier soll noch ein weiterer Artikel mit Detailinformationen zu FTP erscheinen, der derzeit angefertigt wird. Daher ist dieser Thread vorerst gesperrt.

Ich bitte um etwas Geduld.

lg

Stefan
Zuletzt geändert von StefanW am Fr Jul 11, 2025 8:30 pm, insgesamt 1-mal geändert.
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART
Bitte WIKI lesen. Allg. Support nur im Forum. Bitte keine PN
Zu Preisen, Lizenzen, Garantie, HW-Defekt an service at elabnet dot de

Link zu Impressum und Datenschutzerklärung oben.
Gesperrt

Zurück zu „Backup & Restore“