[NEUHEIT] NEU: Backup per FTP und Start über Systemobjekt

[StefanW]

Verehrte Nutzer des Timberwolf Servers,

es gibt ein Mega-Update für die KNX-Unterstützung im Timberwolf Server.

Übersicht


Grundlagen Backup & Restore

1. NEU! Hochladen von Sicherungsdateien

2. NEU! Steuerung Datensicherung aus dem Objektsystem

3. NEU! Zwei neue Logik-Module zur Anforderung der Datensicherung (Objektsystem)

4. NEU! Backup per FTP / FTPS

5. Verfügbarkeit




Wichtige Hinweise zu Backup & Restore

Es gibt ein paar wichtige Details, insbesondere zu den verschiedenen Modellvarianten, möglichen Sicherungszielen und technischen Abhängigkeiten, die man wissen sollte.

Daher beachte bitte die folgenden Hinweise für die Datensicherung und Wiederherstellung sowie alle Links zu weiteren Themen im Wiki.

[*]Konfig im Server: Der Timberwolf Server wird per Browser administriert. Dies ermöglicht einen parallelen Zugriff von mehreren Endgeräten gleichzeitig und erleichtert den Support erheblich, weil keine Konfigdaten vom Kunden einzusenden sind. Dies ist ein erheblicher Vorteil gegenüber Windows-basierten Konfig-Tools (wie bei Servern des Wettbewerbers), die stets nur von einem Gerät gleichzeitig aus konfiguriert werden können. Der Timberwolf Server verfügt daher über ein Modul für Backup und Restore, damit Konfiguration und Bewegungsdaten gesichert werden können.
Ergänzend: Nicht im Server gespeichert sind exportierte CSV-Dateien des Busmonitors, Konfigurationsprofile als json und Ihre Exports aus Grafana.

[*]Ablauf Datensicherung: Sobald die Datensicherung gestartet wurde, werden die verschiedenen Daten aus den Konfig-Datenbanken, Zeitserien, Logs usw. in ein - von der Architektur unabhängiges - Datenformat in ein temporäres Verzeichnis exportiert. Für diese temporären Dateien muss ausreichend verfügbarer Speicherplatz im Timberwolf Server verfügbar sein. Nachdem alle zu sichernden Daten in diese temporären Dateien exportiert wurden, wird daraus die eigentliche Sicherungsdatei erzeugt, die stark komprimiert und verschlüsselt wird. Für diese Sicherungsdatei muss ausreichend Platz im Zielsystem sein. Zum Abschluss werden die temporären Dateien automatisch gelöscht. Bitte hierzu auch zum Thema Sicherungsziel USB Backup Stick lesen.

[*]Inhalt der Datensicherung: Die Datensicherung enthält die Konfiguration und alle gespeicherten Daten aus Busmonitor-Logs, Zeitserien usw. Optional können einzelne oder alle Docker Volumes mitgesichert werden. Nicht gesichert werden Passwörter und Docker Container / Docker Images. Ebenfalls nicht gesichert wird die Installation des Servers selbst. Bitte lesen Sie für eine vollständige Aufstellung im Wiki. Eine Re-Installation nach Rücksetzen auf Auslieferzustand bedingt eine funktionierende Anbindung zum Repository in der Timberwolf Cloud.

[*]Kompatibilität von Datensicherungen: Rücksicherungen sind NUR möglich von Sicherungsdateien die von der SELBEN oder einer JÜNGEREN Firmware Version (jedoch ab V 3.5.1) stammen. Wir empfehlen eine regelmäßige Sicherung, z.B. einmal pro Woche. Dies können Sie mit einer Logik mit Zeitschaltuhr durchführen.

[*]Rücksetzen auf Auslieferzustand: Bei Nutzung dieser Funktion wird das Image (mit der Installation im Werk) komplett über die Systempartition restauriert, womit diese KOMPLETT gelöscht und damit auf den Zustand bei Auslieferung zurück gesetzt wird. Bitte beachten, dass damit auch lokale Datensicherungen, die sich auf der Systempartition befinden (das ist das Standard-Sicherungsziel bei der Modellreihe 3500 !) ebenfalls gelöscht. Durch ein solches Rücksetzen wird der Timberwolf Server auf einen - womöglich - jahrelang zurückliegenden Stand gesetzt. Eine Re-Installation auf den aktuellen Firmwarestand ist nur möglich, soweit eine Verbindung zum Repository in der Timberwolf Cloud besteht. Wir raten grundsätzlich davon ab, diese Funktion ohne vorherige Rücksprache mit ElabNET zu nutzen. Bitte machen Sie sich der Folgen bewusst und prüfen Sie vorher, dass eine Reinstallation vom Repository auch möglich ist und dass Sie eine separat vom internen System abgelegte Datensicherung verfügbar haben.

[*]ElabNET USB Backup Stick: Damit Datensicherungen außerhalb des Servers aufbewahrt werden können, bietet ElabNET einen speziellen USB Backup Stick an. Dieser ist von ElabNET korrekt formatiert, wird vom System als Sicherungsziel erkannt und ist mit jeder Modellreihe und allen Firmwareversionen ab V 3.5.1 kompatibel. Ein anderer USB Stick kann nicht benutzt werden. Bitte stecken Sie den Stick nicht ohne vorherige Abmeldung vom System (unter Datensicherung) ab. Formatieren Sie diesen USB Backup Stick zudem keinesfalls!

Der ElabNET USB Backup Stick hat eine weitere Funktion. Dieser ist nicht nur ein Sicherungsziel für Backup, sondern wird vom System auch automatisch als temporärer Zwischenspeicher für die zunächst exportierten Dateien benutzt, wie oben unter "Ablauf Datensicherung" angegeben. Damit unterstützt ein eingesteckter USB Backup auch dann bei der Datensicherung, wenn dieser nicht als Sicherungsziel genutzt wird. Damit ist eine Sicherung auch bei solchen Timberwolf Servern möglich, die über zu wenig freien Speicher für die temporären Daten auf dem lokalen Massenspeicher verfügen. Diese Funktion steht für alle Sicherungsziele zur Verfügung und aktiviert sich automatisch.

Hinweis: Wir geben diesen USB Backup Stick zu Selbstkosten ab (die auch Support und alle künftigen Tests mit jeder neuen Firmware beinhalten).

[*]Sicherungsziele: Die verfügbaren Sicherungsziele variieren je nach Servermodell. Bei den Modelreihen 2xxx, 3xx und 9xx sind SD-Karten (bzw. µSD) eingebaut. Die Sicherung auf den USB Backup Stick steht für alle Modellreihen zur Verfügung. Mit IP 7 zur V 4.5 kann nun auch eine Sicherung per FTP / FTPS (Ansteuerung über Objektsystem) genutzt werden. Bitte hierzu auch das Kapitel Sicherungsziele im Wiki lesen: https://elabnet.atlassian.net/wiki/x/AQAswg

[*]Sicherungsdatei hochladen: Ab Firmware IP 7 zur V 4.5 steht die Möglichkeit zur Verfügung, Sicherungsdateien wieder zum Server hochzuladen. Je nach Modellreihe ist dies möglich auf dortige SD-Karte (bzw. µSD) bzw. auf die interne SSD bei 3500. Diese Funktion kann z.B. dafür genutzt werden, um eine Sicherungsdatei, die auf einen externen FTP-Server gespeichert wurde, wieder zum Server hochzuladen.

[*]Migration auf einen anderen Server: Die Wiederherstellung einer Sicherung auf einen anderen Timberwolf Server wird als Migration bezeichnet. Zu unterscheiden ist hierbei die Migration zwischen zwei Timberwolf Servern der gleiche Modellreihen und der Migration zwischen Servern unterschiedlichen Modellreihen. Letzteres ist nur für ausgewählte Kombinationen von Quell-Servermodell zu Ziel-Servermodell möglich, da die Unterschiede von CPU-Architektur und Interfaces beim Restore nicht für alle Kombinationen hinterlegt ist. Wir empfehlen hierfür die Nutzung des USB Backup Stick um die Sicherungsdatei vom einen Server zum anderen zu transportieren. Sofern beide Server auf dem Stand IP 7 zur V 4.5 sind (oder neuer) kann die Übertragung auch durch herunterladen vom Quell-Server mit anschließendem Hochladen auf den Ziel-Server erfolgen.

Voraussetzung ist ausreichend freier Speicherplatz für die Sicherungsdatei (die mehrere GB umfassen kann) sowie ausreichend freier Speicher für temporäre Dateien bei Sicherung und bei Wiederherstellung. Der USB Backup Stick erweitert diesen temporären Speicherplatz bei der Sicherung automatisch, daher ist dessen Nutzung anzuraten. Wenn Sie eine solche Migration planen, dann lesen Sie bitte vorher ALLE Kapitel zur Datensicherung und Migration durch und machen sich eine Checkliste. Beachten Sie insbesondere diese beiden Artikel im Wiki: https://elabnet.atlassian.net/wiki/x/CgBUfw und https://elabnet.atlassian.net/wiki/x/BABdfw

Eine komplette Aufstellung aller Grundlagen zur Datensicherung des Timberwolf Servers im Wiki: https://elabnet.atlassian.net/wiki/x/AYArwg


1. NEU! Hochladen von Sicherungsdateien

Bislang war es nur möglich, Sicherungsdateien vom Timberwolf Server herunterzuladen.

Mit IP 7 zur V 4.5 ist es nun auch möglich, Sicherungsdateien über die Web-APP zum Timberwolf Server hin hochzuladen. Je nach Modell wird die Sicherungsdatei auf die lokale SD-Karte (bzw. µSD) oder auf die interne SSD gespeichert.

Anschließend kann diese Datei für eine Rücksicherung verwendet werden, sofern ausreichend freier Speicherplatz am Zielserver für die Operation vorhanden ist.





2. NEU! Steuerung Datensicherung aus dem Objektsystem

Es gibt eine neue starke Funktion, die vielfach von Euch gewünscht wurde.

Gewünscht war eine Steuerung des Servers über Systemobjekte im Allgemeinen und eine zeitgesteuerte Ausführung von Backups im Besonderen.

Wir haben beides realisiert. Mit diesem Upgrade verfügt der Timberwolf Server über ein neues Subsystem der Technologie “Management”. Dieses kann nun Systemobjekte für Steuerung und Rückmeldungen hinsichtlich des Betriebes des Timberwolf Servers selbst zur Verfügung stellen.

Die erste Implementierung von Systemobjekten betrifft die Datensicherung.


Acht Systemobjekte für die Datensicherung



Das oberste Systemobjekt dient zum Starten der Datensicherung inkl. aller Parameter

Die verbleibenden sieben Objekte dienen der Rückmeldung per Boolean bzw. Text

Hinweis: Bei neueren Firmware Versionen können weitere Systemobjekte implementiert sein. Die Darstellung im Objekt Manager sieht dann anders aus.


Nutzung des Verknüpfungsassistenten




Auch diese neuen Systemobjekte können mit jedem anderen kompatiblen Objekt mit dem Verknüpfungsassistent verknüpft werden.

Damit kann dann eine Datensicherung auch über einen KNX Glastaster oder einen Shelly Taster angefordert bzw. Rückmeldungen im Display angezeigt werden. No Limits.


Starten der Datensicherung über Systemobjekt

Die Datensicherung kann mit diesem Upgrade auch über das Objektsystem angestoßen werden, indem eine Kommando-Zeichenkette an das Systemobjekt “Backup - action - execute” gesendet wird.

Die Ausführung der Datensicherung kann danach im Nachrichtensystem bzw. im Modul Datensicherung beobachtet werden. Nach Beendigung einer Datensicherung (sowohl bei Erfolg als auch bei Fehler) werden die Rückmeldeobjekte befüllt, so dass Anzeigen in anderen Subsystemen (z.B. auch in der VISU) möglich ist.

Doku: Die acht neuen Systemobjekte für die Datensicherung und der Aufbau der Kommando-Zeichenkette ist hier im Detail beschrieben: https://elabnet.atlassian.net/wiki/x/AYAqwg



3. NEU! Zwei neue Logik-Module zur Anforderung der Datensicherung (Objektsystem)

Um ein Backup über die Steuerobjekte anzufordern, müssen alle Parameter in einem String übergeben werden, die als "Kommando-Zeichenkette" bezeichnet wird.

Um die Erstellung dieser Kommando-Zeichenkette zu erleichtern, stellen wir zwei neue Logik-Module zur Verfügung.




Auslösen einer Logik für Backup durch VISU und Zeitschaltuhr

Diese neuen Logiken können - wie jede andere Logik auch - zur Auslösung getriggert werden durch z.B. Verknüpfung mit anderen Objekten (z.B. ein Objekt der VISU) oder auch - parallel dazu - mit einer Zeitschaltuhr. Damit sind sowohl angeforderte als auch regelmäßige automatische Sicherungen möglich. Durch das Auslösen der Logik wird die Kommandozeichenkette zusammengesetzt und an den Ausgang gesendet. Wenn dieser - wie in diesem Beispiel - mit dem Systemobjekt für das Anfordern der Datensicherung verbunden ist, dann wird damit die Datensicherung gestartet anhand der Angaben in dieser Kommando-Zeichenkette.

In diesem Beispiel wird das Backup für eine Sicherung auf einen USB Backup Stick angefordert, die Auslösung kann parallel durch die VISU und per Zeitschaltuhr bewirkt werden.




Dokumentation und Beispiele

Die beiden Logikmodule sind hier im WIKI beschrieben:

Logik für Datensicherung auf USB, SD-Karte, interner Speicher: https://elabnet.atlassian.net/wiki/x/EACWwg

Logik für Datensicherung auf FTP-Server: https://elabnet.atlassian.net/wiki/x/AQCWwg

Beispiele zur Nutzung der Logiken finden sich auch in den Unterkapitel zum Sicherungsziel FTP im Wiki: https://elabnet.atlassian.net/wiki/x/LgCOwg

Hierzu ein Hinweis. Die Doku zu Logik Modulen kann auch direkt aus dem Logik Manager geöffnet werden. Hierzu die Logik im Auswahlassistenten ausklappen und dort auf Handbuch klicken.





4. NEU! Backup per FTP / FTPS

Ein häufiger Wunsch unserer Kunden war, dass Datensicherung nicht nur regelmäßig vorgenommen werden kann, sondern auch per FTP auf einen Netzwerkspeicher, z.B. ein lokales NAS, aber auch auf einen FTP-Server in der Cloud. Damit kann die Limitationen des Speicherplatzes von SD_Karte, USB Backup Stick oder dem internen Speicher überwunden werden. Zudem kann die Konfiguration, Buslogs und Zeitserien über das Netzwerk in einen separaten Brand- oder Überflutungsabschnitt (bzw. ganz außer Haus) gesichert werden.

Info: Bei der Ahrtalflut wurde auch ein Timberwolf Server zerstört und in einem Fall wurde ein Timberwolf Server einbetoniert, weil Estrich durch ein Leerohr in den Schaltschrank eindringen konnte. Etliche Server wurden durch Blitzschlag oder falsche Verdrahtung (220 V angeschlossen) zerstört. Es macht also durchaus Sinn, die Datensicherung unabhängig vom Server zu halten.

Mit diesem Upgrade steht nun auch eine Datensicherung auf einen FTP Server zur Verfügung. Eine solche Datensicherung per FTP / FTPS ist derzeit nur über die oben erwähnte Ansteuerung per Systemobjekt möglich, jedoch nicht über die Web-APP im Modul Datensicherung. Der Grund dafür ist, dass wir diese Funktion so schnell als möglich zur Verfügung stellen wollten. Eine Integration von FTP in die Web-APP und einer Zeitschaltuhr hätte, wegen der Vielzahl von Parametern, ein bis zwei Mannmonate mehr Aufwand bedeutet. Daher haben wir auf die Implementierung in die grafische Oberfläche zunächst verzichtet. Der Verlauf einer per Systemobjekt angestoßene Sicherung kann weiterhin in der Web-APP (und im Nachrichtencenter, damit auch im VISU Client) angesehen werden. Auch eine komplette Steuerung mit Rückmeldung über ein VISU Widget ist möglich.

Hinweis: Sollte eine Rücksicherung einer auf FTP abgelegten Sicherungsdatei nötig sein, dann kann mit der neuen Funktion "Hochladen einer Sicherungsdatei" in der Web-APP die Sicherungsdatei vom FTP-Server wieder zum Timberwolf Server auf SD- bzw. internen Speicher hochgeladen werden. Die Wiederherstellung ist anschließend von diesen Sicherungszielen aus zu starten.


Dokumentation und Beispiele

Wir haben die FTP-Sicherung mit einem Synology NAS sowie mit zwei Cloud Anbietern (IONOS und Hetzner) getestet und haben alle nötigen Einstellungen dokumentiert. Wer kein lokales NAS hat oder die Daten lieber in der Cloud haben möchte, dem möchten wir das Angebot von Hetzner ans Herz legen, weil eine "Storage Box" mit 1 TB nur 3,81 EUR pro Monat kostet. Man kann sogar mit seinem Windows Explorer (und auch so ziemlich allem anderen) direkt darauf zugreifen, was das Management erheblich erleichtert. Es gibt bei Hetzner keine Mindestlaufzeit, man kann das auch nur für einen Tag buchen.

Doku für Sicherungsziel FTP-Server: https://elabnet.atlassian.net/wiki/x/LgCOwg

Doku für Sicherung auf Synology NAS per FTPS: https://elabnet.atlassian.net/wiki/x/IAAXww

Doku für Sicherung auf IONOS HiDrive per FTPS: https://elabnet.atlassian.net/wiki/x/AQAqww

Doku für Sicherung auf HETZNER Storage Box: https://elabnet.atlassian.net/wiki/x/AQAuww

Sollte jemand sich den Zugriff auf QNAP oder andere FTP-Server erarbeitet haben, dann kann man uns gerne die Screenshot (gute Auflösung bitte) und alle notwendigen Erklärungen via wetransfer.com an service at elabnet dot de senden, dann bereiten wir auch dafür gerne einen Wiki-Artikel auf.

Zum Thema FTP ist noch ein weiterer Artikel mit Informationen unterhalb dieses Artikels in diesem Thread geplant, bitte hier um etwas Geduld

Ich rate jedem Nutzer, eine solche automatische Datensicherung auf ein FTP-Ziel einzurichten und wenigstens wöchentlich (besser täglich) zu aktivieren. Wenn dieses in der Nacht läuft, dann stört die Datenübertragung über das Internet niemanden. Falls jemand kein lokales NAS hat, dann ist eine Cloud Lösung für 3,81 EUR für 1 TB bei HETZNER monatlich günstig zu bekommen (keine Mindestlaufzeit, täglich kündbar). Bitte daran denken, ab und an alte Sicherungsdaten auf den FTP-Servern zu löschen, damit ausreichend Platz bleibt. Hierzu kann man sich mit dem Windows Explorer / Mac Finder / Linux per CIFS/SMB mit allen oben getesteten Varianten verbinden.



5. Verfügbarkeit

Diese neuen Funktionen stehen mit der IP 7 zur V 4.5 ab SOFORT zur Verfügung.

Über die Verfügbarkeit dieser neuen Funktionen in einer Hauptversion können wir im Moment keine belastbaren Angaben treffen.


lg

Das Team von ElabNET

[StefanW]

Verehrte Nutzer des Timberwolf Servers,

hier nun die zusätzlichen Hinweise zum Thema FTP




Grundlagen FTP / FTPS

Das folgende Basiswissen ist hilfreich, um die möglichen Einstellung für die Nutzung eines FTP-Servers zu verstehen, da diese auf verschiedene Weise konfiguriert sind. Ich empfehle allen Nutzern, dies kurz zu lesen für einen guten Einstieg in FTP.

FTP: FTP steht für “File Transfer Protocol” und ist ein Netzwerkprotokoll, das verwendet wird, um Dateien zwischen einem Client und einem Server über ein IP-Netzwerk zu übertragen. Es ermöglicht das Hochladen von Dateien auf einen FTP-Server und das Herunterladen von Dateien vom FTP-Server.

Hinweis: In der folgenden Beschreibung ist der Timberwolf Server der “FTP-Client” / “Client”.

Zwei Kanäle: Der Vorgang der Datenübertragung erfolgt meistens über zwei Kanäle (unterschiedliche Ports). Zunächst wird vom FTP-Client aus ein Steuerkanal zum FTP-Server aufgebaut. Über diesen Steuerkanal erfolgt die Anmeldung und darüber werden auch die Kommandos vom Client an den Server gegeben. Die eigentliche Datenübertragung erfolgt - nach entsprechendem Kommando - über den separaten Übertragungskanal. Je nachdem, ob dieser zweite Kanal für die Übertragung vom Client zum Server hin - oder umgekehrt - aufgebaut wird, wird dies als passives oder aktives FTP bezeichnet.

Modus “passives FTP”: Beim passiven FTP initiiert der Client auch den Kanal für die Datenübertragung. Hierzu sendet der Client den PASV-Befehl über den Steuerkanal an den FTP Server. Der FTP-Server bestätigt und gibt seine eigene IP-Adresse und die Port-Nummer (zwischen 1024 und 65535) zurück, zu der hin der Übertragungskanal vom Client aus aufgebaut werden soll. Dieser Modus hat den Vorteil, dass dieser auch über Router mit Firewall und NAT (“Network Address Translation” beim Übergang von internen privaten IP-Netzen zum Internet) funktioniert und ist insbesondere zu FTP-Servern im Internet der übliche. Der Timberwolf Server unterstützt bei der Datensicherung nur passives FTP.

Modus “aktives FTP”: Beim aktiven Modus wird der Übertragungskanal - nach entsprechendem Kommando über den Steuerkanal - vom FTP-Server zum FTP-Client hin aufgebaut. Der Client nennt dem Server dafür denjenigen eigenen Port, zu dem die Verbindung seitens des Servers aufzubauen ist. Dies scheitert bei Verbindungen über das Internet meistens wegen Firewall-Regeln und dem NAT des Internet-Routers und ist bei Nutzung von FTP-Servern im Internet eher unüblich. Dieser Modus wird vom Timberwolf Server für Datensicherung nicht unterstützt.

FTP ist unverschlüsselt: Das File Transfer Protokoll wurde 1995 spezifiziert. Damals war keine Verschlüsselung vorgesehen. Damit werden Bezeichnungen für Anmeldekonten und das Passwort - sowie auch die Datenübertragung - unverschlüsselt übertragen.

Verschlüsselt mit FTPS: Verschlüsselung wird unterstützt mit TLS (früher als SSL bezeichnet). Diese Protokollvariante wird als FTPS bezeichnet (SFTP ist etwas völlig anderes). Je nach Ansteuerung und Implementierung wird nur Konto und das Passwort bei der Übertragung verschlüsselt bzw. die gesamte Kommunikation des Kontrollkanal verschlüsselt. Bei manchen FTP-Servern wird auch der Datenübertragungskanal verschlüsselt (dies ist für uns nicht erforderlich, weil die Timberwolf Backup Dateien ohnehin verschlüsselt sind). Der Timberwolf Server unterstützt TLS V 1.1 und V 1.2. Je nach Art der Ansteuerung wird zwischen "impliziter" (vorab vereinbarter) oder "expliziter" (nach Verbindungsaufbau angeforderter) Verschlüsselung unterschieden.

Explizite Security mit FTPS: Bei FTPS wird unterschieden, ab welchem Zeitpunkt der FTPS-Verbindung die Verschlüsselung mit TLS erfolgt. Bei expliziter Sicherheit wird die Verbindung über den Kontrollkanal zunächst unverschlüsselt ("Plain FTP") aufgebaut. Die Verschlüssung wir erst nach einem entsprechenden Kommando vom Client aus aktiviert. Zu erkennen ist diese Betriebsart daran, dass wenn ein FTP-Server zwar “FTPS” unterstützt, der Verbindungaufbau jedoch auf dessen Port 21 erfolgen soll. Dies ist ein zunächst unverschlüsselter Kontrollkanal. Hier ist dann das Kommando für Verschlüsselung zu senden. Die Parameter für die Datensicherung des Timberwolf Server auf FTPS können entsprechend konfiguriert werden, dass dieses Kommando nach Aufbau des Kontrollkanals zu senden ist. Die URL beginnt hierbei mit ftp:// weil die Verbindung erst auf explizite Anforerdung verschlüsselt wird.

Implizite Security mit FTPS: Dies ist die Variante mit vorkonfigurierter Verschlüsselung. Hier erfolgt bereits der erste Verbindungsaufbau über den Kontrollkanal verschlüsselt. Zu erkennen ist dies durch Verbindungsaufbau auf Port 990 des FTPS-Servers. Der Timberwolf Server unterstützt dies. Die URL der Befehls-Zeichenkette beginnt mit ftps://

SFTP wird nicht unterstützt: Der Protokollstandard SFTP ist kein FTP-Standard sondern eine Bezeichnung für das “SSH File Transfer Protokoll”, das eine Erweiterung der Secure Shell darstellt. Dieses Protokoll wird vom Timberwolf Server derzeit nicht unterstützt.



Kommando-Zeichenkette

Empfehlung: Dieser Abschnitt beschreibt den Aufbau der Kommando-Zeichenkette. Diese Kenntnisse sind für Experten interessant, die eigene Custom Logik Module für die Anforderung einer Datensicherung entwickeln möchten.

Wir empfehlen allen Nutzern die bereitgestellten Logik Module (unten beschrieben) zu nutzen. Die Logiken "bauen" zwar die Kommando-Zeichenkette selbst zusammen, die Werte sind jedoch als Parameter der Logik zu übergeben.

Die Datensicherung via FTP kann derzeit nur über Ansteuerung per Systemobjekt genutzt werden. Sämtliche Einstellungen und Parameter sind in einer Zeichenkette an das Steuerobjekt zu übergeben. Wir bezeichnen diese als "Kommando-Zeichenkette". Die weiter unten vorgestellten Logik Module übernehmen diese Aufgabe, daher ist es einfacher, diese zu nutzen.


Inhalt Kommando-Zeichenkette

Die Kommando-Zeichenkette besteht bei Nutzung von FTP / FTPS aus folgenden Parametern:

• Auswahl der Sicherungsziels
• Verbindung unverschlüsselt vs. expliziter vs. impliziter Verschlüsselung
• Konto & Passwort
• Hostadresse
• Parameter für explizite Verschlüsselung (optional)
• Angabe der mitzusichernden Docker-Volumes (optional)

Format Kommando-Zeichenkette

• Jeder Parameter besteht aus einem Schlüssel-Wert Paar ("Key-Value").
• Ein Schlüssel wird vom Wert durch ein = Zeichen getrennt (Beispiel: target=ftp)
• Alle Parameter (ein Schlüssel-Wert-Paar) werden untereinander durch das Pipe Zeichen | getrennt, ohne Leerzeichen (Beispiel: target=ftp|url=ftp://<benutzername>:<passwort>@<hostname>/<verzeichnis>)
• Beim Parameter für mitzusichernde Docker-Volumes sind diese als ein Wert anzugeben, die Bezeichnungen der jeweiligen Docker Volumes sind durch Komma zu trennen, ohne Leerzeichen. (Beispiel: container_volumes=fhem,CometVisuConfig

Auswahl Sicherungsziel FTP

Mit dem Schlüsselwort "target=" wird das Sicherungsziel bestimmt. Für FTP / FTPS lautet dies target=ftp. Diese Angabe ist bei Nutzung des Logik Modules "Backup auf FTP" nicht nötig, da dies von dem Logik Modul bereits gesetzt wird.

Hinweis:

• Für die Speicherung auf sd-karte (nur Modellreihen 3xx/9xx/2xxx) wäre target=sd_card anzugeben.
• Bei Sicherungsziel angesteckter ElabNET Backup USB Stick ist target=usb_storage anzugeben
• Für Ablegen der Sicherungsdatei auf die interne SSD (Modellreihe 3500) ist target=internal anzugeben.

Auswahl von unverschlüsselter vs. expliziter vs. impliziter Verschlüsselung

Unverschlüsselt

Bei einer unverschlüsselten Plaintext-Sicherung beginnt die URL mit ftp:// und werden keine Parameter für die explizite Verschlüsselung angegeben

Beispiel: Die Kommandozeichenkette lautet dann "target=ftp|url=ftp://<benutzername>:<passwort>@<hostname>/<verzeichnis>"


Implizite Verschlüsselung auf FTPS Server

Bei der impliziter Sicherheit ist die TLS-Verschlüsselung beim FTPS Server vorkonfiguriert. Der Ziel-Server wird hier über Port 990 angesprochen. Hierzu muss die URL mit ftps:// beginnen

Beispiel: Für impliziter Verschlüsselung ist die Kommandozeichenkette so aufzubauen: "target=ftp|url=ftps://<benutzername>:<passwort>@<hostname>/<verzeichnis>"

Hinweis: Ein TLS-Parameter (weiter unten beschrieben) ist hier nicht anzugeben, da die implizite Verschlüsselung durch "ftps://" in der URL adressiert wird.


Explizite Verschlüsselung vom FTPS-Server anfordern

Bei expliziter Sicherheit muss die TLS-Verschlüsselung vom Client nach dem Verbindungsaufbau erst über den Steuerkanal angefordert werden. Da es dafür verschiedene Varianten gibt, die vom jeweiligen FTPS-Server unterstützt wird, muss der TLS Parametersatz in der Kommandozeichenkette angegeben werden.

Beispiele:

• Soll nur der Steuerkanal verschlüsselt werden (unsere Empfehlung): target=ftp|url=ftp://<benutzername>:<passwort>@<hostname>/<verzeichnis>|tls=control
• Soll auch die Datenübertragung zu verschlüsselt werden (dauert viel länger) und der FTPS Server dies auch unterstützt: target=ftp|url=ftp://<benutzername>:<passwort>@<hostname>/<verzeichnis>|tls=require

Anmeldung am FTP-Server

Das Datensicherungsmodul des Timberwolf Servers muss sich am FTP / FTPS Server anmelden. Hierzu wird das Benutzerkonto und das Passwort in der URL der Kommandozeichenkette zwischen der Protokollbezeichnung und dem Hostnamen zu übergeben.

Der Aufbau der URL (und dem enthaltenen Benutzernamen / Passwort) entspricht der RFC 1738, für Details kann das hier nachgelesen werden: https://www.rfc-editor.org/rfc/rfc1738.html

Format für Konto / Passwort:

• Zuerst ist der Benutzername anzugeben
• Anschließend ein Doppelpunkt :
• Danach dass Passwort
• Als Trennung vom Hostnamen ist ein @ Zeichen anzufügen

Beispiel (hier mit impliziter Verschlüsselung): target=ftp|url=ftps://User-TWS-Backup:PW-1489-aBc@mein.ftp-server.net/backups

In die Kommandozeichenkette sind Benutzerkonto und Passwort unverschlüsselt anzugeben. Bei impliziter oder expliziter Verschlüsselung erfiolgt die Übertragung von Konto und Passwort zum FTPS-Server verschlüsselt. Bei unverschlüsseltem "Plain" FTP wird Benutzername / Passwort unverschlüsselt übertragen.


Angabe der Hostadresse und Verzeichnis

Die Adresse des FTP / FTPS-Server wird in der URL als Hostnamen und Verzeichnis angegeben (nach dem @ Zeichen)

Beispiele:

• Lokales Synology NAS über IP-Adresse, Unterordner "backups" - mit expliziter Verschlüsselung nur des Steuerkanals: target=ftp|url=ftp://<benutzername>:<passwort>@192.168 ... ls=control
• Beispiel IONOS Hidrive (explizite Verschlüsselung): target=ftp|url=ftp://<benutzername>:<passwort>@ftp.hid ... ls=require
• Beispiel HETZNER Storage-Box: ftp://<u123456>:<passwort>@u123456.your-storagebox.de

Angabe mitzusichernde Docker-Volumes

Timberwolf Server Datensicherungen schließen Docker-Volumes nur auf Anforderung ein. Bei einer über das Objektsystem angeforderten Datensicherung kann in der Kommandozeichenkette eine Liste von Docker-Volumes angegeben werden.

Beispiel (implizite Verschlüsselung, Steuerkanal Port 990): target=ftp|url=ftps://<benutzername>:<passwort>@<hostname>/<verzeichnis>|container_volumes=fhem,CometVisuConfig

Hinweis: Die Docker-Container, welche diese Docker-Volumes nutzen, werden hierdurch NICHT gestoppt. Dies kann zu Problemen führen, wenn Software in Containern auf Dateien in Docker-Volumes gleichzeitig zugreift bzw. gesperrt hält. Damit wäre eine Sicherung solcher Docker-Volumes womöglich nicht vollständig bzw. ist blockiert. Stoppen Sie solche Container manuell, soweit für eine vollständige Sicherung notwendig.


Hinweis zu Custom Logiken wg. Default Beschränkungen der Zeichenlänge

Bei Custom Logiken stellt man sich ein Logik Modul selbst zusammen aus einzelnen Komponenten. Die Level sind per Default auf 32 Zeichen begrenzt. Da die Kommando-Zeichenkette länger werden kann, empfehlen wir, die Level in Custom Logiken mit längeren Puffern anzulegen.



Anforderung Datensicherung über Systemobjekt

Die Datensicherung wird angefordert, wenn die Kommando-Zeichenkette an das Systemobjekt "Backup - action - execute" gesendet wird

Hierzu ist ein (oder mehrere) Objekte, welche den String mit der Kommando-Zeichenkette aussenden, mit dem Systemobjekt "Backup - action - execute" zu verknüpfen. Im Bild sind das drei Objekte von den Ausgängen dreier Logiken (die verschiedene Kommando-Zeichenketten senden, eine Logik für Backup per FTP auf ein Synology NAS, eine Logik für Backup auf IONOS HiDrive und eine Logik für Backup auf einen USB Stick). Es können beliebig viele Objekte am Eingang verknüpft werden.



Jedesmal, wenn eines der verknüpften Objekte den String auf das Systemobjekt sendet, führt dies zu einer Anforderung der Datensicherung gemäß der Angaben in der Kommandozeichenkette.

Anmerkung: Es muss keine Logik sein, die eine Kommando-Zeichenkette sendet. Man kann eine solche auch direkt aus der VISU senden (oder jedem anderen Subsystem, das eine Zeichenkette senden kann). Wobei man aus der VISU auch nur ein true an den Trigger einer Backup Logik senden kann, die dann die Zeichenkette erzeugt und an das Steuerobjekt übergibt und damit die Datensicherung anfordert.


Doku Sicherung über Objektsystem

Eine Beschreibung in tabellarischer Form befindet sich im Wiki: https://elabnet.atlassian.net/wiki/x/AYAqwg



Nutzung Logik Modul für Datensicherung per FTP

Folgend eine Schritt für Schritt Anleitung für die Datensicherung auf ein lokales Synology NAS.


Synology NAS vorbereiten

Benötigt wird

• Ein Benutzerkonto mit Passwort und mit Zulassung für die Anwendung FTP (unter Benutzer und Gruppen anlegen)
• Einen freigegebenen Ordner, für den dieses Benutzerkonto die Berechtigung "Lesen/Schreiben" hat
• Aktivierung des Dateidienstes FTP (und FTPS)

Fertig, mehr ist nicht einzustellen. Die Berechtigung ergibt sich daraus, dass dieses Benutzerkonto die Erlaubnis für FTP hat, die Zugriffsrechte für einen Ordner hat und insgesamt FTP im NAS freigeschaltet ist. Wir empfehlen, für diese Backups einen eigenen Ordner anzulegen. Wer möchte, kann auch (z.B. über die APP File Station im Synology Manager) ein Unterverzeichnis anlegen.

Eine bebilderte Anleitung gibt es hier im Wiki: https://elabnet.atlassian.net/wiki/x/IAAXww


Logik anlegen

Die folgende Schritt für Schritt Anleitung ist für Nutzer gedacht, die noch nie eine Logik im Timberwolf Server angelegt haben. Bitte auch die Texte lesen, nicht nur auf die Bilder sehen, da in den Screenshots zum Teil mehrere Klicks zusammen gefasst sind.


1. Im Logik Manager die Schaltfläche [+ Logik hinzufügen] betätigen

2. Im Auswahlassistenten die Tab [Backup] betätigen

3. Die entsprechende Logik auswählen, hier Backup auf FTP anklicken




4. Bezeichnung eingeben - ggfl. Icon wählen und Beschreibung eingeben.

Nun erhält man diese Logik, diese ist jedoch für Objektverknüpfungen ausgelegt




5. Nun alle drei Eingänge nacheinander auf Parameter umstellen und mit folgenden Werten füllen




6. Beim ersten Eingang ist als Wert die URL einzugeben, für das Synology NAS lautet diese ftp://<benutzername>:<passwort>@192.168.1.2/backups (bitte den oben angelegten Benutzer der Synology anstatt <benutzername> angeben und das in der Synology vergebene Passwort anstatt <passwort> und natürlich die richtige IP-Adresse des lokalen Synology NAS sowie den angelegten gemeinsamen Ordner (und ggfls. Unterverzeichnisse). Lesen Sie hierzu den Abschnitt oben über den Aufbau der URL.




7. Auch den zweiten Eingang auf Parameter umstellen. Auszufüllen ist dieser nur, wenn bei expliziter Sicherheit eine Verschlüsselung anzufordern ist. Üblicherweise ist es empfehlenswert, eine Verschlüsselung des Steuerkanals anzufordern. Hierfür ist control einzugeben. Dies funktioniert mit allen von uns getesteten FTPS-Servern.




8. Nun den dritten Eingang auf Parameter umstellen. Auszufüllen ist dieser nur, wenn Docker Volumes gesichert werden sollen. Hier sind mehrere Docker Volumes getrennt durch Komma , ohne Leerzeichen anzugeben. Wir geben hier fhem,CometVisuConfig ein. Falls keine Docker Container mitzusichern sind, dann einfach leer lassen.




Verknüpfung mit Backup Steuerobjekt

Die Logik ist am Ausgang mit dem Steuerobjekt zu Verknüpfen, über das ein Backup angefordert wird, wenn die Kommando-Zeichenkette an dieses spezielle Steuerobjekt gesendet wird.

9. Klicken Sie auf [+ Ziele hinzufügen]. Es öffnet sich der Verknüpfungsassistent:




Datensicherung testen

Eine Logik wird nur berechnet, wenn diese ausgelöst wird. Üblicherweise wird eine Auslösung durch die Aktualisierung eines Eingangsobjektes getriggert. Jedoch gibt es in dieser Logik kein Eingangsobjekt und bislang auch keinen Trigger. Diese Logik würde damit niemals laufen.

Um die Datensicherung auf FTP zu testen, wird deshalb ein Auslöser benötigt.


10. Klicken Sie auf das + Zeichen unten in der Box in der Mitte und wählen dort + Trigger. Es erscheint zunächst ein Intervall-Auslöser der auf 30 s steht. Hier klicken und Objekt auswählen. Eine Verknüpfung mit einem Eingang ist für den Test nicht erforderlich:




11. Logik speichern und danach den Doktormodus aktivieren (Schiebeschalter auf aktiv). Unterhalb des zuvor geschaffenen Eingangsobjektes auf false (später kann dort auch true stehen). In der nun erscheinenden Auswahlbox true auswählen.




12. Nun kann der Test durchgeführt werden. Hierzu einfach die Schaltfläche mit dem Haken betätigen, damit erhält der Eingang Trigger 1 ein boolesches true und damit wird die Logik ausgelöst. Diese setzt aus den Teilstrings in den Parametern zusammen mit allen Schlüsseln die Kommando-Zeichenkette zusammen und sendet diese an das Ausgangs-Objekt. Dort wird diese dem Steuerobjekt übergeben und das Backup startet in weniger als einer Sekunde. Screenshot vom erfolgten Start.



Im Nachrichtencenter (sowohl in der Web-APP als auch im VISU Client) kann unter Nachrichten der Verlauf des Backups verfolgt werden. Alternativ auch im Modul Datensicherung. In diesem Fall ist die Sicherung fehlgeschlagen (weil die angegebenen Docker-Container auf dem Testsystem nicht existieren).




Bei erfolgreichem Test sieht eine erfolgreiche Datensicherung im Modul Datensicherung so aus (Angabe zu Docker Volumes entfernt):




Zeitschaltuhr hinzufügen

Nachdem der Test erfolgreich war, wird nun eine Zeitschaltuhr hinzugefügt, um die Datensicherung jeden Morgen um 3:00 Uhr zu starten.

13. Klicken Sie in der Logik auf das + Zeichen unten in der Box in der Mitte und wählen dort + Trigger. Es erscheint ein zweiter Trigger, zunächst als Intervall-Auslöser der auf 30 s steht. Hier klicken und Zeitschaltuhr auswählen. Einfach nur die Zeit auf 03:00 stellen:



14. Speichern. Fertig. Die Logik wurde angelegt, getestet, Zeitschaltuhr hinzugefügt. Mit Speichern wird die Zeitschaltuhr aktiv und wird diese Logik automatisch um 3:00 Uhr morgens auslösen und die Daten und die Konfiguration auf den Timberwolf Server sichern.


Tipps

Grundsätzlich funktioniert dies mit jedem FTP-Server.

Alle getesteten Server (Synology NAS, IONOS HiDrive, HETZNER Storage Box) haben mit der Verschlüsselungseinstellung control funktioniert.

Sie müssen also gegenüber dem Beispiel oben nur die vier Angaben zu Benutzername, Passwort, Hostadresse und ggfls. Verzeichnis anpassen. Und die Docker Volumes.


Doku

Doku Logik Modul FTP Datensicherung: https://elabnet.atlassian.net/wiki/x/AQCWwg

Doku für Sicherungsziel FTP-Server: https://elabnet.atlassian.net/wiki/x/LgCOwg

Doku für Sicherung auf Synology NAS per FTPS: https://elabnet.atlassian.net/wiki/x/IAAXww

Doku für Sicherung auf IONOS HiDrive per FTPS: https://elabnet.atlassian.net/wiki/x/AQAqww

Doku für Sicherung auf HETZNER Storage Box: https://elabnet.atlassian.net/wiki/x/AQAuww

[StefanW]

Hallo zusammen,

der Thread ist nun offen für Eure Anmerkungen und Fragen.

lg

Stefan

[abeggled]

Danke Stefan, ist es auch geplant modernere Destinationen wie Onedrive und iCloud für den privaten oder sFTP und S3-Objekt-Storage (was ja State of the Art im Cloud-Backup Bereich ist) für den professionellen Bereich anzubieten? Ich denke nur so wegen Neuheiten im Jahr 2025.

[AndererStefan]

Moin,

ich freudig überrascht, wie schnell die Funktion implementiert wurde

Viele Fritzboxen können auf einem angeschlossenen USB-Stick/Festplatte einen FTP bereitstellen. Nicht sehr performant, aber sehr einfach einzurichten.

Bzgl. „modernen“ Cloud Storages: sowas macht natürlich ne Dauerbaustelle auf, weil man sich mit zig verschiedenen API herumschlagen muss.
Ich würde das Backup lokal via FTP auf dem NAS speichern und von dort (zusammen mit anderen Daten) in die Cloud syncen (wenn ich Sachen in der Cloud speichern wollte).

Ansonsten fände ich, falls weitere Bemühungen in diese Richtung geplant sind SMB/Samba (=Netzwerkfreigabe von Windows) spannender. Ich will nicht sagen dass es einfacher zu entwickeln ist, aber es öffnet mit nur einem Protokoll mehr Türen.

VG Stefan

[ThomasD]

Hallo,

Ich finde es auch Notwendig das man die Möglichkeit hat direkt in die Cloud zu synchronisieren. Sonst hat man wieder ein Gerät was man im Auge behalten muss ob da auch alles glatt läuft. Und wer will sich heute noch im Heimnetz mit FTP rumschlagen, von der Absicherung mal ganz zu schweigen!

Bei der Migration zum HA, war das mit das erste was ich eingerichtet habe, das ein Backup zu OneDrive erfolgt.

Gruß
Thomas

[abeggled]

Bzgl. „modernen“ Cloud Storages: sowas macht natürlich ne Dauerbaustelle auf, weil man sich mit zig verschiedenen API herumschlagen muss.

Dies trifft genau auf S3 (Simple Storage Service) Speicher nicht zu. Dies ist ein Standard mit zig Anbietern, egal ob Hyperscaler oder lokale Anbieter, zudem kann ich ihn oft sogar auch auf einem lokalen NAS zur Verfügung stellen. In den meisten Fällen gibt es dabei sogar die Möglichkeit von Immutable-Speicher, damit können während einer definierten Zeit die Daten weder bewusst- noch unbewusst gelöscht werden. So ist man auch sicher vor den bösen Jungs.
Bitte nicht noch mehr der knappen Ressurcen von Elabnet in rückwärtsgewandte Technologien wie SMB und Co investieren.
So wird das nichts mit der Zukunft, zudem hat nicht jeder eine Fritzbox, zumindest ausserhalb von DE ist dies eher die Ausnahme als Standard.

[blaubaerli]

Hallo zusammen,

sorry, statt euch mal über das zu freuen, was neu geschaffen wurde, kommen unmittelbar die nächsten Wünsche. Das liegt wohl irgendwie in der Natur des Kunden. .

Ich bin froh, dass ich eine Hausautomatisierung habe, in der ich nicht auf Cloudlösungen angewiesen bin. Auch nicht für die Sicherung. Also bei mir schnurrt die FTP==>Synology-Lösung wie ein Kätzchen.

Ich verstehe eure Fragen, gehe aber auch davon aus, dass da die Prioritäten aktuell anders stehen.

Danke.

Beste Grüße
Jens

[terseek]

Verehrte Nutzer des Timberwolf Servers,

hier nun die zusätzlichen Hinweise zum Thema FTP

...

Vielen Dank für die sehr ausführliche Erklärung, das ist für mich sehr hilfreich.

Wollte dafür nicht einfach nur einen "Danke"-Click machen ...

[eib-eg]

Für mich persönlich stellt sich die Frage

Braucht sowas die breite Masse oder sind die Timberwolf Besitzer „fast“ alle außer mir nur Nerds

Nicht bezogen auf Stefans Beiträge hier, sondern auf die darauffolgenden Antworten.