NEUHEIT: Freigegebene Hauptversion V 1.6 ab sofort für alle Modelle des Timberwolf Server verfügbar. Infos: viewtopic.php?f=8&t=2588!

[Gelöst] [1.6.0 Hells Bells] TWS interne SSD wurde vollgeschrieben (vermutlich Docker Container)

Informationen über Docker, Verwaltung mit portainer und VMs
Antworten

Ersteller
zitterfritz
Reactions:
Beiträge: 32
Registriert: Mi Dez 19, 2018 8:23 pm
Hat sich bedankt: 25 Mal
Danksagung erhalten: 16 Mal

[1.6.0 Hells Bells] TWS interne SSD wurde vollgeschrieben (vermutlich Docker Container)

#1

Beitrag von zitterfritz »

Heute morgen musste ich feststellen, dass auf dem TWS die Grafanaauswertung meiner Wärmepumpe keine aktuellen Daten mehr anzeigte.

Ein Check der Systemseite im TWS zeigte eine Auslastung der internen SSD von 100%.
Gestern Abend betrug die Auslastung noch ca. 72%.

Die Zeitserien Datenbank ist seit dem Update von 1.6.0 RC8 auf 1.6.0 von vor drei Tagen auch auf über 1,1 GB angewachsen.
Grafana und Zeitserien Übersicht ließen sich seit heute morgen auch nicht mehr aufrufen.

Ich vermutete die Ursache bei dem Container iobroker auf dem TWS, bei dem ich gestern ein Update diverser Instanzen gemacht habe.
Leider konnte ich auch nicht mehr auf den Container zugreifen, da er wegen der vollen SSD angehalten wurde.
Kurzerhand hab ich im Portainer den iobroker Container gestoppt und mit seinem Datenvolumen gelöscht um auf der SSD Speicher freizuräumen.

Auf der Monitorseite blieb die Auslastung der SSD aber trotzdem bei 100%. Erst dachte ich an einen Anzeigefehler im Browser und habe mich ausgeloggt (was im nach hinein ziemlich dämlich von mir war).
Danach konnte ich mich nämlich nicht mehr einloggen, der TWS war über den Browser nicht mehr erreichbar.
Anpingen ging jedoch noch und auch auf die Portainerseite konnte man über den Browser zugreifen.

Dann die nächste Dummheit, ich hab den TWS neu gestartet.
Danach konnte ich mich zwar wieder einloggen, aber ein paar Dienste haben nicht mehr funktioniert:

Datenverteiler für Timberwolf-Objekte
Grafana Visualisierungplattform
ekey Subsystem
Logik Subsystem

Auf der Monitorseite konnte man sehen, wie obige Dienste ständig neu starten und dann wieder gestoppt wurden.

Subsystem Manger, Objekt Manager und Logik Manager in der Oberfläche zeigten keinerlei Einträge mehr, alles leer.

Ich habe noch versucht eine Datensicherung des aktuellen Zustandes zwecks späterem Troubleshooting zu Erstellen, dass wurde aber mit einer Fehlermeldung in der Oberfläche abgebrochen.

Jetzt hatte ich die Nase voll und habe das Backup von nach dem Update auf 1.6.0 aufgespielt, den TWS in der ETS neu programmiert, das ETS-Projekt File eingelesen.

Soweit so gut, alles scheint wieder zu laufen (ausser dass ich drei Tage Zeitserien usw. verloren habe).

Allerdings fiel mir auf der Systemmonitorseite nach dem Backup auf, dass der Speicherplatz der Zeitserien Datenbank von anfänglich 1,1GB nach ca. 1h Laufzeit des Servers auf ca. 290MB wieder zurückgegangen ist.
Die SSD Auslastung liegt jetzt bei 50%.

Könnte hier bei der Zeitserien Datenbank die Ursache für die vollgeschriebenen SSD gelegen haben?

@StefanW Ihr könnt gerne auf meine TWS gehen und nachschauen, ob Ihr noch was finden könnt.
Mir ist aber auch klar, dass ich durch das Aufspielen des Backups eventuelle Spuren gelöscht habe.
Aber mir war wichtiger das Ding am Samstag wieder zum Laufen zu bekommen, da durch den Verlust der Logiken der WAF extrem gefährdet war. ;)

Danke und viele Grüße

Heiko
Zuletzt geändert von StefanW am Sa Jan 09, 2021 6:08 pm, insgesamt 1-mal geändert.
TWS 960Q ID:230, VPN offen, Reboot erlaubt

StefanW
Elaborated Networks
Reactions:
Beiträge: 5000
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Grafing
Hat sich bedankt: 2360 Mal
Danksagung erhalten: 3691 Mal
Kontaktdaten:

#2

Beitrag von StefanW »

Hallo Heiko,

danke für die Info, aber ich fürchte, da wird es nicht mehr viel zu finden geben.

Bitte bei Nutzung von Containern immer den Speicherverbrauch sehr genau im Auge behalten

lg

Stefan
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART der Elaborated Networks GmbH
Support nur über dieses Forum und in individuellen Fällen über support@wiregate.de.
Bitte KEINE PN Impressum und Datenschutzerklärung oben

ms20de
Elaborated Networks
Reactions:
Beiträge: 447
Registriert: Sa Aug 11, 2018 9:14 pm
Hat sich bedankt: 173 Mal
Danksagung erhalten: 254 Mal

#3

Beitrag von ms20de »

Hallo Heiko,

die Anzeige der Größe im System Monitor ist der verwendete Arbeitsspeicher. Dieser kann sich jederzeit nach Nutzung der Zeitseriendatenbank verändern, weil dort angefragte Daten zwischengespeichert werden und der Arbeitsspeicher später wieder freigegeben wird. Die Größe der Datenbank auf der SSD findest du auf der Zeitserien Seite.

Viele Grüße,
Matthias
[ Timberwolf Entwicklung ]

TWS 2400 ID:102 VPN offen, Reboot auf Nachfrage

Ersteller
zitterfritz
Reactions:
Beiträge: 32
Registriert: Mi Dez 19, 2018 8:23 pm
Hat sich bedankt: 25 Mal
Danksagung erhalten: 16 Mal

#4

Beitrag von zitterfritz »

Hallo Stefan und Matthias,

Vielen Dank für die schnelle Info.
Gibt es eigentlich eine Möglichkeit die Volumes eines Containers auf die SD Card oder ein anderes externes Medium zu legen?

Danke und Gruß

Heiko
TWS 960Q ID:230, VPN offen, Reboot erlaubt

StefanW
Elaborated Networks
Reactions:
Beiträge: 5000
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Grafing
Hat sich bedankt: 2360 Mal
Danksagung erhalten: 3691 Mal
Kontaktdaten:

#5

Beitrag von StefanW »

Hallo Heiko,

ein Volume sollte man auch auf ein externes Medium legen können, ist aber mehr Vermutung als Wissen. Ein USB Stick bzw. Platte müsste vom USB erkannt werden und den Pfad sollte man in Portainer dann verwenden können. Partitionierung und Formatierung mit einem passenden Format (Ext4 müsste immer gehen, andere Formate weiß ich nicht) muss man vorher an einem anderen System ausführen.

Ich mag mich aber täuschen, sicherlich weiß der ein oder andere Forist mehr, der das schon gemacht hat.

lg

Stefan
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART der Elaborated Networks GmbH
Support nur über dieses Forum und in individuellen Fällen über support@wiregate.de.
Bitte KEINE PN Impressum und Datenschutzerklärung oben

Ersteller
zitterfritz
Reactions:
Beiträge: 32
Registriert: Mi Dez 19, 2018 8:23 pm
Hat sich bedankt: 25 Mal
Danksagung erhalten: 16 Mal

#6

Beitrag von zitterfritz »

Hallo Stefan,

Vielen Dank, ich werde mal weiter forschen und ausprobieren ;-)

Gruß Heiko
TWS 960Q ID:230, VPN offen, Reboot erlaubt
Antworten

Zurück zu „Docker, portainer, VM“