[1.6.0 Hells Bells] TWS interne SSD wurde vollgeschrieben (vermutlich Docker Container)
Verfasst: Sa Jan 09, 2021 4:14 pm
Heute morgen musste ich feststellen, dass auf dem TWS die Grafanaauswertung meiner Wärmepumpe keine aktuellen Daten mehr anzeigte.
Ein Check der Systemseite im TWS zeigte eine Auslastung der internen SSD von 100%.
Gestern Abend betrug die Auslastung noch ca. 72%.
Die Zeitserien Datenbank ist seit dem Update von 1.6.0 RC8 auf 1.6.0 von vor drei Tagen auch auf über 1,1 GB angewachsen.
Grafana und Zeitserien Übersicht ließen sich seit heute morgen auch nicht mehr aufrufen.
Ich vermutete die Ursache bei dem Container iobroker auf dem TWS, bei dem ich gestern ein Update diverser Instanzen gemacht habe.
Leider konnte ich auch nicht mehr auf den Container zugreifen, da er wegen der vollen SSD angehalten wurde.
Kurzerhand hab ich im Portainer den iobroker Container gestoppt und mit seinem Datenvolumen gelöscht um auf der SSD Speicher freizuräumen.
Auf der Monitorseite blieb die Auslastung der SSD aber trotzdem bei 100%. Erst dachte ich an einen Anzeigefehler im Browser und habe mich ausgeloggt (was im nach hinein ziemlich dämlich von mir war).
Danach konnte ich mich nämlich nicht mehr einloggen, der TWS war über den Browser nicht mehr erreichbar.
Anpingen ging jedoch noch und auch auf die Portainerseite konnte man über den Browser zugreifen.
Dann die nächste Dummheit, ich hab den TWS neu gestartet.
Danach konnte ich mich zwar wieder einloggen, aber ein paar Dienste haben nicht mehr funktioniert:
Datenverteiler für Timberwolf-Objekte
Grafana Visualisierungplattform
ekey Subsystem
Logik Subsystem
Auf der Monitorseite konnte man sehen, wie obige Dienste ständig neu starten und dann wieder gestoppt wurden.
Subsystem Manger, Objekt Manager und Logik Manager in der Oberfläche zeigten keinerlei Einträge mehr, alles leer.
Ich habe noch versucht eine Datensicherung des aktuellen Zustandes zwecks späterem Troubleshooting zu Erstellen, dass wurde aber mit einer Fehlermeldung in der Oberfläche abgebrochen.
Jetzt hatte ich die Nase voll und habe das Backup von nach dem Update auf 1.6.0 aufgespielt, den TWS in der ETS neu programmiert, das ETS-Projekt File eingelesen.
Soweit so gut, alles scheint wieder zu laufen (ausser dass ich drei Tage Zeitserien usw. verloren habe).
Allerdings fiel mir auf der Systemmonitorseite nach dem Backup auf, dass der Speicherplatz der Zeitserien Datenbank von anfänglich 1,1GB nach ca. 1h Laufzeit des Servers auf ca. 290MB wieder zurückgegangen ist.
Die SSD Auslastung liegt jetzt bei 50%.
Könnte hier bei der Zeitserien Datenbank die Ursache für die vollgeschriebenen SSD gelegen haben?
@StefanW Ihr könnt gerne auf meine TWS gehen und nachschauen, ob Ihr noch was finden könnt.
Mir ist aber auch klar, dass ich durch das Aufspielen des Backups eventuelle Spuren gelöscht habe.
Aber mir war wichtiger das Ding am Samstag wieder zum Laufen zu bekommen, da durch den Verlust der Logiken der WAF extrem gefährdet war.
Danke und viele Grüße
Heiko
Ein Check der Systemseite im TWS zeigte eine Auslastung der internen SSD von 100%.
Gestern Abend betrug die Auslastung noch ca. 72%.
Die Zeitserien Datenbank ist seit dem Update von 1.6.0 RC8 auf 1.6.0 von vor drei Tagen auch auf über 1,1 GB angewachsen.
Grafana und Zeitserien Übersicht ließen sich seit heute morgen auch nicht mehr aufrufen.
Ich vermutete die Ursache bei dem Container iobroker auf dem TWS, bei dem ich gestern ein Update diverser Instanzen gemacht habe.
Leider konnte ich auch nicht mehr auf den Container zugreifen, da er wegen der vollen SSD angehalten wurde.
Kurzerhand hab ich im Portainer den iobroker Container gestoppt und mit seinem Datenvolumen gelöscht um auf der SSD Speicher freizuräumen.
Auf der Monitorseite blieb die Auslastung der SSD aber trotzdem bei 100%. Erst dachte ich an einen Anzeigefehler im Browser und habe mich ausgeloggt (was im nach hinein ziemlich dämlich von mir war).
Danach konnte ich mich nämlich nicht mehr einloggen, der TWS war über den Browser nicht mehr erreichbar.
Anpingen ging jedoch noch und auch auf die Portainerseite konnte man über den Browser zugreifen.
Dann die nächste Dummheit, ich hab den TWS neu gestartet.
Danach konnte ich mich zwar wieder einloggen, aber ein paar Dienste haben nicht mehr funktioniert:
Datenverteiler für Timberwolf-Objekte
Grafana Visualisierungplattform
ekey Subsystem
Logik Subsystem
Auf der Monitorseite konnte man sehen, wie obige Dienste ständig neu starten und dann wieder gestoppt wurden.
Subsystem Manger, Objekt Manager und Logik Manager in der Oberfläche zeigten keinerlei Einträge mehr, alles leer.
Ich habe noch versucht eine Datensicherung des aktuellen Zustandes zwecks späterem Troubleshooting zu Erstellen, dass wurde aber mit einer Fehlermeldung in der Oberfläche abgebrochen.
Jetzt hatte ich die Nase voll und habe das Backup von nach dem Update auf 1.6.0 aufgespielt, den TWS in der ETS neu programmiert, das ETS-Projekt File eingelesen.
Soweit so gut, alles scheint wieder zu laufen (ausser dass ich drei Tage Zeitserien usw. verloren habe).
Allerdings fiel mir auf der Systemmonitorseite nach dem Backup auf, dass der Speicherplatz der Zeitserien Datenbank von anfänglich 1,1GB nach ca. 1h Laufzeit des Servers auf ca. 290MB wieder zurückgegangen ist.
Die SSD Auslastung liegt jetzt bei 50%.
Könnte hier bei der Zeitserien Datenbank die Ursache für die vollgeschriebenen SSD gelegen haben?
@StefanW Ihr könnt gerne auf meine TWS gehen und nachschauen, ob Ihr noch was finden könnt.
Mir ist aber auch klar, dass ich durch das Aufspielen des Backups eventuelle Spuren gelöscht habe.
Aber mir war wichtiger das Ding am Samstag wieder zum Laufen zu bekommen, da durch den Verlust der Logiken der WAF extrem gefährdet war.
Danke und viele Grüße
Heiko