Forenüberlastung durch massiv gestiegene Abfragen

Derzeit kommt es immer wieder zu heftigem Abfrageaufkommen im Forum, teils bis zum 20-fachen des üblichen. Deshalb ist das Forum langsam bzw. es kommt zu 503-Status-Anzeigen oder gar keiner Reaktion des Forums.

Wir haben in den letzten Wochen laufend reagiert und die Leistung verdoppelt, was zunächst geholfen hatte. Mittlerweile haben die Abfragen wieder zugenommen und wir haben heute am frühen Abend die Serverleistung nochmals verdoppelt. Allerdings hat sich gleich darauf das Abfragevolumen ebenfalls verdoppelt.

Wir arbeiten seit längerem an einem Umbau der IT-Struktur des Forums, damit sollten wir nächste Woche eine Verzehnfachung der Leistung erreichen und könnten mit der neuen IT-Basis dann auch nochmals nachlegen.

Die Ursachen für diese Abfragen scheint nach ersten Analysen in KI-Systemen zu liegen, die für das Training der Modelle das gesamte Internet mit hoher Leistung auslesen. Ein Filtern ist schwierig, weil es mal US-Adressen sind und dann wieder chinesische und das ständig wechselt.

Bitte sichert neue Beiträge in einem Texteditor vor dem Absenden im Browser. Wir bitten um Eure Geduld

[Frage] [4.5 IP8] Löschen alter Daten in Zeitserien

Diskussionen über Zeitserien, Logging und Auswertung mit Grafana
Forumsregeln
  • Denke bitte an aussagekräftige Titel und gebe dort auch die [Firmware] an. Wenn ETS, CometVisu, Grafana, Edomi oder eine andere Software beteiligt ist, dann auch immer deren Version
  • Bitte mache vollständige Angaben zu Deinem Server, dessen ID und dem Online-Status in Deiner Signatur. Hilfreich ist oft auch die Beschreibung der angeschlossener Hardware sowie die verwendeten Protokolle
  • Beschreibe Dein Projekt und Dein Problem bitte vollständig. Achte bitte darauf, dass auf Screenshots die Statusleiste sichtbar ist
  • Bitte sei stets freundlich und wohlwollend, bleibe beim Thema und unterschreibe mit deinem Vornamen. Bitte lese alle Regeln, die Du hier findest: https://wiki.timberwolf.io/Forenregeln
Antworten

Ersteller
jhaeberle
Reactions:
Beiträge: 241
Registriert: Do Aug 24, 2023 11:07 am
Wohnort: Raum Augsburg
Hat sich bedankt: 98 Mal
Danksagung erhalten: 53 Mal

[4.5 IP8] Löschen alter Daten in Zeitserien

#1

Beitrag von jhaeberle »

Hi,

aus Datenschutzgründen sollte man unter Umständen in der Lage sein, Zeitserien nicht zu lange vor zu halten, aus denen man Rückschlüsse auf Verhalten von Personen ziehen kann. Nun speichert der Wolf die Zeitserien halt, solange die Platte mitmacht.

Gibt es eine elegante Möglichkeit, um den Zeitraum, für den eine Zeitserie vorgehalten wird, einzustellen? Bspw.: Lösche Daten der Serie 23, die älter als 10 Tage sind.

Danke, Gruß
Jochen
TWS 3500XL, ID: 1409 (VPN offen, Reboot nach Rücksprache)

blaubaerli
Reactions:
Beiträge: 2716
Registriert: Sa Sep 15, 2018 10:26 am
Wohnort: Kerpen
Hat sich bedankt: 1027 Mal
Danksagung erhalten: 826 Mal

#2

Beitrag von blaubaerli »

Hallo Jochen,

nein.

Beste Grüße
Jens
timberwolf168(2600er)VPN offenReboot nach Vereinbarung
timberwolf1699(3500XL)VPN offenReboot jederzeit
wiregate1250
Bitte WIKI lesen.

Ersteller
jhaeberle
Reactions:
Beiträge: 241
Registriert: Do Aug 24, 2023 11:07 am
Wohnort: Raum Augsburg
Hat sich bedankt: 98 Mal
Danksagung erhalten: 53 Mal

#3

Beitrag von jhaeberle »

Doof. Das ist u.U. DSGVO-Relevant… bspw., wenn man vermietet.
TWS 3500XL, ID: 1409 (VPN offen, Reboot nach Rücksprache)

AndererStefan
Reactions:
Beiträge: 316
Registriert: Sa Mär 02, 2024 11:04 am
Hat sich bedankt: 161 Mal
Danksagung erhalten: 203 Mal

#4

Beitrag von AndererStefan »

Hi,

wäre aber schon gut, wenn man alte Daten irgendwann löschen könnte.
Das lässt mich das Loggen der Helligkeit oder Windgeschwindigkeit (könnte man ja zum Feintunen von Automatisieren brauchen) mit anderen Augen sehen…

Gute Nacht,
Stefan
TWS 3500XL ID:1486, VPN aktiv, Reboot nach Rücksprache
Benutzeravatar

speckenbuettel
Reactions:
Beiträge: 413
Registriert: Mo Jun 27, 2022 9:30 am
Hat sich bedankt: 321 Mal
Danksagung erhalten: 251 Mal

#5

Beitrag von speckenbuettel »

Hallo,

eine Möglichkeit zum Löschen alter Daten in Zeitreihen (oder zum Verdichten von Daten) wünsche ich mir ebenfalls.

Kurzfristig sind hochaufgelöste Betriebswerte sinnvoll - aber Zimmertemperaturen von vor drei Jahren im 15-Minuten-Takt sind dann doch eher von geringem Interesse. Eine Verdichtung (z. B. Mittelwert pro Stunde, pro Tag etc.) für alte Daten wäre auch noch eine schöne Ergänzung.

Auch wenn die Zeitreihen auf dem TWS kaum nennenswerten Speicherplatz verbrauchen ...

Viele Grüße
Falk
Vielen Dank und viele Grüße
Falk

TWS 3500M ID:810 - VPN aktiv - Reboot nach Absprache
1-Wire, KNX (MDT u. a.), EnOcean (Eltako u. a.), Gira TKS, ekey multi

blaubaerli
Reactions:
Beiträge: 2716
Registriert: Sa Sep 15, 2018 10:26 am
Wohnort: Kerpen
Hat sich bedankt: 1027 Mal
Danksagung erhalten: 826 Mal

#6

Beitrag von blaubaerli »

Hallo zusammen,

dieses Thema wurde bereits mehrfach diskutiert und ist nicht neu.

Bemüht dazu bitte gerne die Suchfunktion des Forums. Das ist sehr wohl bekannt und steht auf dem Zettel. Ändert aber nichts an meiner Aussage für die bisherigen Softwarestände, den hier oben explizit genannten und die bisher veröffentlichten anderen Stände.

Filtern vor dem Schreiben geht im Zweifel über Logiken. Was einmal geschrieben ist, ist aktuell nicht selektiv löschbar. Entweder ihr löscht die ganze Serie oder lasst sie inhaltlich unverändert. Bei Auswertungen über Grafana besteht natürlich die Möglichkeit, den Abfragezeitraum zu beeinflussen.

Beste Grüße
Jens
timberwolf168(2600er)VPN offenReboot nach Vereinbarung
timberwolf1699(3500XL)VPN offenReboot jederzeit
wiregate1250
Bitte WIKI lesen.
Antworten

Zurück zu „Zeitserien, Logging & Grafana“