[Gelöst] Forum lädt verzögert?

[AndererStefan]

Moin,

seit Samstag oder Sonntag - ich weiß es nicht mehr sicher - lädt das Forum (https://forum.timberwolf.io/) bei mit mit ca. 5 Sekunden Verzögerung. Es betrifft die Startseite, aber auch jeden Beitrag.

Beobachtet auf iOS 18.5 mit Safari, Edge (138.0.3351) und Firefox (141). Alle anderen Internetseiten (inkl. der Elabnet Homepage) laden normal.

Hat das noch jemand außer mir?

VG Stefan

[StefanW]

Hi,

ja, ist uns auch aufgefallen und wir diskutieren das bereits im Moderatoren Unterforum.

Stefan

[StefanW]

Hi zusammen,

wir haben eine kurze Analyse vorgenommen:

Es wird derzeit ca. 10x soviel CPU verbraucht wie sonst und das anhaltend über Tage hinweg. Das geht seit Mitte letzter Woche und hat zum Ende der Woche dann die bisher "gebunkerten" CPU-Credits verbraucht, so dass jetzt diese Anforderungen nicht mehr ausreichend bedient werden können.

So ein langandauerndes Anforderungsverhalten an die CPU gab es in allen Betriebsjahren nicht. Es werden viele PHP-Requests ausgelöst und es gibt die starke Vermutung, dass dies an Crawlern / Spidern und anderen Robots liegt. Heutezutage gibt es auch Indexierungen von KI, die mittlerweile auch tagesaktuell trainiert wird.

Wir haben ein paar Parameter für Crawler / Spider anders gesetzt, insbesondere was die Dichte der Anfragen betrifft. Ob sich diese freiwillig auch daran halten, werden wir sehen. Womöglich gibt sich das auch wieder, war ja in den letzten Jahren auch nicht so intensiv.

Sollte sich das nicht in Tagen legen, dann sehen wir genauer nach, aber im Moment gibt es wichtigere Aufgaben.

lg

Stefan

[Sun1453]

War mir seit gestern auch aufgefallen aber hab gedacht es sind Wartungsarbeiten von AWS wo ihr ja hosted.

[StefanW]

Hi zusammen,

das Problem ist behoben. Die Sache war kompliziert, aber es sind wohl mehrere Bots (oder der gleiche von verschiedenen IPs) die wohl schlecht programmiert sind und deshalb hundertfach (falsche) Aufrufe an das Forum gemacht haben und 80% der Kapazität für sich beansprucht haben, dabei sich aber als User tarnen (aber klar keine sind).

Etwas mysteriöse. Wir wollen hier nicht mehr ins Detail gehen, aber im Moment ist es behoben.

lg

Stefan

[Sun1453]

Hallo Stefan, kann ich bestätigen. Das Forum ist wieder schnell wie zuvor.

[AndererStefan]

Sehr schön, hier auch.
Danke für die Einblicke!

[eib-eg]

Perfekt
Ich dachte mir, jetzt hab ich am Handy Zeit bis die Seite aufmacht das ich noch was anderes mache, Aber Pusteblume.

So schnell war es schon lange nicht mehr. Da vergeht keine halbe Sekunde mehr und die Seite ist da.

Das ist nicht gut die Pausen werden kürzer

[StefanW]

Hallo zusammen,

Forenüberlastung durch massiv gestiegene Abfragen

Derzeit kommt es immer wieder zu heftigem Abfrageaufkommen im Forum, teils bis zum 20-fachen des üblichen.

Ihr merkt das daran, dass das Forum wähend dessen sehr langsam ist bzw. HTTP 503-Status Anzeigen erscheinen oder der Browser gar anzeigt, dass das Forum nicht erreichbar ist.

Wir haben in den letzten Wochen auf die laufende Zunahme reagiert und bereits die Leistung verdoppelt, was zunächst geholfen hatte. Seit gestern haben die Abfragen wieder zugenommen und wir haben heute am frühen Abend die Serverleistung nochmals verdoppelt. Allerdings hat sich darauf hin das Abfragevolumen ebenfalls verdoppelt, d.h. die Leistungserweiterung wurde komplett absorbiert.

Wir arbeiten seit längerem an einem Umbau der IT-Struktur von Cloud und Forum. Damit sollten wir nächste Woche auf einen neuen Server umziehen können, damit voraussichtlich eine Verzehnfachung der Leistung erreichen und könnten mit dieser neuen IT-Basis notfalls nochmals nachlegen.

Die Ursachen für diese Abfragen scheint nach ersten Analysen in KI-Systemen zu liegen, die für das Training der Modelle das gesamte Internet mit hoher Leistung auslesen - und unser Forum eben mit. Ein Filtern ist schwierig, weil es mal US-Adressen sind und dann wieder chinesische und diese ständig wechseln. Bislang war eine Erhöhung der Serverleistung einfacher als eine ständige Anpassung von Filtern.

Bitte sichert neue Beiträge in einem Texteditor vor dem Absenden im Browser.

Wir bitten um Eure Geduld.

lg

Stefan

[AndererStefan]

Danke für die Info, ich hatte mich auch schon gewundert.
Die Grenze zwischen LLM-Crawlern und DOS-Aktacken scheint ja fließend…

Als Betreiber wäre ich etwas „angeranzt“, dass die LLM nicht nur den Content gratis abgrasen, sondern auch noch Kosten in Form von Traffic/CPU Last verursachen.

VG Stefan