[Gelöst] Forum lädt verzögert?

[StefanW]

Danke Stefan,

Es wäre ja schön, wenn es aus der Userbase jemanden gibt der vielleicht mit Rat und Tat zur Seite stehen kann?

Bitte erstmal keine Aktionen bei den Foristen lostreten, wir melden uns schon, wenn wir Hilfe brauchen.

Weil es hilft uns nicht, wenn wir uns mit Dutzenden Ideen auseinandersetzen und eine höfliche Antwort formulieren müssen. Die Lösung ist eine WAF und da gibt es verschiedene Anbieter und wir sehen uns dass an.

lg

Stefan

[AndererStefan]

Hi,

sorry, ich seh ein, dass war etwas übereifrig… aber das rücksichtlose Vorgehen der KI-Konzerne ärgert mich sehr. (z.B. hat Anthropics Claude auch Bücher als illegalen Quellen gelesen; und Googles drängt seine KI Antworten ungefragt auf)

Aktuell merkt man die Belastung wieder mehr. Um 18 Uhr herum bekam ich einen Fehler Netzwerkverbindung unterbrochen, NSURLErrorDomain“.

VG Stefan

[StefanW]

Verehrte Foristen,

leider erleben wir heute wieder einen besonders intensiven Abfragesturm auf das Forum.

Obwohl wir die Ressourcen des Forums in den letzten Wochen bereits verzehnfacht haben, wird auch diese Leistungsbereitstellung komplett aufgesaugt von AI-Crawlern.

Wir könnten zwar noch weitere Server hinzunehmen um die Leistung nochmals zu verdoppeln, aber ich fürchte, das wird einfach wieder frech absorbiert. Wir müssten eine Applikation Level Firewall implementieren oder einen entsprechenden Service (z.B. von Cloudflare) einkaufen, was aber nicht billig ist.

In der Abwägung, ob wir uns auf den Rollout der Hauptversion V 4.5 konzentrieren oder das Forenproblem lösen, haben wir uns für die Fortsetzung der Arbeit an der Hauptversion entschieden. Wir wollen diese nicht ständig verschieben, weil was dringendes dazwischen kommt.

Wir müssen damit noch eine Zeitlang mit der eingeschränkten Forennutzung leben, solange die AI-Crawler zulangen.

lg

Stefan

[Sun1453]

Kein Problem Stefan, konzentriert euch auf die Hauptversion V 4.5

[StefanW]

Hallo zusammen,

hier mal eine Grafik der letzten Tage über die Zugriffe auf dem Forenserver



- Man sieht die mittlere Anzahl der Hits / Visitors pro Stunde

- Im Normalfall verzeichnen wir 2.000 - 3.000 Hits pro Stunde

- Gestern hatten wir in der größten Spitze bis 65.000 Hits in einer Stunde, also das 20 bis 30-fache des üblichen

- Interessant ist auch, dass wenn die Bots zugreifen, die Anzahl der Hits in etwa gleich ist mit der Anzahl der Unique Visitors (das ist ein Hit mit selber IP, selbem Datum und Agent String). Hier ist anzunehmen, dass fast jeder Hit von einer anderen IP kommt, was das Filtern auch erschwert.

Es ist unverfroren von diesen Spidern, ohne Erlaubnis stellenweise die 30-fache Last des üblichen für sich zu beanspruchen.

lg

Stefan

[Sun1453]

Echt Krass die Statistik und ja unverschämt wie man einfach Ressourcen von anderen so belastet und dann zu Outages bringt nur weil mal unbedingt die Inhalte auswerten möchte.