Richtig. Kann man schon fast als DOS werten.AndererStefan hat geschrieben: ↑Do Sep 04, 2025 11:04 pmDie Grenze zwischen LLM-Crawlern und DOS-Aktacken scheint ja fließend…
Ja, das ist hinsichtlich dieser Leistungsanforderung auch frech und unkooperative, so benimmt man sich im Internet nicht, dass man die Ressourcen der Gegenseite nur für sich beansprucht. Die könnten das über den Anstieg der Antwortzeiten ja durchaus erkennen, wann eine Ressource in das Limit geht, weil die Antwortzeiten rapide ansteigen. Der ein oder andere wird gemerkt haben, dass die Zeiten von üblicher 1 bis 2 Sekunden nach einem Klick auf bis zu 30 Sekunden hochgehen, wenn der Workerthread nicht gleich mit 503-Meldung aussteigt, die auch diese Crawler sehen. Das bedeutet dann auch: Bremsen.AndererStefan hat geschrieben: ↑Do Sep 04, 2025 11:04 pmAls Betreiber wäre ich etwas „angeranzt“, dass die LLM nicht nur den Content gratis abgrasen, sondern auch noch Kosten in Form von Traffic/CPU Last verursachen.
Das Forum wird ja immer schon indiziert von zig Suchmaschinen, das war nie ein Problem, weil die das zurückhaltend machen.
Diese Leistungserhöhungen sind ja nicht trivial und kosten neben Geld auch dem Team viel Zeit.
Maßnahmen zur Verdopplung der "Forenleistung" im August:
Dieses Forum wurde bislang von zwei Servern bereitgestellt. Der eine für die HTTP-Oberfläche und der andere der die SQL-Datenbank für die Inhalte bereit stellt. Beim Abfragesturm Mitte August ging zuerst die SQL-Datenbank leistungsmäßig in die Knie. Eine Erhöhung wäre bei AWS buchbar gewesen, ist bei DB-Instanzen allerdings auch recht teuer.
Da wir ohnehin eine neue Cloud-Struktur bei einem anderen Dienstleister mit Dedicated Servern (anstatt Buchen von Instanzen und Diensten) aufbauen, haben wir dort folgendes eingerichtet:
- Eine zweite Datenbank auf Dedicated Server mit deutlich höherer Leistung),
- Zwei VPN-Server (einer bei AWS, einer beim neuen Dienstleister) um die beiden Cloud-Strukturen zu verbinden
- Einrichtung einer Replizierung von der bisherigen DB auf die neue zweite DB
- Installation eines DB-Proxy-Servers, der die Schreibanforderung an die bisherige DB richtet und die Leseanforderungen an die neue DB
- Umstellen der Forumskonfiguration, damit die DB-Verbindung über den DB-Proxy läuft
Diese Maßnahmen haben geholfen, dass das Forum wieder nutzbar war.
Ja, man hätte auch nur einen leistungsfähigeren DB-Server nehmen können, aber wie gesagt, das ist teuerer.
Maßnahmen zur weiteren Verdopplung der "Forenleistung" vom 4 September:
Wegen des erneuten Abfragesturms in der Nacht vom 3. auf den 4. September und ab dem Spätabend des 4. September haben wir noch am frühen Abend die gebuchten Kontingente auf dem Forenserver (HTTP-/PHP) höher gesetzt. Das war sehr einfach möglich, aber es verdoppelt sich bei AWS immer die Kosten pro besserer Instanz.
Hier konnten wir auch von den Maßnahmen im August profitieren, weil die Verdopplung der Ressourcen des Forenservers konnte die stark erhöhte DB-Leistung auch nutzen, so dass damit effektiv auch eine Leistungsverdopplung im Forum genutzt werden konnte. Der DB-Server hat dabei noch Reserven. Leider hat sich dann auch der Abfragesturm verdoppelt, d.h. der hochgestufte Forenserver war gleich wieder im Anschlag (eigentlich drüber, weil Warteschlange zweieinhalb mal solange ist, wie nun Kerne zur Verfügung stehen).
Für eine Leistungserweiterung des Forenservers bei AWS müsste man weiter hochbuchen. Allerdings würde die nächsthöhere Instanz erneut doppelt kosten, aber nur 50% mehr CPU-Punkte bringen, man müsste also um zwei Instanzen hochstufen um auch doppelt CPU-Kerne und CPU-Punkte zu bekommen. Damit wären wir aber bei einer Verachtfachung der Kosten gegenüber den letzten sechs Jahren (weil Verdopplung der Kosten hatten wir gestern schon und die als nächstes dann anstehende Vervierfachung der doppelten Kosten....).
Geplante Maßnahmen zur erheblichen Kapazitätserhöhung der "Forenleistung" (voraussichtlich nächste Woche):
Wir wollen uns künftig nicht alle paar Wochen uns aus der eigentlich geplanten Tätigkeit rausreissen lassen um das Forum zu stabilisieren, weil noch mehr LLM-Crawler meinen, unser Forum in Lichtgeschwindigkeit für das Training nutzen zu müssen.
Die gestrige Maßnahme war ein schneller Notnagel, weil eigentlich war das geplant, was ich im Folgenden beschreibe:
Der Forenserver soll komplett auf einen Dedicated Server umziehen, der ein zigfaches der bisherigen Rechenleistung hat. Damit ziehen wir auch den Foren-DB-Server nach dort um. Zusätzlich wird die TLS-Verschlüsselung von einem separaten Reverse-Proxy übernommen, so dass sich eine Lastaufteilung realisierten lässt, die gut skalierbar ist.
Diese Maßnahmen sollten geschätzt eine Leistungssteigerung um den Faktor 10 ergeben - bei etwa gleichen laufenden Kosten (allerdings wird erhebliche Manpower für die Umstellung benötigt, allerdings hätten wir für einen alternativen Umstieg auf ein besser skalierbares und technisch aktuelleres Instanzmodell bei AWS ebenfalls Manpower benötigt - bei höheren laufenden Kosten).
Diese angestrebte Leistungserhöhung kann mit der neuen flexiblen Architektur kosteneffizient weiter hochskaliert werden, weil man denn eben die Laust auf mehrere DB-Replika-Server verteilen kann, da der neue DB-Proxy diese Lastverteilung ermöglicht. Zusätzlich ist eine Aufteilung des Foren-Frontend-Servers auf mehrere Server machbar und dies alles beim neuen Dienstleister auch erträglich finanzierbar.
Ihr seht, das Timberwolf Ökosystem ist mehr als nur der Server in der Verteilung. Die Anstrengungen für Betrieb und Aufrechterhaltung von Cloud-Systemen, für Forum, Wiki, Ticket und interne IT müssen auch geleistet und laufend an steigende Anforderungen angepasst werden und machen nur für den technischen Anteil etwa 15% unserer Arbeit aus - plus Support der Anfragen und Pflege und Erweiterung der Inhalte.
Vielen lieben Dank an das Team, dass sich hier auch am Abend und am Wochenende - durchaus auch zu unbezahlten Überstunden - damit auseinandersetzt. Wenn Ihr dem Team was zurückgeben wollt, dann gebt bitte ein Like hierauf (die sind nicht für mein Ego, sondern für diese Teamleistung). Merci
lg
Stefan