Forenüberlastung durch massiv gestiegene Abfragen

Derzeit kommt es immer wieder zu heftigem Abfrageaufkommen im Forum, teils bis zum 20-fachen des üblichen. Deshalb ist das Forum langsam bzw. es kommt zu 503-Status-Anzeigen oder gar keiner Reaktion des Forums.

Wir haben in den letzten Wochen laufend reagiert und die Leistung verdoppelt, was zunächst geholfen hatte. Mittlerweile haben die Abfragen wieder zugenommen und wir haben heute am frühen Abend die Serverleistung nochmals verdoppelt. Allerdings hat sich gleich darauf das Abfragevolumen ebenfalls verdoppelt.

Wir arbeiten seit längerem an einem Umbau der IT-Struktur des Forums, damit sollten wir nächste Woche eine Verzehnfachung der Leistung erreichen und könnten mit der neuen IT-Basis dann auch nochmals nachlegen.

Die Ursachen für diese Abfragen scheint nach ersten Analysen in KI-Systemen zu liegen, die für das Training der Modelle das gesamte Internet mit hoher Leistung auslesen. Ein Filtern ist schwierig, weil es mal US-Adressen sind und dann wieder chinesische und das ständig wechselt.

Bitte sichert neue Beiträge in einem Texteditor vor dem Absenden im Browser. Wir bitten um Eure Geduld

[Erfahrungsbericht] Erste Erfahrungen und Erfolge meinserseits

User-Geschichten zu erfolgreichen Projekten wie Migrationen vom Wiregate, Eigenbauten, usw.
Forumsregeln
  • Denke bitte an aussagekräftige Titel und gebe dort auch die [Firmware] an. Wenn ETS oder CometVisu beteiligt sind, dann auch deren Version
  • Bitte mache vollständige Angaben zu Deinem Server, dessen ID und dem Online-Status in Deiner Signatur. Hilfreich ist oft auch die Beschreibung der angeschlossener Hardware sowie die verwendeten Protokolle
  • Beschreibe Dein Projekt und Dein Problem bitte vollständig. Achte bitte darauf, dass auf Screenshots die Statusleiste sichtbar ist
  • Bitte sei stets freundlich und wohlwollend, bleibe beim Thema und unterschreibe mit deinem Vornamen. Bitte lese alle Regeln, die Du hier findest: https://wiki.timberwolf.io/Forenregeln
Antworten

Ersteller
Dragonos2000
Reactions:
Beiträge: 2205
Registriert: So Aug 12, 2018 1:38 pm
Wohnort: Karlsruher Raum
Hat sich bedankt: 498 Mal
Danksagung erhalten: 900 Mal

Erste Erfahrungen und Erfolge meinserseits

#1

Beitrag von Dragonos2000 »

Seit der Inbetriebnahme meines 2600er hatte ich so einige Aha-Erlebnisse, die ich an dieser Stelle gerne mal teilen möchte und bei denen mir der TW in der kurzen Zeit schon super Dienste geleistet hat:

Dank des Busmonitors und den einfachen Filtermöglichkeiten hab' ich schon verschiedene seltsame Effekte/Probleme beheben können, die ich mit dem Bordmittel ETS nicht gefunden habe oder finden wollte: Entweder, weil der Fehler stets dann aufgetreten ist, wenn ich mich nicht mit der ETS auf die Lauer gelegt habe. Oder weil es mir in der ETS zu mühsam und aufwändig war. War natürlich nichts gravierendes, aber mit Nervfaktor. Ein konkretes Beispiel war Geisterschalten verknüpfter PM's. Der Geist hat natürlich immer gewartet, bis die ETS gerade nicht mitgelaufen ist.

Super und dementsprechend aufschlussreich ist auch, nachträglich mal eben schnell den Verlauf verschiedener Werte (bspw. Stellgrößen vs. Messwertverlauf) zusammenklicken und vergleichen zu können, ohne dafür vorab etwas konfiguriert haben zu müssen.
Allein schon zur Fehlersuche und Optimierung möchte ich meinen TW nicht mehr missen:
Konkret bspw. ein RWM, der nicht mehr wollte (anscheinend die Batterie so schnell zusammengefallen, dass der nicht mal mehr eine Batteriemeldung abgeben konnte). Das KNX Modul ging zwar auf Alarm, aber genau bei dem Melder hatte ich die Verknüpfung vergessen. Und er ist auch an einer Position, wo den regelmäßigen Test gerne mal verschiebst :angry-extinguishflame:
Entdeckt hab' ich es dann zufällig durch einen Blick auf die Interfacestatistik. Auch ein paar unglücklich konfigurierte Sensoren habe ich damit entdeckt, die unnötigt oft auf den Bus gesendet haben.

Besonders hervorheben möchte ich auch die Inbetriebnahme der 1-Wire Sensoren. Das ist mal Plug'n Play vom Feinsten und wirklich super einfach. Anschließen, Discovery und voilà- alles da, samt Datentyp und dann natürlich schon auswertbar. :handgestures-thumbupright: :text-thankyouyellow:

LG
Jochen
Zuletzt geändert von Dragonos2000 am So Jan 06, 2019 7:06 pm, insgesamt 3-mal geändert.
Lg
Jochen
____________________________________________________________
TW 2600 #188
VPN offen, Zugriff jederzeit, Experimente jederzeit, Reboot jederzeit

StefanW
Elaborated Networks
Elaborated Networks
Reactions:
Beiträge: 10830
Registriert: So Aug 12, 2018 9:27 am
Wohnort: Frauenneuharting
Hat sich bedankt: 5350 Mal
Danksagung erhalten: 8997 Mal
Kontaktdaten:

#2

Beitrag von StefanW »

Hallo Jochen,

danke sehr. Das sind geanau die Dinge, die wir mit dem Timberwolf Server erreichen wollten.

Weil die Erkenntnis aus 20 Jahren Support in IT- und Smarthome-Systemen zeigte mir, dass die Hälfte der Zeit bei der Implementierung von Funktionalität man es mit der Fehlersuche zu tun hat, weil das System nicht das macht, was man erwartet.

Die meisten Systeme haben aber nix ordentliches zum fehlersuchen, oder nur rudimentär, weil sich die Hersteller auf die Funktion konzentrieren. Dabei ist der Fehlerfall bei komplexen Systemen auch normal.


Uns aus dieser Erkenntnis heraus haben wir soviel Aufwand in Anzeigen und Awareness gesteckt, daran, dass man nicht erst zum Gerät laufen und hinten sehen muss ob die Link-LED vopm Ethernet leuchtet, wenn man die auch auf der Oberfläche "leuchten" lassen kann und eben auch in den Busmonitor.

Wir nutzen den auch selbst - zusammen mit Grafana - um unsere Logik und alles andere zu prüfen und zu kontrollieren, es ist ein wichtiges Entwicklerwerkzeug geworden und es soll auch den Kunden helfen, diese vielen kleinen Flöhe in der Anlage zu finden.

Danke für Deinen Bericht, es spornt uns an, noch besser zu werden!

lg

Stefan
Stefan Werner
Product Owner für Timberwolf Server, 1-Wire und BlitzART
Bitte WIKI lesen. Allg. Support nur im Forum. Bitte keine PN
Zu Preisen, Lizenzen, Garantie, HW-Defekt an service at elabnet dot de

Link zu Impressum und Datenschutzerklärung oben.
Antworten

Zurück zu „Erfolgsgeschichten“