[Improvement] [V1.6.0 RC3] KNX Busmonitor Listenlänge nicht sichtbar

[Robosoc]

Ich habe mal gerade eine Auswertung mit dem KNX Busmaster gemacht und war nicht ganz glücklich mit zwei Dingen. Ist einfach nur eine persönliche Einschätzung von mir, also bitte als konstruktive Kritik verstehen und kein gemeckere:

1.
Die Anzahl der gefunden Einträge wird noch immer nicht (zumindest nicht immer, ich habe sie ja auch schon mal gesehen) angezeigt, genauso wenig wie die Anzahl von Seiten. Somit kann man nicht einschätzen, wieviele Treffer es gibt.

2.
Ich dachte mir, "da hilft mir doch bestimmt der Export", aber dabei werden nur die Einträge der angezeigten Liste exportiert...das ist definitiv nicht hilfreich und daher vermute ich, dass es eher ein Bug ist als so gewollt... Ich würde mir jedenfalls wünschen, dass beim Export die gesamte Liste exportiert wird.

Spätere Ergänzung: Wenn ich die Listenlänge auf z.B. in meinem Beispiel 5000 stelle, dann werden 935 Einträge angezeigt und diese Zahl erscheint dann auch oben links. Es scheint (Mutmaßung) also so zu sein, dass die Anzahl der Treffer immer dann nicht angezeigt wird, wenn es mehr als eine Seite gibt...

ACHTUNG an alle Mitleser: Ich kann aus frühen BETA-Phasen nicht empfehlen die Anzahl der Anzeigen auf eine hohe Zahl zu stellen und dann so zu lassen...die Listenanzahl wird auch auf anderen Seiten verwendet und führt dort u.U. zu sehr langen Ladezeiten. Ich bin mir aber nicht sicher, ob das noch so zutrifft.

[StefanW]

Hallo Sven,

Die Anzahl der gefunden Einträge wird noch immer nicht (zumindest nicht immer, ich habe sie ja auch schon mal gesehen) angezeigt, genauso wenig wie die Anzahl von Seiten. Somit kann man nicht einschätzen, wieviele Treffer es gibt.

Ja, richtig beobachtet.

Der KNX Busmonitor kennt die gesamte Ergebnismenge nicht um Ressourcen zu schonen, was "by Design" ist.

Man stelle sich vor, jemand gibt ein "1. Januar 2015 bis 31. Dezember 2020" und wählt alle Datensätze. Da könnten das Ergebnis ja ein paar hundert Millionen Telegramme sein.

Die Oberfläche soll ja schnell und effizient sein. Deshalb wird diese Suchanfrage gar nicht weitergeleitet, sondern es werden nur ein paar Seiten geladen ("prefetch"), aber wieviele Seiten es werden könnten, ermittelt der Server nicht, um die Belastung in den machbaren Grenzen zu halten. Es ist immer noch ein 6 TE Hutschienengerät.

Wenn man das unbedingt anders haben will, dann müssten wir andere Einschränkungen treffen, etwa als Zeitraum nur ein Tag oder so. Ist auch nicht zielführend, daher würden wir es beim gegenwärtigen Verhalten belassen. Womöglich kann man - eines Tages - einblenden, dass es "mehr als 3000 Telegramme" sind. Aber ob es dann 3768 oder 34.548.984 Telegramme sind, geht nicht.

Es ist ein wenig wie wenn man Streaming für das Live-Programm eines TV-Senders macht. Das geht - bei einem Sender mit 24 Stunden Dauerprogramm, solange, wie es den Sender gibt. Da kann man beim Aufnehmen auch nicht anzeigen, ob der Stream ein Jahr dauert wird oder zwanzig.

Ich dachte mir, "da hilft mir doch bestimmt der Export", aber dabei werden nur die Einträge der angezeigten Liste exportiert...das ist definitiv nicht hilfreich und daher vermute ich, dass es eher ein Bug ist als so gewollt... Ich würde mir jedenfalls wünschen, dass beim Export die gesamte Liste exportiert wird.

Auch hier wird man eine maximale Länge vorgeben müssen. Der Timberwolf Server kann zwar tatsächlich über die Zeit dutzende Millionen Telegramme speichern, aber über den Browser entladen in eine Datei sehe ich nicht.

Der KNX Busmonitor leistet mehr als jeder andere Busmonitor den wir kennen und kann viel verschiedene Filter berücksichtigen, in mehreren Ausgabeformaten dekodieren. Er muss nicht oben drauf noch jedes sonstige denkbare Feature können, zumal uns dafür auch gar kein Budget zur Verfügung steht.


lg

Stefan

[gbglace]

Ich kenne die Bedingungen von Webapplikationen nicht wirklich. Rein von der Datenbank her sollte aber ein Select count(*) so ziemlich das schnellste sein was eine Antwort liefert.

Ich denke wenn man einen vernünftigen Filter gesetzt hat um sich das ein oder andere Phänomen das man untersucht zu analysieren, genügt eigentlich auch eine noch überschaubare Listenlänge von Telegrammen. Wer will denn auch schon wieder per Hand einige Tausend Zeilen auswerten.

Da der Busmonitor Ringspeicher auch via Grafana abgreifbar ist lassen sich darin ja auch mit dem SQL-Dialekt einige weitergehende Analysen anstellen auch ohne es erst per Busmonitorabzug in ein CSV zu exportieren.

Wenn man mit einer Grafana-Instanz in einem Container auf die TWS-Timeseries DBs rauf kommt, ginge dann nicht auch ne ODBC-Verbindung per xls / Access oder eine sonstige Software?

[Sensej]

Ich habe mal gerade eine Auswertung mit dem KNX Busmaster gemacht und war nicht ganz glücklich mit zwei Dingen. Ist einfach nur eine persönliche Einschätzung von mir, also bitte als konstruktive Kritik verstehen und kein gemeckere:

1.
Die Anzahl der gefunden Einträge wird noch immer nicht (zumindest nicht immer, ich habe sie ja auch schon mal gesehen) angezeigt, genauso wenig wie die Anzahl von Seiten. Somit kann man nicht einschätzen, wieviele Treffer es gibt.
..

Hallo Sven,

meinst du Pagination, so wie auf dem Bild unten?
Ist eine sehr gute Erweiterung aber sowas zu realisieren ist nicht ganz einfach, weil dahinter steckt viel mehr Logik als man denkt.
Diese Probleme sehe ich:

• Je mehr Datensätze pro Zeitraum selektiert werden, desto länger dauert Select, die Bearbeitung(Anzahl der Seiten ermitteln usw.) und die Darstellung. Ab einer bestimmten Anzahl der Datensätze X wird die Anwendung nicht mehr reagieren und im schlimmsten Fall beendet, weil die Anwendung innerhalb X-Zeit-Spanne von der DB keine Rückantwort kriegt.

• Je nachdem wie man programmiert, steigt auch der RAM-Verbrauch

• Wenn man zu viele Datensätze pro Seite wählt, steigt auch der RAM-Verbrauch drastisch, weil sie im RAM gehalten werden

• Übertragen von großen Datenmengen durch das Netzwerk von der DB zum Client(noch interessanter ist es, wenn man eine ältere WLAN-Karte hat

Beispiel_Paging.jpg

Damit Pagination auch mit paar Millionen Datensätze gut funktioniert, braucht man bessere Hardware(RAM/CPU) und vielleicht eine andere DB.

@StefanW : Korrigiere mich bitte Stefan, wen ich was falsch argumentiert habe

MfG Juri

[StefanW]

Hallo Juri,

klar kann man mit HW auch mehr erreichen. Allerdings sind wir schon beim leistungsfähigsten REG Hutschienenserver der Welt. Noch mehr geht nur mit größerem Gehäuse oder noch mehr technischen Aufwand... das will dann auch keiner bezahlen.

Nach meinem Gefühl ist diese Diskussion eine eher theoretische. Im normalen Betrieb wird sich wohl niemand im Busmonitor hunderttausende von Telegrammen ansehen. Der von uns angenommene Fall ist, dass man nach einem ganz bestimmten Vorkommnis sucht und das kann man zeitlich und / oder von den PAs / GAs her auch gut eingrenzen.

Wobei das seitenweise durchblättern durch hundert Millionen Telegramme durchaus funktioniert. Es ist theoretisch unbegrenzt, weil der Busmonitor immer nur die jeweils aktuelle Seite lädt (und der Performance wegen im Hintergrund auch die nachfolgende Seite, damit der Seitenwechel "sofort" erfolgt).

Das einzige Leistungsmerkmal das wir nun nicht bieten können, ist eine Anzeige der Ergebnismenge einer Monsterabfrage um die Ressourcen zu schonen.

Gemessen an dem, was der Busmonitor so alles kann - gar im Vergleich zum Wettbewerb - ist das nicht wirklich eine Einschränkung.

lg

Stefan