MetaPro (Nutzung von KI (LLM) für Dokumentation und Custom-Logiken)

[gbglace]

Zweiten Wolf als Testumgebung.

Klar wenn der sich dann aufhängt braucht es da auch den Support abr die produktive Hausinstallation ist dann ggf nicht blockiert.

Wer sowas vorhat muss dann auf der Ebene entsprechend seine Aktivitäten separieren.

[Chris M.]

Das ist richtig, allerdings ist eine Schwäche der TWS Logiken, dass man sie nicht durch Unit-Tests abdecken/absichern kann.

Stimmt.

Das erhöht halt die Gefahr, gerade für unbedarfte Nutzer. Was willst du als Anfänger denn machen, als den Code aus dem Forum erst mal in eine Logik zu pasten und ihn dann auszuprobieren?

Gerade die unbedarften Nutzer werden aber keine Unit-Tests schreiben. Die meisten noch nicht mal wissen, was ein Unit-Test ist.

[jhaeberle]

Gerade die unbedarften Nutzer werden aber keine Unit-Tests schreiben. Die meisten noch nicht mal wissen, was ein Unit-Test ist.

völlig korrekt. Aber diese User posten ja auch keine Codes… das machen die ambitionierten User, die auch Unit-Tests kennen und nutzen (sollten)…

[Franky]

Ja. Die Abstürze der Logikengine sind halt harte Bugs, die theoretisch auch ein user (und nicht nur fuzzy testing oder eine haluzinierende KI hinbekommen kann). Um so mehr wir davon finden, um so besser, damit wir dem Ziel, den TWS maximal fehlerfrei zu bekommen, immer näher kommen.

Fehler in den Logiken im Sinne von "macht nicht was sie soll", könnte man auch mit Überwachungsjobs entschärfen (Laufzeitenüberwachung, Datenbankauswertungen, „sanity check“ oder „watchdog logic“). Stefan hatte ja ein paar interessante Beispiele genannt, wie der Fehler einer sich nicht abschaltenden Regenrinnenheizung. Das muss dann halt auf einen Treppenlicht-Aktorkanal oder aktiv gegen die Außentemperatur von einem zweiten System überwacht werden (wenn es wichtig ist).

[StefanW]

Nein,

Die Abstürze der Logikengine sind halt harte Bugs

es gibt nicht mehrere Abstütze wegen mehrerer Bugs.

Es gab - nach Millionen Betriebsstunden im Feld ohne ein Problem - EINEN Vorfall.

Ursache war, dass eine Custom Logik, die von einer KI erstellt wurde (die unzureichend dafür trainiert war) einen Code erzeugt hat, der an einer Stelle nicht der Dokumentation entspricht. Der Editor hat das leider nicht abgefangen, allerdings war das auch sieben Jahre lang bisher auch keine abzufangende Sache.

Der Editor wird dahingehend geschärft, an der Engine ist nichts anzupassen.


Stefan