MetaPro (Nutzung von KI (LLM) für Dokumentation und Custom-Logiken)

[gbglace]

Zweiten Wolf als Testumgebung.

Klar wenn der sich dann aufhängt braucht es da auch den Support abr die produktive Hausinstallation ist dann ggf nicht blockiert.

Wer sowas vorhat muss dann auf der Ebene entsprechend seine Aktivitäten separieren.

[Chris M.]

Das ist richtig, allerdings ist eine Schwäche der TWS Logiken, dass man sie nicht durch Unit-Tests abdecken/absichern kann.

Stimmt.

Das erhöht halt die Gefahr, gerade für unbedarfte Nutzer. Was willst du als Anfänger denn machen, als den Code aus dem Forum erst mal in eine Logik zu pasten und ihn dann auszuprobieren?

Gerade die unbedarften Nutzer werden aber keine Unit-Tests schreiben. Die meisten noch nicht mal wissen, was ein Unit-Test ist.

[jhaeberle]

Gerade die unbedarften Nutzer werden aber keine Unit-Tests schreiben. Die meisten noch nicht mal wissen, was ein Unit-Test ist.

völlig korrekt. Aber diese User posten ja auch keine Codes… das machen die ambitionierten User, die auch Unit-Tests kennen und nutzen (sollten)…

[Franky]

Ja. Die Abstürze der Logikengine sind halt harte Bugs, die theoretisch auch ein user (und nicht nur fuzzy testing oder eine haluzinierende KI hinbekommen kann). Um so mehr wir davon finden, um so besser, damit wir dem Ziel, den TWS maximal fehlerfrei zu bekommen, immer näher kommen.

Fehler in den Logiken im Sinne von "macht nicht was sie soll", könnte man auch mit Überwachungsjobs entschärfen (Laufzeitenüberwachung, Datenbankauswertungen, „sanity check“ oder „watchdog logic“). Stefan hatte ja ein paar interessante Beispiele genannt, wie der Fehler einer sich nicht abschaltenden Regenrinnenheizung. Das muss dann halt auf einen Treppenlicht-Aktorkanal oder aktiv gegen die Außentemperatur von einem zweiten System überwacht werden (wenn es wichtig ist).

[StefanW]

Nein,

Die Abstürze der Logikengine sind halt harte Bugs

es gibt nicht mehrere Abstütze wegen mehrerer Bugs.

Es gab - nach Millionen Betriebsstunden im Feld ohne ein Problem - EINEN Vorfall.

Ursache war, dass eine Custom Logik, die von einer KI erstellt wurde (die unzureichend dafür trainiert war) einen Code erzeugt hat, der an einer Stelle nicht der Dokumentation entspricht. Der Editor hat das leider nicht abgefangen, allerdings war das auch sieben Jahre lang bisher auch keine abzufangende Sache.

Der Editor wird dahingehend geschärft, an der Engine ist nichts anzupassen.


Stefan

[AndererStefan]

In Anbetracht der Verarbeitungsgeschwindigkeit habe ich überlegt, ob es zielführend wäre den statischen Text mit den Meta-Informationen von Anwendungsbezogenen Text mit den Anforderungen und dem Code zu trennen. Dann müsste nicht beider jeder Code-Iteration das Regelset mit aktualisiert werden. Hast du da auch schon mal drüber gegedacht oder das versucht?

Das ist genau der Ansatz, den ich gerade umsetze. Ist aber noch nicht fertig. Dennoch hänge ich mal meinen aktuellen Zwischenstand hier an:

Hi,
ich weiß, parallele Entwicklungen sind doof, aber ich war a) neugierig und b) ungeduldig. Ich habe daher ich in der Zwischenzeit und ausgehend von einem älteren Stand (mit dem ich gute Erfahrungen gemacht habe) des Meta Pro Dokuments selber eine Trennung des Regelsets von den Projektdateien vollzogen. D.h. eigentlich habe ich das Gemini selber machen lassen. Das komplizierteste daran war, dass ein paar der Verweise und Bezüge auf ein externes Dokument angepasst werden müssen. Ich hab manuell etwas nachgearbeitet aber im Prinzip hat das gut geklappt. Die Trennung funktioniert und wird von der KI verstanden.

Als Alternative zum pdf verwende ich die gescrapten Wiki-Inhalte. Das Einlesen dauert und kostet viele Token, aber mit der Branch-Funktion von google Ai Studio macht man das nur einmal und zweigt für neue Aufgabe einfach vom Master ab.

So richtig habe ich seitdem aber gar keine neue Anwendung mehr gehabt (bis auf die Datenfilter-Aufgabe von hier viewtopic.php?f=24&t=5967#p63254). Ich dachte mir trotzdem ich teile meine Erkenntnis mal.

Dein Ansatz scheint mir wesentlich elaborierter. - Macht es trotzdem Sinn meinen Stand zu teilen? (Auf die Gefahr hin dass hinter niemand mehr durchblickt wenn ich eine Fork einer älteren Basis teile…)

VG Stefan

VG Stefan

[jhaeberle]

Hört sich gut an. Das AI Studio kenne ich nur vom Namen her, aber der Ansatz passt, denk' ich… das mit dem Branch vom Master hört sich gut an. Aber man kann der AI oftmals auch anders Wissen zukommen lassen. Also mich würde der Zwischenstand interessieren…

Gruß
Jochen

[StefanW]

Hallo,

Ursache war, dass eine Custom Logik, die von einer KI erstellt wurde (die unzureichend dafür trainiert war) einen Code erzeugt hat, der an einer Stelle nicht der Dokumentation entspricht. Der Editor hat das leider nicht abgefangen, allerdings war das auch sieben Jahre lang bisher auch keine abzufangende Sache.

Der Editor wird dahingehend geschärft, an der Engine ist nichts anzupassen.

Ein neuer Editor, mit umfassenderer Prüfung und insbesonders auch verbesserter Fehlerdarstellung inkl. Deep-Links zum Wiki wurde mit IP 7 am 10. Juli 2025 zur Verfügung gestellt.

Damit sollte bei AI-erstellte Custom Logiken, sofern diese Fehler enthalten, diese leichter sicht- und korrigierbar werden, auch für Anfänger im Bereich Custom Logiken.

Details hier: viewtopic.php?f=24&t=5968

lg

Stefan

[Franky]

Hi,

ich weiß, parallele Entwicklungen sind doof,

Überhaupt nicht. Ich begrüße das sehr, da es bei mir im Moment zu viele Baustellen gibt und es nicht so richtig weiter geht. Um so mehr damit experimentieren, um so mehr interessante Lösungen erstellen wir. Ich fände es nur gut, wenn wir es wieder veröffentlichen, damit sich jeder Anregungen holen kann.

Ich mach das auch gleich mal. Es ist der Core vom MetaPro, den ich gerade für Vibe Coding a la Kiro (Amazon) ausrichte, also spezifikationsgetrieben Lösungen zu erstellen.

_CORE_MetaPro_2025-07-28.txt

.

Ich plane aber diesen Core auch als Basis für Timberwolf Logiken zu verwenden, dann halt mit passender TWS-Sprachdatei (language description) und TWS-Dokumentation (Funktionen)

Macht es trotzdem Sinn meinen Stand zu teilen? (Auf die Gefahr hin dass hinter niemand mehr durchblickt wenn ich eine Fork einer älteren Basis teile…)

Ich hätte nichts einzuwenden

LG

Franky

[jhaeberle]

Macht es trotzdem Sinn meinen Stand zu teilen? (Auf die Gefahr hin dass hinter niemand mehr durchblickt wenn ich eine Fork einer älteren Basis teile…)

Ich hätte nichts einzuwenden

Ich auch nicht! Allerdings habe ich auch Probleme Schritt zu halten. Was haltet ihr davon, ein oder zwei GitHub Repos einzurichten? Da könnte man auf jeden Fall leichter den jeweils aktuellen Stand bekommen und evtl. sogar leichter mitmachen (Pull-Request)

Gruß
Jochen