[Erfahrungsbericht] [V4.5 IP4] Nutzung von KI (LLM) für Dokumentation und Custom-Logiken

[eib-eg]

aktuell wird gerade die Kanon Version 8.02.01 erstellt

Timberwolf Custom Logic - Referenz_Anleitung_V8_02_01_TEIL_01 - ARCHE-NOAH-EDITION

[jhaeberle]

Ich wiederhole mich zwar, aber es muss kein LLM auf den Wolf! Im Gegenteil fände ich es viel besser, wenn jeder User das mit dem LLM machen könnte, das er halt schon hat.

Moderne LLM, die „Tool Use“ beherrschen, sind ausreichend, wenn der Wolf eine geeignete API bereit stellt. Das spezifische Wissen muss man der KI mitgeben. Ein RAG ist vermutlich zu viel des Guten und benötigt wieder noch einen DB-Service. Außerdem haben RAG Probleme, relevante Informationen zu finden. Die sind vor allem gut darin, ähnliche Informationen zu finden, womit sie aber gern mal ziemlich daneben liegen.
Bzgl. Des Wolfs gibt es ja unterschiedliche Themengebiete, da kann man eine hierarchische Informationsquelle zur Verfügung stellen, die man LLM unabhängig über einen Skill zugreifbar machen kann! Die Erstellung eines solchen Skills wäre wiederum gut für ein Community-Projekt geeignet…

[eib-eg]

Wie schon wo anders geschrieben
Ich arbeite mit dem wo ich mich auskenne

Zu deinen Infos habe ich zu wenig Wissen

Es hängt nicht an mir
Wer den Kanon aktuell haben will weis in der WhatsApp Gruppe Bescheid

Einer hat geschrieben

ich bin auf jeden Fall total begeistert

Ein anderer widerum

nach 10 Minuten läuft eine sehr große Logik, die hat ChatCPT nur mit dem Füttern vom Wiki nach 6 Stunden nicht hinbekommen. es ist einfach Wahnsinn, Danke Georg.

Ich weis jetzt nicht ob das gut ist, wenn ich da Werbung mache ?

mfg

eib-eg Georg

[AndererStefan]

Hi,

wie steht es eigentlich um die Entwicklung von MetaPro? Hat jemand außer mir noch was damit gemacht?

Vor zig Beiträgen war mal die Trennung von Meta-Prompt und Projekt/Code-Doku das Thema. Ich hatte das vollzogen und danach noch 2-3 Spezialfälle, die in der TWS-Doku nicht hinreichend klar erläutert sind, in den Prompt aufgenommen.

Mein Vorgehen bei Verbesserungen des Prompt ist, es das LLM zu fragen, was es wo hinzufügen würde. Die Änderung mache ich dann selber von Hand um es zu prüfen und um eine schleichtende Degeneration / unbemerkte Veränderungen am Meta-Prompt zu verhindern.

Aber es bleibt das Problem, dass mir ein Ansatz fehlt um Veränderungen am Prompt qualitativ zu bewerten.
Eigentlich müsste man eine Sammlung an Test-Aufgabenstellungen haben, diese nach jeder Iteration des Prompt neu erstellen lassen und nach standartisierten Maßstäben bewerten. Aber daran scheitert es schon: Wie definiert man überhaupt Qualitätskriterien für den Logik-Code? Wie lässt man ein LLM das bewerten? Eine manuelle Bewertung ist viel zu aufwändig und ich z.B. verstehe die TWS-Skriptsprache auch nicht gut genug.

Bevor diese Fragen geklärt sind, sind "Verbesserungen" am Prompt leider ein Stochern im Nebel. Nur weil es für einen Menschen plausibel klingt, muss es für das LLM nicht unbedingt ebenfalls nützlich sein.

Ich teile hier mal meinen aktuellen Stand von MetaPro als *.txt-Dateien im Anhang.
Wenn man die Dateien an ein LLM gibt (ich habe Gemini genutzt), dann mit dem Prompt starten. Das LLM fragt dann nach Projekt-Vorlage und Wiki-Auszug (Gescrapte Seiten und Beispiel-Logiken; die Beispiel sind nicht zwingend nötig, ich hatte ohne diese teils bessere Ergebnisse).

VG
Stefan

[Franky]

Hi,

wie steht es eigentlich um die Entwicklung von MetaPro? Hat jemand außer mir noch was damit gemacht?

Lieber @AndererStefan ,

ich nutze deinen Post mal, um ein kleines Lebenszeichen von mir zu geben. Ich bin aus (vorübergehenden!) gesundheitlichen Gründen etwas langsamer unterwegs. Meine KNX/Timberwolf Themen ruhen kurzfristig, bis ich ein paar Sachen aufgearbeitet habe. Im KI-Bereich bin ich noch aktiv, zurzeit mit Codex und Claude Code. Das ist aber nur ein Übergang, mit denen ich mir meine Infrastruktur für "autonomere" Systeme (in Richtung PI / OpenCode) aufbaue.

Meine persönliche Meinung ist, dass die LLMs von heute immer weniger "Verhaltensvorgaben" brauchen, und die einzelnen Chats so kurz wie möglich sein sollten, damit man wichtige Informationen nicht im Chat "verliert", sondern seinen Kanon / agents.md möglichst schnell schärft und die Deltas, zwecks Prüfung, klein hält. Wieviel da rein gehört? Ich glaube, es kann ab jetzt wieder weniger werden. Das Domänenwissen (Timberwolfdokus, Codebeispiele, ...) ist natürlich weiterhin wichtig.

Schön wäre es auch seine LLM zu trainieren (mit Mistral geht das glaube ich) aber dafür braucht man schon ein bisschen Hardware.

Mein Vorgehen bei Verbesserungen des Prompt ist, es das LLM zu fragen, was es wo hinzufügen würde. Die Änderung mache ich dann selber von Hand um es zu prüfen und um eine schleichtende Degeneration / unbemerkte Veränderungen am Meta-Prompt zu verhindern.

Das halte ich immer noch für das "richtige" Vorgehen. Die Chats kurz halten und so schnell wie möglich die Vorgabedatei verbessern.

Aber es bleibt das Problem, dass mir ein Ansatz fehlt um Veränderungen am Prompt qualitativ zu bewerten.

Eigentlich müsste man eine Sammlung an Test-Aufgabenstellungen haben, diese nach jeder Iteration des Prompt neu erstellen lassen und nach standartisierten Maßstäben bewerten. Aber daran scheitert es schon: Wie definiert man überhaupt Qualitätskriterien für den Logik-Code? Wie lässt man ein LLM das bewerten? Eine manuelle Bewertung ist viel zu aufwändig und ich z.B. verstehe die TWS-Skriptsprache auch nicht gut genug.

Gut, man könte TWS-Code erstellen lassen, der bei Ausführung einen definierten Output (Berechnungszahl z.b.) erstellt, der mithilfe der TWS-Funktionen ermittelt wird und dann das Ergebnis vergleichen. Aber ja, da könnte / müsste man Arbeit reinstecken. Das könnten wir (community) angehen oder Elabnet, der richtig fit in der Logiksprache ist. Es wären halt Ergebinsse bekannt, die der erstellte Code ermitteln muss. Es könnten auch Textaufgaben sein a la "Welche TWS-Funktionen würdest du zum Lösen folgender Aufgaben anwenden" und dann kann man das Ergebnis automatisiert bewerten, weil man weiß, es muss Funktion x,y,a als Ergebnis rauskommen.

Ich teile hier mal meinen aktuellen Stand von MetaPro als *.txt-Dateien im Anhang.

Sehr vielen Dank dafür. Nur so kann freie asynchrone Zusammenarbeit funktionieren und auch ein Training der großen LLMs vielleicht mal was vom Timberwolf aufschnappen, um nativ besser zu werden :->>

LG an alle

Franky