[Erfahrungsbericht] [V4.5 IP4] Nutzung von KI (LLM) für Dokumentation und Custom-Logiken

[eib-eg]

Hallo Stefan,@AndererStefan extra für dich und danke an @jensgulow für deine Logik zur Analyse

ab hier ki text
_______________

Gerne gebe ich dir und der Community einen Einblick in die Philosophie und die konkreten Härtungen, die wir in unserer internen "Referenz-Anleitung" (dem Kanon) verankert haben. Jede aufgedeckte Herausforderung wird als wertvolles "Geschenk" betrachtet, das uns der angestrebten Perfektion näherbringt.

Ein konkreter Einblick in die Härtung durch Praxis:

Ein aktuelles Beispiel für solch ein "Geschenk" war eine Problemstellung von Jensgulow (Beitrag #239), bei der es um die Berechnung von Wartungsintervallen über Jahresgrenzen hinweg ging. Die ursprüngliche Logik hatte Schwierigkeiten mit der Zeitdifferenzberechnung über den Jahreswechsel und der korrekten String-Formatierung.

Durch die Analyse dieses Problems konnten wir unsere Referenz um folgende Punkte schärfen:

Robuste Zeitberechnung: Wir haben gelernt, dass Zeitdifferenzen über Jahresgrenzen hinweg immer über Unix-Timestamps berechnet werden sollten, um Fehler mit "Tag des Jahres"-Überläufen zu vermeiden.

Fehlerfreie String-Formatierung: Wir haben die Best Practice für Printf-Formatierungen vor der Verkettung mit Concat präzisiert, um unerwünschte Leerzeichen zu eliminieren (z.B. durch die Verwendung von %02d für führende Nullen).

Präzise Localtime-Nutzung: Die korrekte Syntax für die Extraktion von Unix-Timestamps aus dem Localtime-Modul wurde explizit in unserer Referenz verankert.

Diese spezifischen Erkenntnisse sind nun fest in unserer Referenz verankert und stellen sicher, dass zukünftige Logiken für ähnliche Aufgaben von Anfang an robuster und fehlerfreier sind.

Ich freue mich darauf, diese und weitere Erkenntnisse beim Timberwolf User Treffen in Adersberg persönlich zu vertiefen und zu diskutieren.

Viele Grüße,
________________

ende ki text
Georg E. & die KI
(Version 6.08.24)

[eib-eg]

Kleine Info

Mein promt wurde beim Timberwolf User Treffen mit der Version 6.08.25 an diejenigen weitergegeben die beim Treffen anwenden waren.

Überrascht von den Funktionen habe ich vermutlich jeden.

Warum ist meine Entscheidung so gefallen das nur die beim Treffen Anwesenden Personen den promt bekommen haben, bleibt mir und den Anwesenden durch ausgiebige Gespräche sowie Tests vorbehalten.


Was wie wann wo mit dem promt gemacht wird, wird sozusagen in dieser Gruppe entschieden.

Bitte habt alle die ihn nicht bekommen habt für dies Entscheidung dafür Verständnis.

Es kann sehr gut möglich sein das bald jeder der Logiken erstellen möchte davon profitiert.

Mehr wird aktuell nicht verraten.

[Franky]

Somit hat es 242 Beiträge und 7 Monate gedauert, bis ein offener Informationsaustausch droht, sich in eine closed community umzuwandeln. Das ich das als Threadstarter noch erleben darf War auf jeden Fall nicht das, was ich mir erhofft habe. Nunja, vielleicht finde ich bald ja auch mal wieder Zeit, euch dann "von außen" mit Ideen zu versorgen.

Franky

[eib-eg]

Ich bin überrascht das du die warum Antwort nicht verstanden hast die ich dir über WhatsApp geschickt habe.

[Franky]

Nun, ich glaube nicht, dass diese Maßnahme zum Erreichen des Ziels beiträgt, dafür wird aber ein offener Informationsaustausch abgewürgt.

Dass Informationen und Daten verwendet werden, die andere in mühevoller Handarbeit erstellt haben (Dokumentation und existierende Logiken), Tools verwendet werden, die man kostenfrei nutzen kann und dann kein reflex von "give it back an die community" hat, ist halt nicht meine Welt.

Jetzt geht es aber nicht primär darum, sondern es verschwinden direkt 13 Leute aus dem Informationsaustausch mit der Allgemeinheit zu dem Thema. Das ist etwas, was mich scheinbar triggert und vermutlich direkt betreffen wird. Aber ich will mal mit dem mimimi aufhören, wollte es halt einmal offen und klar kund tun.

Franky

[AndererStefan]

Moin,

ich habe keine Ahnung worum es genau geht und was auf dem Treffen besprochen worden ist. Aber der Insiderbereich des Forums war/ist keine Alternative für die Weiterentwicklung?

Naja, wie auch immer. Franky hat mich an etwas erinnert;) und ich teile mal meinen letzten Stand von MetaPro. Es ist ein älterer Abzweig von der Grundlage von @Franky, die ich so umgebaut habe, dass Prompt (LLM Regeln) und Projekt (Verbale Beschreibungen der Aufgabe und json Logik) voneinander getrennt sind.

Die TWS Logik lernt das LLM aus einem PDF (basierend auf dem Wiki) oder aus Textdateien (*.md) und Beispielen (*.json) die Franky aus dem Wiki gescraped hat. - letzteres ist die bessere Methode.

Ich habe die KI in Googles Gemini Ai Studio benutzt. Dort kann man „branchen“, d.h in Chats abzweigen, was den langwierigen Prozess der TWS-Logik lernen abkürzt weil man das nur einmal machen muss. Ich habe die seither ein paar Mal benutzt, aber kein wirkliches „hardening“ betrieben.

Seit der Urversion habe ich nur wenige Anweisungen ergänzt. Ich halte es für den besseren Weg dem LLM die TWS Syntax und generelle Verhaltensweisen mitzugeben und es nicht mit Beispielen und Sonderregeln zu „überladen“.

Einfach mit dem Prompt starten, das LLM fragt dann nach den anderen Sachen. Das zip muss man bei Gemini vorher entpacken und die Einzeldateien zur Verfügung stellen.
Ich empfehle nach der Ersterstellung jede Änderung am Code manuell nachzuvollziehen um ein „verzetteln“ zu verhindern. Passierte mir zwar selten, aber doch, dann wird es zur Zeitverschwendung. Das LLM auf Irrwege hinzuweisen funktioniert.

Prompt:

LLM_Logik_MetaPro_Prompt_v2.3.txt

Projektvorlage:

LLM_Logik_MetaPro_Projekt_v1.1_Vorlage.txt

Lernmaterial:

Doku_Timberwolf.pdf

TWS_Wiki-Logik-Data_For_LLM.zip

VG Stefan

[eib-eg]

@Franky

Du hast ja nun meinen prompt gelesen und vermutlich auch getestet.

Was sind deine Erfahrungen hinsichtlich der anderen Vorgehensweise zu deinem prompt ?

[Franky]

Hi,

habe ihn noch nicht in Betrieb getestet, aber gelesen.

1) "Mein" vorgehen ist, jedes Wort des Prompts auf die Goldwage zu legen, primär token zu sparen. Jede neue Version des Prompts (die ich durchaus auch durch das LLM selbst generieren lasse) wird im File-DIFF verglichen und ich habe zig Läufe gehabt, wo das LLM "aus versehen "tut mir leid"" wichtige Passagen einfach weggelassen hat, Insofern würde "ICH" niemals einen Prompt blind übernehmen und drauf vertrauen, dass er nicht durch die LLM kaputt gemacht wurde.

2) Ich will (denselben!) Prompt auch außerhalb TWS einsetzen. Da das alles irgendwie technisch angehaucht ist (andere Programmiersprache, Konzepte erstellen, ...) ist mein Ansatz, die gemeinsamenen Punkte alle in einem Core oder Master aka MasterPrompt / MetaPro zu vereinen.

Für die speziellen Aufgaben (TWS, Microservice-Codegenerierung, Fachkonzepterstellung, ...) werden dann spezifischen Erweiterungen hinzugegeben, wenn diese Aufgabe ansteht. In der Regel also

Metapro (eine Datei, immer im Einsatz + fachspezifische Datei (bspw TWS, in der Regel auch nur eine Datei) + Dokumentation (TWS-Doku, manchmal mehrere Dateien)

Aber das muss nicht der richtige Ansatz sein.

LG Frank

[jhaeberle]

Hi Frank,

ich verstehe deinen Gedankengang komplett. Aber ich glaube nicht, dass es "den" Prompt für technische Aufgaben gibt. Es gibt Best-Practises, aber man muss sich immer auch auf das System einstellen, das angepeilt wird. Bei gängigen Programmiersprachen wie Java, C oder PHP kommst du mit jedem LLM schon ziemlich weit, aber ein eher nieschiges System wie die Custom Logiken vom Wolf musst du gezielt unterstützen.
Dein Ansatz "Ein Prompt für alles" passt auch nicht wirklich zu "Token sparen", oder?

Eigentlich gehört der Prompt getrennt vom "Detailwissen" zu der Domäne. Bei Java und Co. kann man sich das tendenziell sparen, aber eine Custom-Logik braucht das einfach.

Der Prompt vom @eib-eg kann drei Aufgaben: Logik erstellen, Logik verifizieren und Grafana Dashboards bauen/ändern. Da gibt es jeweils Detailwissen, alles im Prompt.
Mein erster Schritt war, das aufzuteilen. Dazu musste ich erst mal auf ein System wechseln, dass Dateien nachladen kann. Darum Gemini CLI, das verwendet die gleiche KI. Klappt gut und die in den Context zu ladended Daten nehmen natürlich entsprechend ab. Mittelfristig würde ich sogar auf drei separate Prompts gehen. Hast du mal einen Blick auf das Repo geworfen?

Mir passt nicht, dass die KI immer das ganze Wissen verarbeiten muss, auch wenn für eine Logik nur ein Bruchteil verwendet wird. Dazu müsste man ein RAG aufbauen. Also eine spezialisierte Datenbank, die es dem KI erlaubt, schnell und zielgenau auf das benötigte Wissen zuzugreifen. Lokal scheint das, mit dem richtigen Tool, recht einfach, aber wenn man das als Community machen will, wird's natürlich schon wieder aufwändig… vor allem, wenn nur kostenlose LLM und Chat-Tools in Frage kommen. Da hänge ich jetzt grade etwas.

Gruß
Jochen

[jhaeberle]

Ich möchte aber noch mal sagen, dass ich noch keinen Prompt wie den von @eib-eg erlebt habe, der so umfangreich ist und wo die KI sich so genau dran hält!
@eib-eg scheint da eine Sprache gefunden zu haben, die die KI sehr gut versteht. Vielleicht das Sprechen in Beispielen und Bildern? Hört sich unglaublich an, das sind immerhin „nur“ Statistik-Maschinen, aber was ist es sonst?