[Erfahrungsbericht] [V4.5 IP4] Nutzung von KI (LLM) für Dokumentation und Custom-Logiken

[Franky]

Aus gegebenem Anlass (Suche Customlogik für Zerlegung von Datensatz mit pos./neg. Werten in zwei pos. Datensätze) ein upload der aktuellsten Version des Meta-Prompts.

Für das permanente Mitführen eines Changelogs fehlt mir die Muße. Für ein fachliches diff alter zur neuen Version des Prompts hilft auch hier das LLM:

Code: Alles auswählen

Hier zwei Versionen eines Prompts. Erstell mal bitte einen fachlichen Diff (Changelog) für den Prompt. Nutze die Formatierung für eine Forumsveröffentlichung  [b] [/b] fürr Bold, usw.

gemini 2.5. pro (kostenfrei https://aistudio.google.com/)

Changelog: Vergleich Prompt v0.107 vs. v1.03 (Lüftersteuerung)

Dieser Changelog beschreibt die wesentlichen Änderungen zwischen der Prompt-Version v0.107 (LLM_V0.107_TWS_Lueftersteuerung_2025-04-20.txt) und der neueren Version v1.03 (LLM_V1.03_manuell_TWS_Lueftersteuerung_2025-04-22.txt / _Optimized).

I. Grundlegende Architekturänderung:

* Code-Integration: Die gravierendste Änderung ist, dass v1.03 den vollständigen Custom-Logik JSON-Code direkt in den Prompt einbettet (Abschnitt `CUSTOM LOGIC JSON CODE`). v0.107 enthielt nur einen `REFERENZBLOCK` als Skizze für `Level`/`Input`/`Output` und Strukturkommentare für `Module`, aber nicht die ausführbare Modul-Logik.
* Single Source of Truth: In v1.03 ist der eingebettete Code die maßgebliche Implementierung. Der Prompt wird zur alleinigen Quelle für Anforderungen und Code.
* Entfall Referenzblock: Der alte `REFERENZBLOCK` und dessen spezifische Regeln (z.B. Entfernung vor Code-Ausgabe) wurden entfernt.

II. Neues Feature: Two-Way Development & Synchronisation:

* v1.03 führt explizit einen "Two-Way Development"-Ansatz ein. Änderungen können entweder an den `ANFORDERUNGEN` (Prosa) oder direkt am eingebetteten `CUSTOM LOGIC JSON CODE` erfolgen.
* Die LLM ist nun dafür verantwortlich, die Konsistenz zwischen Anforderungen und Code zu prüfen (Regel 1) und bei Diskrepanzen den Nutzer nach der Synchronisationsrichtung zu fragen (Regel 1.5):
* Richtung 1: Anforderungen/Beschreibungen an Code anpassen.
* Richtung 2: Code an Anforderungen/Beschreibungen anpassen.
* Die Meta-Regeln (insbesondere Regel 1 und 2) wurden grundlegend überarbeitet, um diesen Prozess zu unterstützen.

III. Überarbeitung der Meta-Regeln:

* Regel 1 (Prüfung): Stark erweitert in v1.03.
* Prüft nun zuerst die Validität und interne Konsistenz des eingebetteten JSON-Codes (1.1).
* Vergleicht explizit die `ANFORDERUNGEN` mit der Implementierung im Code (`Module`) (1.2).
* Prüft die semantische Korrektheit und Klarheit der Beschreibungen in `Input`/`Output` des eingebetteten Codes (1.3).
* Fragt bei Konflikten nach der Synchronisationsrichtung (1.5).
* Regel 2 (Prompt-Pflege): Umstrukturiert in v1.03, um die 2-Wege-Synchronisation abzubilden.
* Unterscheidet explizit zwischen Textänderungen (Fall A, Sync-Richtung 1) und Code-Änderungen (Fall B, Sync-Richtung 2).
* Definiert klare Abläufe für beide Fälle, inklusive Validierung (Regel 1) nach jeder Änderung.
* Das Vorschlagen der Prompt-Sicherung ist nun nach jeder Code-Änderung oder wesentlichen Anforderungs-Umstrukturierung vorgesehen (Abschluss X.1).
* Regel 3 (Ausgabesteuerung): Angepasst in v1.03. Gibt den gesamten Prompt inklusive des eingebetteten Codes aus. Betont die Notwendigkeit einer erfolgreichen Regel-1-Prüfung unmittelbar vor der Ausgabe.
* Regel 4 (Konfliktmanagement): Präzisiert in v1.03 mit spezifischeren Problemkategorien (z.B. `JSON Syntax Error`, `Konflikt Anforderung vs. Code`) und direkter Verbindung zu Regel 1.5 (Klärung/Synchronisation).

IV. Technische Hinweise & Wissensbasis:

* Die `TECHNISCHE HINWEISE` in v1.03 wurden neu strukturiert (Allgemein, Architektur, Spezifische Module) und inhaltlich erweitert/präzisiert.
* Neue oder detailliertere Design Patterns wurden hinzugefügt (z.B. BusReset, Hysterese, Geglätteter Referenzwert mit Einfrieren, Timer-Ablauf-Erkennung, Statemachine-Details, Multiplexer-Anwendungen).
* Die Wissenshierarchie in v1.03 stellt klar, dass der eingebettete Code Teil der höchsten Prioritätsstufe (Prompt) ist.

V. Anforderungen (Lüftersteuerung):

* Die Kernfunktionalität der Lüftersteuerung selbst scheint weitgehend unverändert zu sein.
* v1.03 enthält geringfügig detailliertere oder klarere Formulierungen in der Beschreibung der Grundfunktionalität und der detaillierten Anforderungen (z.B. Zweck des Einfrierens des geglätteten Wertes).
* v1.03 verwendet durchgängig die `Pkt 0X`-Referenzierung zur Verbindung von Anforderungstext und Code-Blöcken.

VI. Code & Strukturrichtlinien:

* v1.03 enthält den vollständigen, lauffähigen JSON-Code mit Stand `v0.113_CommentsRestored (2025-04-21)`.
* Es wurden explizite `KODIERUNGS- & STRUKTURRICHTLINIEN` hinzugefügt, die sich auf den eingebetteten Code beziehen (z.B. Modulreihenfolge, Kommentierung).
* Die Beschreibungen (`Beschreibung`-Texte) in `Input`/`Output` im eingebetteten JSON wurden gemäß der strengeren Prüfung (Regel 1.3) in v1.03 überarbeitet und präzisiert.

VII. Sonstiges:

* Lizenzierung: v1.03 erweitert den Lizenzumfang explizit auf Prompt UND Custom-Logik. v0.107 lizenzierte nur den Prompt.
* Vorbereitung: v1.03 erlaubt neben der PDF auch OCR-Daten der Doku und fordert explizit die initiale Validierung des eingebetteten JSON.
* LLM Notizen: v1.03 enthält zusätzliche interne Hinweise für die LLM (z.B. Token-Nutzung, Konsistenz, Selbstprüfung, Generalisierung).

Fazit:
Version 1.03 stellt einen signifikanten evolutionären Schritt dar. Durch die Integration des vollständigen Codes in den Prompt und die Einführung des Two-Way Developments wird der Prompt zu einer umfassenderen und robusteren Arbeitsumgebung für die Entwicklung und Pflege der Custom-Logik. Die Meta-Regeln wurden entsprechend angepasst, um diesen neuen Ansatz zu unterstützen und die Konsistenz zwischen Anforderungen und Implementierung sicherzustellen. Die technische Wissensbasis wurde ebenfalls erweitert und besser strukturiert.

Spricht die LLM von

Version 1.03 stellt einen signifikanten evolutionären Schritt dar

Bemerkenswert, da die LLM diese Arbeit verrichtet hat und ich es nur ein bisschen angestuppst habe. LLM beschreibt seine eigene Arbeit (unwissend) als evolutionär, räusper.


Franky

[jhaeberle]

Ich werfe ihnen einfach beiliegende PDF zum Fraß vor, da sie noch nicht selbst aufs Internet zugreifen können. Wobei für Gemini muss ich das nachher mal probieren ....

Das ist eine gute Idee! Ich hab mich immer gefragt, wie ich eine KI in das TWS-Wissen einweise…

Das kann ich nur zu 100% bestätigen. In den letzten Monaten ist eine Leistungsfähigkeit der LLM erreicht worden, die für "einfacherere" Anforderungen eine nahezu 100% Lösungsgarantie mit sich bringt (im Sinne von "ich bekomme mein Problem gelöst, auch wenn ich kein Entwickler bin oder mich nicht in die Domäne einarbeiten will/kann")

Kann ich auch bestätigen. Vor ca. einem Jahr hat die KI ein Skript zwar entwickelt, aber war kaum in der Lage auch einfache Fehler darin zu beheben… wenn der erste Ansatz funktionierte, ok, aber wenn es nicht gleich klappte, dann konntest du davon ausgehen, dass er dir nun die gleichen falschen Lösungen immer und immer wieder vorschlägt und dabei die Tokens verbrennt…

Das ist jetzt viel besser... aber wirklich toller Code kommt leider nicht raus. Was du halt brauchst ist das Wissen, was du willst. KI ist heute ein Assistent, der dir Teile hinklatschen kann. Schnell. Aber debuggen und bewerten muss man das noch selber…

[jhaeberle]

Wow, das ist echt krass, was du da entwickelt hast…

Leider kann man diesen "dualen" Gedankengängen nicht leicht folgen…

Die Probleme mit dem Kontext-Window kenne ich… da ist mir die Tage https://www.rabbitholes.ai/ untergekommen… das arbeitet mit den gängigen LLMs zusammen, kann aber genau das:lange Kontexte, Abzweigungen,… allerdings wird es leider nicht für's Coding angepriesen…

[Franky]

Wow, das ist echt krass, was du da entwickelt hast…

ja, wobei zu bedenken gilt, dass die LLM diesen Prompt mit mir im Dialog erstellt hat. Dann habe ich (iterativ) die Ergebnisse (Promptversionen) neuen LLM-Instanzen zum Korrekturlesen und Kürzen und Bewerten gegeben, ... Der Prompt ist mir eigentlich viel zu groß, vor allem hätte ich nicht die Muße gehabt, so viel Text selbst zu tippen. Vor allem die ganzen Verweise und Bezüge darin. Aber das LLM ist der Meinung das passt so (für ein LLM) und mit den Ergebnissen bin ich ganz zufrieden. Wobei ich muss gestehen, die Lüftersteuerung ist noch nicht produktiuv, irgendwie habe ich mich vom Promptexperimentieren sehr inspirieren lassen

Franky

[jhaeberle]

Deinen Prompt hab ich jetzt mal durchgeguckt und weiss wirklich nicht, was ich sagen soll… ausser vielleicht: klar, dass da jedes aktuelle Context-Window an seine Grenzen kommt
DER Prompt rein UND wieder raus???

Sehr komplex, aber da stecken schon viele gute Ansätze drin, um ein LLM in die Richtung zu kriegen, in der man sie haben will

Das Google-Tool kenne ich noch nicht, aber ich dachte, Code-Ais arbeiten eher so, dass sie das Code-Projekt sowie Dokus als KnowledgeBase verwenden und dann sozusagen interaktiv mit dir mitarbeiten? Mit so einer Knowledge Base sollte effizienter umgegangen werden, so dass das Context-Window (und die Tokens/Coins) nicht so arg durchrauschen…

[Franky]

Deinen Prompt hab ich jetzt mal durchgeguckt und weiss wirklich nicht, was ich sagen soll… ausser vielleicht: klar, dass da jedes aktuelle Context-Window an seine Grenzen kommt
DER Prompt rein UND wieder raus???

Sehr komplex, aber da stecken schon viele gute Ansätze drin, um ein LLM in die Richtung zu kriegen, in der man sie haben will

Das Google-Tool kenne ich noch nicht, aber ich dachte, Code-Ais arbeiten eher so, dass sie das Code-Projekt sowie Dokus als KnowledgeBase verwenden und dann sozusagen interaktiv mit dir mitarbeiten?

Ja, vermutlich auch nur so geworden, da das mit gemini so einfach war und er so gut mit dem Umfang klar kommt. Ich bin wirklich sehr inflationär mit den Ressourcen umgegangen. Vielleicht ist das aber gerade Alphabets Strategie, um an mehr Trainingsdaten (über die Kommunikationen und menschlichen Korrekturen in der Kommunikation mit der LLM) zu kommen. Geld haben sie ja genug. Weder mit Antrophic (Claude) noch OpenAI (ChatGPT) war ähnliches möglich (Ressourcensperre), und das obwohl ich deren Bezahlmodelle hatte. Bei google: erstmal keine Kosten (für mich, soweit mir bekannt Das war ein gamechanger. Und ich hatte NIE das Gefühl, ans Kontextfenster (Limit) zu stoßen und dann die Güte der auch kritischen Kommunikation mit dem Nutzer. Denen ist da wirklich ein Wurf gelungen.

[jhaeberle]

Hi Franky,

ich hab deine Hinweise zum Anlass genommen, um mal das Google-AI-Tool für Gemini zu verwenden. Das geht tatsächlich komplett anders vor, als andere KI-Chats. Die Transparenz ist sehr beeindruckend, ich kann deine Begeisterung verstehen…
Ich habe noch nix mit TWS oder Coding damit gemacht, sondern eine Recherche zu DSGVO und angrenzenden Rechtsgebieten, aber das ist echt sehr beeindruckend. Aber viel Text, der da produziert wird…

[Franky]

So, ich muss die "Wissensdatenbank für Gemini mal strukturiert und automatisiert erweiterbar machen. Da ein Teil der Mitleser noch keine "KI" nutzt, dokumentiere ich mal **meinen** Weg öffentlich. Es mag bessere Wege zum Ziel geben...

Frank: Versuche Daten von https://elabnet.atlassian.net/wiki/spac ... gik-Module abzurufen.

Gemini: Ich kann leider nicht direkt auf spezifische URLs wie die von Ihnen angegebene Atlassian Confluence-Seite zugreifen, um Daten abzurufen. Mein Zugriff ist auf die Verwendung meiner Suchwerkzeuge beschränkt, um öffentlich verfügbare Informationen im Web zu finden.

Wenn Sie möchten, kann ich versuchen, nach allgemeinen Informationen über "Timer Logik-Module" oder ähnliche Begriffe zu suchen, falls diese öffentlich zugänglich sind. Ich kann jedoch nicht garantieren, dass ich den spezifischen Inhalt von dieser internen Wiki-Seite finden kann.

Frank: ok, dann hilf mir ein Tool für linux zu bauen, um die Webseite downzuloaden und dir die Daten offline zur Verfügung zu stellen. Da ich sie dir in den Chat uploaden muss, wäre es (vielleicht) zielführend, wenn es nur eine Datei für den Upload gäbe. Lass uns iterativ vorgehen, da es ein größeres Projekt ist und wir gemeinsam entscheiden, welche Lösungswege wir gehen.

Gemini: Die größte Hürde bei URLs wie https://elabnet.atlassian.net/... ist, dass sie fast immer hinter einem Login liegen. Einfache Download-Tools wie wget oder curl können sich standardmäßig nicht automatisch anmelden, um auf den geschützten Inhalt zuzugreifen. Sie würden wahrscheinlich nur die Login-Seite herunterladen.[...]

Frank: ok, es ist kein Login notwendig!

Gemini: Ah, das ist eine wichtige Information und vereinfacht die Sache erheblich! Wenn kein Login erforderlich ist, können wir Standard-Linux-Tools wie wget oder curl verwenden, um die Seite herunterzuladen.

Gemini hat mir jetzt einen Lösungsweg (download mit wget und zippen, um eine einzelne Datei zu erhalten) gegeben, den ich umgesetzt habe und im Anschluss teste, ob Gemini das Ergebnis verarbeiten kann.

Frank: ok, ich gebe dir das ZIP, kannst du den Inhalt lesen und verstehen?

Gemini: Okay, super! Ich sehe die Struktur mit der robots.txt und der HTML-Datei (Timer1+Timer2+...+Timer8+Logik-Module.html). [...] Was möchtest du als Nächstes wissen? Soll ich: Eine allgemeine Zusammenfassung des Inhalts geben? [...]

Frank: Bitte Eine allgemeine Zusammenfassung des Inhalts geben

Gemini: (gibt den Inhalt gut zusammengefasst wieder)

So, dass war ein Erfolg.

Als nächstes nehme ich die Seiten, die ich bislang semiautomatisiert in eine Datei (Fileformat PDF) gepackt und dem LLM zum upload gegeben habe in das html-zip Archiv und lasse das LLM mal die beiden Quellen vergleichen, ob es bei der einen oder anderen Lösung Unterschiede zum Lernen sieht.

Bei PDF und bei der Webseiten Download Lösung sind ja viele Meta/Strukturdaten enthalten, die das LLM ignorieren muss, um an die eigentlichen fachlichen Informationen zum TWS zu gelangen.

Frank: Super, erstelle jetzt eine Lösung, um die Webseiten REKURSIV herunterzuladen. Lass uns über Zirkelbezüge nachdenken und diese beim Download nicht in eine Endlosschleife führen. Die Startseite ist:
https://elabnet.atlassian.net/wiki/spac ... stom-Logik

Gemini klärt mich jetzt sehr intensiv über wget auf und erstellt einen konkreten Befehl, den ich nach geringfügiger Anpassung ausführe.

[So, jetzt sind wir in ein Problem gelaufen. Die hochgeladene zip Datei verbraucht ca 600.000 Token. Die PDF Datei hat bislang ca. 14.000 Token verbraucht. Also haben wir einen zu hohen Informationsgehalt in den html-Meta Daten. Nutzen wir das LLM mal, um das Problem zu lösen.

Frank: Wir haben ein Problem. Die ZIP Datei lässt dich sehr viele Token verbrauchen: Guck dir mal die letzte Zip Datei an: ca. 764.546 tokens. Die PDF Datei von früher (lade ich dir hiermit hoch) verbraucht nur 13.933 tokens . Es dürfte m.E. an den (für unser eigentliches Ziel) irrelevanten Informationen liegen, die wir durch den WGET Download (HTML/Server Meta Daten) mit herunterladen. Eigentlich brauchen wir nur die nettodaten (fachlichen Texte der Webseite und die eingebetteten Bilder). Eine Idee, wie wir das Problem in den Griff bekommen?

Gemini: Du hast absolut Recht! Das ist ein klassisches Problem beim Herunterladen von Webseiten mit Tools wie wget --page-requisites. Man bekommt zwar eine offline funktionierende Kopie, aber eben auch alles, inklusive Megabytes an JavaScript, CSS, Metadaten und oft redundantem Code, der für die reine Informationsgewinnung (besonders für eine KI) unnötig ist und die Dateigröße und Tokenanzahl explodieren lässt.
Die PDF-Version ist zwar kleiner, aber sie verliert die semantische Struktur (Überschriften, Listen, Tabellen, Links), die für mich zum Verstehen des Inhalts sehr hilfreich ist.
Wir brauchen also einen Weg, der näher am "Nettoinhalt" ist, aber idealerweise die Struktur bewahrt. Hier sind verschiedene Ansätze mit unterschiedlichen Kompromissen, von einfach bis komplexer: [... sehr viele, mir bislang unbekannte Lösungsmöglichkeiten ...]

So nun sind (erstmalig in meinem Leben die 1 Mio Tokens der Gemini Chatinstanz aufgebraucht.

Frank: Tokens sind aufgebraucht. Gib mal einen Prompt aus, den ich in einer Folgeinstanz aurufen kann, damit wir in etwa da fortsetzen können, wo wir aufgehört haben.

Gemini: Okay, verstehe. Hier ist ein Prompt, den du für die nächste Instanz verwenden kannst, um den Kontext wiederherzustellen und dort weiterzumachen, wo wir aufgehört haben: [...] Damit sollte die nächste Instanz genau wissen, was zu tun ist.

Really nice. Das Ding gibt einen Prompt (inkl. letztem python-codestand) aus, um sich in einer neuen Instanz quasi zu bootstrappen und den Dialog mit mir fortszusetzen. Ich fühle mich wirklich in einer neuen Ära angekommen, Leute das wird disruptiv in den nächsten 10 Jahren.

[AndererStefan]

Hi,

ich habe heute zum ersten Mal etwas mit dem von euch entwickelten Prompt und Gemini herumprobiert.

Es ist wirklich beeindruckend. Mir fiel spontan „Jede hinreichend fortschrittliche Technologie ist von Magie nicht zu unterscheiden.“ ein.

Ich hatte versucht eine Logik mit einer RegEx zu erstellen. - Es hat nicht funktioniert. Erst gab es Syntax-Fehler, dann Probleme beim Speichern der Logik. Gemini hat den Code dann immer weiter ausgedünnt und schloss letztlich damit, dass da ein Fehler im RegEx vom TWS sein müsse.

Da ich weiß, dass das gar nicht sein kann hab ich ihm den Beispielcode der Standard RegEx geben und Gemini gebeten anhand dessen nach dem Fehler zu suchen.

Es folgten ein paar Erkenntnisse zur RegEx Anwendung, die er sich im LLM-Hinweis Block ergänzt hat.

Code: Alles auswählen

    *   **Regex [Doku-Ergänzung/Fehlerquelle]**
        *   **Explizite String-Länge:** Bei Verwendung des `Regex`-Moduls müssen **alle beteiligten String-Variablen** (Input-String, Regex-Formel-Variable, Match-Output, Group-Outputs) im `Level`-Array mit einer **expliziten und ausreichend großen Länge** deklariert werden (z.B. `string,512`). Die Standardlänge reicht oft nicht aus und kann zu Speicherfehlern führen.
        *   **Regex-Übergabe:** Es ist stabiler, die Regex-Formel über eine `Input`-Variable (Trigger `u`) an das `Regex`-Modul zu übergeben, anstatt direkt eine Variable aus dem `Level`-Array im Modulaufruf zu verwenden.

Die Logik lief auch einmal kurzzeitig, aber das war leider nicht reproduzierbar. Leider verstehe ich die Logik nicht, um den Fehler oder die Ergänzungen zu verstehen oder beurteilen zu können. Vielleicht mag jemand mit mehr Kompetenz mal versuchen sich eine RegEx Filterung erstellen zu lassen.

Der Gesamtprozess an sich, die Konsistenzprüfung und Meta-Kommunikation ist jedenfalls extrem beeindruckend!

VG Stefan

[Franky]

Ja und ich bin nur insofern daran beteiligt, dass ich es ab und zu in eine bestimmte Richtung geschuppst habe. Die Details und den Prompt selber hat die LLM selbst geschrieben/entworfen. Beeindruckt bin auch ich seit Tag 1 der Gemini-Nutzung (2.5 Pro), ca. 26.03.2025. Ich war rein zufällig sofort nach der Veröffentlichung dabei. Bislang war es so, dass ich die Komplexität von Aufgaben ab einem bestimmten Punkt immer reduzieren / einfrieren musste (Claude, ChatGPT), damit überhaupt noch was vernünftiges raus kommt. Das Gemini Ding hält mit und legt immer eins drauf. Für mich ist das ein Durchbruch, wie sie andere momentan auch bei chatGPT beschreiben (mit dem ich in der letzten Zeit nicht so gut klar komme). Vor allem kostenseitg (0€ zu mehreren 100€)

Die Logik lief auch einmal kurzzeitig, aber das war leider nicht reproduzierbar. Leider verstehe ich die Logik nicht, um den Fehler oder die Ergänzungen zu verstehen oder beurteilen zu können. Vielleicht mag jemand mit mehr Kompetenz mal versuchen sich eine RegEx Filterung erstellen zu lassen.

Lass mich mal die Timberwolf Doku aus dem Wiki generieren. In der doku_timberwolf.pdf war bislang nichts zu regex drin. Dann bin ich mal gespannt, ob er die Anforderung dazu umsetzen kann. Wenn Du Bock hast, bleib an dem Thema mit mir dran. Ich hab vor, so lange damit weiter zu machen, bis auch hier die Grenze (des LLM) erreicht ist oder das Ding sich selbst und alleine weiterentwickelt