[Erfahrungsbericht] [V4.5 IP4] Nutzung von KI (LLM) für Dokumentation und Custom-Logiken

[eib-eg]

so dank @speckenbuettel seiner rückmeldungen wider 2 neue dateien erstellen können
die logik wird vermutlich morgen getestet
denn bis der code die 10000 km weit gereist ist kanns schon dauern

[eib-eg]

so neue version 4.83.1
dank @speckenbuettel und @cheater

[eib-eg]

Dank einiger Aufgaben die gestellt werden
wurde heute die neue Version 4.87 fertig
sowie die 2 neuen Backup Funktionen mit eingearbeitet
Auch großen Dank an diejenigen die Logiken zum Testen von der ki erstellt haben wollen, denn nur durch Tests wird diese verbessert.

[AndererStefan]

Moin,
ich würde gerne mehr darüber erfahren, wie du beim Verbessern der KI vorgehst.

Ein paar der Fragen die mir durch den Kopf gehen:
Was sind das für „Fehler“ die da noch auftreten? Sind das wirklich falsche Anweisungen in den Regeln, oder kommen da immer mehr spezifische Regeln dazu?
Machst du die Regelergänzungen selber, oder die KI (- ich vermute die KI)?
Hast du Probleme damit, dass die KI Teile des Regelsatzes verändert, obwohl dies nicht nötig/beabsichtigt ist?

Viele Grüße
Stefan

[eib-eg]

Dadurch das mein prompt eine andere herangehensweise hat als deine sind es einfach nur Verbesserungen.

Sieh es einfach so wenn du ein Auto polierst,
hier noch nicht sauber und da noch nicht sauber.

Ich sehe aber die unsauberen Stellen erst wenn ich überall hingeleuchtet habe.
Denn mein prompt wie ja bekannt in der Nacht produziert.

[eib-eg]

@AndererStefan
ich lasse mal die KI für mich antworten
nicht böse sein, aber so schön kann ich die texte nicht formulieren
ab hier KI text
______________________
Hallo Stefan,

das sind sehr gute und berechtigte Fragen zum Prozess. Ich versuche mal, das "Polieren" etwas technischer zu erklären, ohne zu tief ins Detail zu gehen.

1. Was sind das für „Fehler“ oder "unsaubere Stellen"?

Es sind fast nie "falsche" Anweisungen im KI-Prompt. Es sind eher Lücken in der Spezifität. Ein gutes Beispiel: Die KI benutzte eine logische, aber für den Timberwolf Server nicht existente Funktion. Im Prompt stand nicht explizit, dass sie das nicht darf. Das Ergebnis war also ein "Fehler", der mir eine Lücke im Regelwerk meines Prompts gezeigt hat. Die Verbesserung war dann, eine neue, präzisere Anweisung hinzuzufügen, die sagt: "Benutze ausschließlich die hier dokumentierten Funktionen." Der Prozess verfeinert also den Prompt, um solche logischen, aber falschen Annahmen der KI von vornherein auszuschließen.

2. Wer macht die Ergänzungen – ich oder die KI?

Das ist eine klare Partnerschaft mit mir als Gatekeeper.

Die KI produziert ein unerwartetes Ergebnis (deckt also eine "unpolierte Stelle" auf).

Die KI kann ihren eigenen "Fehler" analysieren und einen konkreten Vorschlag machen, wie man die Anweisung im Prompt verbessern könnte, um das zu verhindern.

Ich allein entscheide, ob dieser Vorschlag gut ist, passe ihn an und erstelle eine neue, verbesserte Version des Prompts (z.B. V4.88), die ich dann in einer neuen Sitzung verwende. Die KI kann also niemals ihre eigenen Regeln permanent ändern.

3. Verändert die KI ungewollt den Prompt?

Nein, absolut unmöglich. Das ist ein Kernprinzip. Der Prompt wird am Anfang einer frischen Sitzung einmalig geladen und bleibt für diese Sitzung statisch. Jedes Ergebnis wird gegen diesen unveränderten Satz von Anweisungen geprüft.

Zu der Frage, warum der Prompt so groß ist (und viele Tokens verbraucht):

Das ist eine bewusste Design-Entscheidung, die auf die Stärken des zugrundeliegenden KI-Modells zugeschnitten ist.

Manche KIs sind für kurze Fragen optimiert. Mein Modell hier (von Google) hat ein extrem großes "Kontextfenster". Es ist darauf spezialisiert, sehr große Textmengen (wie meinen kompletten Prompt) auf einmal zu verarbeiten und als zusammenhängendes "Betriebssystem" im Kopf zu behalten.

Ich gebe ihm nicht nur ein paar Beispiele, sondern ein komplettes Regelwerk inklusive Architektur-Prinzipien und Anti-Patterns. Die hohe "Investition" an Tokens am Anfang zahlt sich durch eine extrem hohe Qualität und Zuverlässigkeit am Ende aus. Eine kleinere Anfrage würde zu mehr generischen, unzuverlässigen Antworten führen, die viel mehr manuelle Nacharbeit erfordern würden.

Kurz gesagt: Ich nutze die spezifische Stärke dieses KI-Modells voll aus, um ein quasi "vor-trainiertes" Experten-System für Timberwolf-Logiken zu schaffen.
__________________________
ende KI text

ich hoffe du verstehst was sie damit meint

[AndererStefan]

Moin,

und Danke das hilft schon, aber ich möchte noch mal vertiefen:

Hast du ein weiteres, aktuelles Beispiel für ergänzende Spezifizierung? Die Verwendung (Halluzination) eines nicht existierenden Tool ist ja eher ein Problem der ersten Stunde und soltte ja schon lange gelöst sein.

Zum Prompt: D.h. die KI macht einen Vorschlag wie oben genannt ('Ich muss mir merken: „Benutze ausschließlich die hier dokumentierten Funktionen“ ') und du, Georg, schreibst den an eine passende Stelle der Prompt-Vorlage? Oder lässt du dir von der KI eine aktualisierte Prompt-Vorlage fürs nächste Mal ausgeben? - Das ist nämlich die Stelle wo ich Sorge vor ungewollten/unbemerkten Änderungen hätte.

VG
Stefan

[chriss1980]

Hallo,

das sind ja wirklich coole Ergebnisse und auch krasse Möglichkeiten. Ich bin selber noch nicht so recht mit dem Erstellen von Custom Logics warm geworden, darum hier noch ein Vorschlag (@eib-eg) für eine Logik. Vielleicht sehr speziell, vielleicht kann es auch noch jemand gebrauchen

Beschreibung:
Die Logik soll abhängig von der eingespeisten oder bezogenen Netz-Leistung eines Haushalts mit Photovoltaikanlage die Lade-/Entladeleistung von zwei Akkus so steuern, dass am Netzanschluss möglichst auf eine definierte Leistung ausgeregelt wird. Die Akkus sollen dabei immer synchron entweder laden oder entladen, dazu ist die Gesamtleistung am Netzanschluss entsprechend dem Verhältnis der maximalen Akkuleistung auf die beiden Akkus aufzuteilen. Die Aufteilung der Leistung soll gleichartig für das Laden und Entladen funktionieren und unterscheidet sich dabei nur im Vorzeichen.
Als Eingänge soll die Logik die Ist-Leistung am Hausanschluss (Einspeisung oder Bezug) in Watt, die Soll-Leistung am Hausanschluss in Watt, die aktuelle Ist-Leistung der beiden Akkus in Watt sowie die maximale Leistung der beiden Akkus in W haben. Ausgänge sind die Soll-Leistung für beide Akkus in Watt.
Optional: Sollte einer der Akkus die Leistung eigenständig reduzieren, so kann die Leistung des anderen Akkus bis zur nächsten Umkehr des Vorgangs erhöht werden.


Für PV-/Akku-Anlagen könnte man dann auch noch einen Baustein bauen, der je nach Netzleistung mehrere Überschussverbraucher schaltet oder auch Lasten abwirft. Oder gibt es da schon etwas?

Schöne Grüße
Christian

[eib-eg]

Hallo @chriss1980

Woher weist du das ich da drann bin

Aber

Die ein und Ausgänge die du beschreibst sind nur die Spitze des Eisberges

Nachfolgend eine Erklärung von der ki geschrieben.

Bitte komplett durchlesen und du wirst merken das einiges an Angaben fehlen

Ab hier ki text
_______

Anleitung: Der optimale Workflow zur Erstellung von Custom-Logik mit der "Kanon-AI"

Einleitung

Diese Anleitung beschreibt den bewährten und effizientesten Prozess zur Interaktion mit einer auf den "Kanon" trainierten KI. Ziel ist es, in kürzester Zeit fehlerfreie, robuste und wartbare Custom-Logik für den Timberwolf Server zu erstellen. Das Befolgen dieses Workflows ist der Schlüssel, um das volle Potenzial der KI auszuschöpfen und das "Perfektionsgebot" zu erfüllen.

Das Grundprinzip: Die "Architekt & Bauleiter"-Analogie

Um den Prozess zu verstehen, stellen Sie sich die Zusammenarbeit wie bei einem Hausbau vor:

Der Anwender (Sie): Sie sind der Architekt. Sie haben die Vision, die Anforderungen, das Wissen über die Gegebenheiten vor Ort (Ihre Anlage) und das Endziel. Sie erstellen den Bauplan.

Die KI (Ich): Ich bin der Bauleiter und Fachingenieur. Ich kenne die Baumaterialien (den Kanon), die Baustatik (die Logik-Regeln und Anti-Patterns) und die effizientesten Bauweisen (die Design-Patterns). Ich kann den Plan prüfen und ihn exakt umsetzen, aber ich kann nicht Ihre Gedanken lesen.

Ein Architekt gibt dem Bauleiter nicht einfach den Kanon und sagt "Bau ein Haus!". Er gibt ihm zuerst den detaillierten Bauplan. Genau so funktioniert es hier am besten.
Der optimale 4-Phasen-Workflow

Ihre Frage war: "Prompt zuerst, oder Aufgabe zuerst?". Die klare Antwort lautet: Immer zuerst die Aufgabe, dann die Analyse, dann erst die iterative Umsetzung. Der Prompt ist die Grundlage, die immer zuerst da sein muss, bevor überhaupt ein Wort über die Aufgabe gewechselt wird.
Phase 0: Die Vorbereitung (Der saubere Start)

Immer eine neue, frische Sitzung beginnen. Dies ist die wichtigste Regel, um das "Nebel-Barometer" (Kontext-Erosion durch hohen Token-Verbrauch) zu respektieren. Starten Sie einen komplett neuen Chat.

Phase 1: Das Fundament (Kanon laden & kalibrieren)

Laden Sie den Kanon. Geben Sie mir als ALLERERSTE Aktion in der neuen Sitzung den vollständigen und aktuellen Kanon (Prompt und Syntax-Datei).

Warten Sie auf die Kalibrierung. Ich werde das Laden bestätigen und Sie nach dem initialen Token-Verbrauch fragen ("Nullpunkt-Kalibrierung"). Dieser Schritt ist Pflicht und stellt sicher, dass das Nebel-Barometer von Anfang an präzise arbeitet.

Warum dieser Schritt zuerst? Dies zwingt mich, mein allgemeines Wissen "abzuschalten" und ausschließlich im Regelwerk des Timberwolf Servers zu denken. Fehler wie der JsonPathSelector werden so von vornherein unterbunden.
Phase 2: Die Aufgabenstellung (Der Bauplan)

Beschreiben Sie die Aufgabe so detailliert wie möglich. Geben Sie mir jetzt den kompletten "Bauplan". Das ist der entscheidende Schritt. Liefern Sie alle bekannten Informationen, genau wie Sie es bei der Klimaanlagen-Steuerung getan haben:

Das Ziel: Was soll die Logik am Ende tun?

Die Eingänge: Welche Sensoren, Werte, JSONs, MQTT-Topics stehen zur Verfügung?

Die Ausgänge: Was soll gesteuert werden?

Die Regeln & Bedingungen: Welche Prioritäten gibt es? Welche Schwellwerte? Welche Sonderfälle?

Geben Sie mir an dieser Stelle KEINE Logik-Dateien oder Code-Schnipsel, es sei denn, sie dienen als reine Referenz für die Aufgabenstellung.

Warum dieser Schritt so? Hier geben Sie als Architekt dem Bauleiter den vollständigen Plan. Ich kann jetzt alle Abhängigkeiten und die Gesamtkomplexität erfassen, bevor ich auch nur ein Werkzeug in die Hand nehme.
Phase 3: Die Analyse & das Konzept (Die Bauplan-Prüfung)

Warten Sie auf meine Rückmeldung. Jetzt bin ich an der Reihe. Basierend auf Ihrem "Bauplan" werde ich Folgendes tun:

Rückfragen stellen: Wenn Informationen fehlen oder widersprüchlich sind (Regel der Kontext-Pflicht), werde ich präzise nachfragen.

Ein Lösungskonzept vorschlagen: Ich werde, wie bei der Klimaanlage, eine architektonische Lösung vorschlagen (z.B. "Wir teilen das in 3 Logikzellen auf: Parser, Steuerung, Sender").

Warum dieser Schritt so? Dies ist die wichtigste Phase zur Fehlervermeidung. Wir stellen sicher, dass wir beide exakt dasselbe verstanden haben, bevor der eigentliche "Bau" beginnt. Das verhindert kostspieliges Abreißen und Neubauen.
Phase 4: Das "GO" & die iterative Umsetzung (Der Bau)

Geben Sie das "GO". Erst wenn Sie mit dem von mir vorgeschlagenen Konzept einverstanden sind, geben Sie das Signal zur Umsetzung.

Iteratives Vorgehen: Ich werde nun die Logik-Zellen einzeln erstellen. Sie prüfen jede auf Speicherbarkeit und geben jeweils das nächste "GO".

Warum dieser Schritt so? Dies stellt sicher, dass jede einzelne Komponente valide ist und passt, bevor die nächste darauf aufgebaut wird. Es ist wie das Gießen einzelner Fundamente, die erst aushärten müssen.

Zusammenfassende "Goldene Regeln" für den Anwender:

Immer frisch starten. (Neuer Chat)

Immer zuerst den Kanon laden. (Kontext setzen)

Immer zuerst die Aufgabe vollständig beschreiben. (Bauplan liefern)

Immer auf meine Analyse und mein Konzept warten. (Bauplan prüfen lassen)

Immer iterativ mit "GO" freigeben. (Schritt für Schritt bauen)

Dieser strukturierte Prozess mag anfangs wie ein Umweg erscheinen, ist aber in Wahrheit die schnellste und sicherste Route zu einer perfekten, funktionierenden Logik.


__________
Ende ki Text

[chriss1980]

Hallo eib-eg,

wow, danke für die schnelle Rückmeldung. Habe den Text jetzt drei Mal gelesen - KIs schwafeln ja gerne Meine Beschreibung sollte Schritt 2 sein, ok. Kann Deine KI etwas präziser sagen, was ihr fehlt?

Ich könnte als Präambel mehr Kontext zum technischen Setup beschreiben, z.B.
Gegeben ist ein Haushalt mit einer Photovoltaikanlage zur Stromerzeugung, die vorrangig den Eigenverbrauch des Haushalts deckt und überschüssige Energie ins öffentliche Stromnetz einspeist. Zusätzlich sind zwei Akkus verbaut, die überschüssige Energie speichern und den Haushaltsbedarf bei geringer Erzeugung durch die Photovoltaikanlage decken können. Die Akkus können durch Vorgabe einer Leistung und einer Leistungsrichtung gesteuert werden und somit laden oder entladen. Am Hausanschlusspunkt, d.h. am Übergang zum öffentlichen Stromnetz findet eine Leistungsmessung statt, die die höhe der Einspeiseleistung oder Bezugsleistung erfasst.

Man kann bestimmt mit mehr Eingängen (z.B. Ladestand der Batterien) eine aufwändigere Steuerung erstellen oder auch mehr Ausgänge generieren, ich habe das eher als Minimum für eine einfache Steuerung gesehen