[Erfahrungsbericht] [V4.5 IP4] Nutzung von KI (LLM) für Dokumentation und Custom-Logiken

[Franky]

@jhaeberle mal wieder Danke für den Hinweis auf ein Produkt, dass ich gar nicht kenne (spec-kit) (ich komm echt nicht hinterher
Nein hab noch keinen TWS-Prompt unter gpt getestet, aber auch nur, weil ich gerade nicht am TWS arbeite.

@eib-eg: Ja das ist unheimlich nützlich. So (a/b-Test) bin ich ja von GPT zu claude, dann zu gemini und dann wieder zu GPT gekommen. Es sind keine Nuancen, sondern (für mich) Welten an qualitativem Untershied (zu einem bestimmten Zeitpunkt). So war Gemini gerade mehrfach qualitativ unterirdisch nach einem Prompt fertig und wollte das Ergebnis nicht verbessern. Mit GPT eruiere ich seit 4h an Details, die ich alleine nicht sichten könnte, die aber definitiv Relevanz haben. Gemini sieht zur Zeit gar nichts einfach nichts und sagt einfach ist so. Wenn man es dann mit den Ergebnissen von GPT konfrontiert, "staunt es" selbst Mit Spec-kit könnte das natürlich wieder ganz anders aussehen.

Aber mein lessons learned (schon damals bevor ich mit KI/TWS angefangen habe) war: a/b Test mit 2-3 KI-engines. Weil man investiert ja Zeit und redet sich blöde mit der KI und da ist es ein Unterschied, ob man mit einem "6-jährigen" oder einem "16-Jährigen" "Genie/Inselbegatem" spricht. Oder anders formuliert: "Lösung erarbeitbar", "Lösung nicht erarbeitbar". Zu "alles selbst machen" habe ich keine Lust mehr, da hat KI echt einen schlechten Einfluss auf mich Aber ich nutze es immer noch mehr um Konzepte und Spezifikationen sauber zu erarbeiten (Definitionslücken, edge-cases, Testfälle,...) (Berufskrankheit, hatte in meinem Leben viel im Anforderungsmanagement als Schnittstelle zwischen Kunde und Entwicklungsteam zu tun. Jetzt bin ich selbst mein bester Kunde und die KI mein Entwicklungsteam

[gbglace]

Mir ist da derzeit noch die Zeit etwas zu schade für diese ganzen Unterhaltungen mit der KI.

Aktuell ziehe ich mir die KI generierten Logiken ins VS-Code und gehe da dann im Review drüber.
Passe per Hand einige Begriffe an. Das registriert er und schlägt dann selbständig für die weiteren Zeilen meist passende Korrekturen an. Da klicke ich mich dann quasi nur noch per TAB oder ESC durch die vorgeschlagenen Korrekturen.

Wenn ich dann in den Details die Logik erweitere dann brauche ich auch nur in den Level-Block scrollen und dort ENTER drücken für ne neue Zeile dann schlägt er mir auch gleich vor die zuletzt neu gebauten Variablen da mit Kommentarzeile und Definitionszeile zu ergänzen.

Mit diesem Semi manuellen Ansatz komme ich aktuell am schnellsten durch.

Für kleinere Teilaskpekte wiederum ist eine Vollgenerierung durch die KI sicher einfacher, da diese dann mit dem gehärteten Kanon den Modulkatalog besser versteht und schneller das passende raussucht. Wenn die KI da dann was gebastelt hat kann ich das dann lesen und verstehen und ggf korrigieren. Nur eben der initiale Einstieg in die Aufgabe dafür brauche ich da immer noch ne Unterstützung.

[jhaeberle]

Huch! @gbglace , dein VS Code unterstützt die Timberwolf-Logik-Syntax, oder wie? Oder schafft er das mit den Variablen vorschlagen, weil es einfach YAML ist?

Ich habe Gemini und den Prompt auch im VS-Code laufen. Das erste, was ich ihm beigebracht habe, war, die Logik als YAML-Datei zu schreiben. Aber bisher habe ich noch nicht weiter dran rum gebaut… is ja cool!

@Franky und @eib-eg , bitte bedenkt, dass ihr auch mit der gleichen KI und dem selben Prompt bei jeden Lauf andere Ergebnisse bekommt. Das liegt an der Natur der KI. So eine KI kann also auch mal einen schlechten Tag oder Ihre Tage haben

[eib-eg]

@jhaeberle

Das merkt man eigentlich schnell
Musst nur die richtige Frage stellen um festzustellen ob sie die richtige ist
Ob sie die richtige ist ist nicht die Frage denn da würde sie immer antworten ja

[gbglace]

Ich denke der antizipiert einfach aus dem was schon in der Datei ist und gibt daraus abgeleitet Textvorschläge.
Die Notation ist daran angelegt was er schon vorfindet. Wohl weniger weil es YAML ist.

Im Chatfanester brauchst ihm natürlich nicht fragen ich will xy in TWS Logik machen wie sieht da sowas aus. Da kommt nix brauchbares raus weil er die TWS Programmiersprache und den Modulkatalog so nicht kennt.

Aber als Tipphilfe um einen einheitlichen Sprachstil zu erhalten dafür ist es sehr gut.

Da bin ich halt etwas vom Output der Kanon-gefütterten KI etwas enttäuscht weil das Ding halt so unsäglich deutsch englisch mischt und die Wortkreationen bei den Variablen teilweise nur bedingt den Inhalt zweifelsfrei erahnen lassen.

[jhaeberle]

Tja… ein bisserl chaotisches Genie…
Kann deine VS Code Syntaxerkennung denn womöglich die Variablennamen refactoren? Das wär, zumal in einer Datei, ja noch recht easy…

[AndererStefan]

Moin,

ich habe bei den beiden aktuellen KI-Aufgaben zur elektro-Heizungssteuerung und zur HCL-Beleuchtung den Eindruck, das LLM hat sich verzettelt und steigert sich mit komplexen Lösungen rein. Wie ist eure Erfahrung in solchen Situationen? Bekommt ihr das in der Session noch wieder eingefangen?

Ich hatte bisher bereits ein paar Mal Situationen in denen ich mir die Anforderungen vom LLM auf Konzeptebene nochmal neu formulieren ließ und dann (nach manueller Kontrolle/Überarbeitung) nochmal ganz neu gestartet habe.

VG Stefan

[gbglace]

Ich habe da auch ein ähnliches Gefühl bei der Zählerlogik gehabt. Das LLM hat dann bei bisher klar definierten und schon immer richtig gebauten Sachen, wie den Zeitpunkten wann ist der Tag zu Ende, Fehler eingebaut (letzte Stunde des Tages als 22 statt 23 gesetzt).

Und gerade wo es dann jetzt eigentlich nur um ganz kleine Details in der Korrektur geht wo dann nur ein Zeichen im ganzen Code ggf getauscht werden muss, kommt das Ding dann vermutlich auf Ideen dann doch mehr als das einen Zeichen zu ändern, was wiederum wieder zu ganz anderem Verhalten an anderer Stelle führt. Das LLM arbeitet ja eben nicht so selektiv um sich nur die fehlerhaften Zeilen zu suchen und dafür Alternativen zu finden, sondern erdenkt alles neu. Zum Glück lassen die Modulbausteine nicht unendliche sinnvolle Wege zum Ziel zu, sonst wäre da mit jedem Durchdenken eine komplett andere Logik möglich.

Aber allein schon wegen des neuen notwendigen Gespräches zur Bekanntgabe der Fehler und ggf neu formulierter Anforderungen ergeben sich sehr schnell neue Variablennamen in der Logik für den selben Funktionsteil.

Ich bin immer noch sehr positiv überrascht wie gut die LLMs da erstmal eine funktionierende Logik erstellen und die soweit sinnvolle Auswahl aus dem Modulbausteinkatalog treffen.

Aber in kleinen Korrekturen auf Level Parameterverhalten sehe ich da derzeit noch eine manuelle Korrektur schneller gemacht als viele weitere Iterationen in der selben Session mit dem LLM.

Stand heute sind sie damit eine gewaltige Erleichterung und ein super Assistent aber bei wirklich komplexen Logiken noch nicht selbständig arbeitsfähig.

[AndererStefan]

Es gibt auch beim Gira Homeserver Bemühungen Logiken mit Hilfe von KI zu erstellen: https://knx-user-forum.de/forum/%C3%B6f ... ab-fw-4-13

[eib-eg]

@AndererStefan
frage
hilft das dem wolf ?