[Erfahrungsbericht] [V4.5 IP4] Nutzung von KI (LLM) für Dokumentation und Custom-Logiken

[Franky]

@jhaeberle mal wieder Danke für den Hinweis auf ein Produkt, dass ich gar nicht kenne (spec-kit) (ich komm echt nicht hinterher
Nein hab noch keinen TWS-Prompt unter gpt getestet, aber auch nur, weil ich gerade nicht am TWS arbeite.

@eib-eg: Ja das ist unheimlich nützlich. So (a/b-Test) bin ich ja von GPT zu claude, dann zu gemini und dann wieder zu GPT gekommen. Es sind keine Nuancen, sondern (für mich) Welten an qualitativem Untershied (zu einem bestimmten Zeitpunkt). So war Gemini gerade mehrfach qualitativ unterirdisch nach einem Prompt fertig und wollte das Ergebnis nicht verbessern. Mit GPT eruiere ich seit 4h an Details, die ich alleine nicht sichten könnte, die aber definitiv Relevanz haben. Gemini sieht zur Zeit gar nichts einfach nichts und sagt einfach ist so. Wenn man es dann mit den Ergebnissen von GPT konfrontiert, "staunt es" selbst Mit Spec-kit könnte das natürlich wieder ganz anders aussehen.

Aber mein lessons learned (schon damals bevor ich mit KI/TWS angefangen habe) war: a/b Test mit 2-3 KI-engines. Weil man investiert ja Zeit und redet sich blöde mit der KI und da ist es ein Unterschied, ob man mit einem "6-jährigen" oder einem "16-Jährigen" "Genie/Inselbegatem" spricht. Oder anders formuliert: "Lösung erarbeitbar", "Lösung nicht erarbeitbar". Zu "alles selbst machen" habe ich keine Lust mehr, da hat KI echt einen schlechten Einfluss auf mich Aber ich nutze es immer noch mehr um Konzepte und Spezifikationen sauber zu erarbeiten (Definitionslücken, edge-cases, Testfälle,...) (Berufskrankheit, hatte in meinem Leben viel im Anforderungsmanagement als Schnittstelle zwischen Kunde und Entwicklungsteam zu tun. Jetzt bin ich selbst mein bester Kunde und die KI mein Entwicklungsteam

[gbglace]

Mir ist da derzeit noch die Zeit etwas zu schade für diese ganzen Unterhaltungen mit der KI.

Aktuell ziehe ich mir die KI generierten Logiken ins VS-Code und gehe da dann im Review drüber.
Passe per Hand einige Begriffe an. Das registriert er und schlägt dann selbständig für die weiteren Zeilen meist passende Korrekturen an. Da klicke ich mich dann quasi nur noch per TAB oder ESC durch die vorgeschlagenen Korrekturen.

Wenn ich dann in den Details die Logik erweitere dann brauche ich auch nur in den Level-Block scrollen und dort ENTER drücken für ne neue Zeile dann schlägt er mir auch gleich vor die zuletzt neu gebauten Variablen da mit Kommentarzeile und Definitionszeile zu ergänzen.

Mit diesem Semi manuellen Ansatz komme ich aktuell am schnellsten durch.

Für kleinere Teilaskpekte wiederum ist eine Vollgenerierung durch die KI sicher einfacher, da diese dann mit dem gehärteten Kanon den Modulkatalog besser versteht und schneller das passende raussucht. Wenn die KI da dann was gebastelt hat kann ich das dann lesen und verstehen und ggf korrigieren. Nur eben der initiale Einstieg in die Aufgabe dafür brauche ich da immer noch ne Unterstützung.

[jhaeberle]

Huch! @gbglace , dein VS Code unterstützt die Timberwolf-Logik-Syntax, oder wie? Oder schafft er das mit den Variablen vorschlagen, weil es einfach YAML ist?

Ich habe Gemini und den Prompt auch im VS-Code laufen. Das erste, was ich ihm beigebracht habe, war, die Logik als YAML-Datei zu schreiben. Aber bisher habe ich noch nicht weiter dran rum gebaut… is ja cool!

@Franky und @eib-eg , bitte bedenkt, dass ihr auch mit der gleichen KI und dem selben Prompt bei jeden Lauf andere Ergebnisse bekommt. Das liegt an der Natur der KI. So eine KI kann also auch mal einen schlechten Tag oder Ihre Tage haben

[eib-eg]

@jhaeberle

Das merkt man eigentlich schnell
Musst nur die richtige Frage stellen um festzustellen ob sie die richtige ist
Ob sie die richtige ist ist nicht die Frage denn da würde sie immer antworten ja

[gbglace]

Ich denke der antizipiert einfach aus dem was schon in der Datei ist und gibt daraus abgeleitet Textvorschläge.
Die Notation ist daran angelegt was er schon vorfindet. Wohl weniger weil es YAML ist.

Im Chatfanester brauchst ihm natürlich nicht fragen ich will xy in TWS Logik machen wie sieht da sowas aus. Da kommt nix brauchbares raus weil er die TWS Programmiersprache und den Modulkatalog so nicht kennt.

Aber als Tipphilfe um einen einheitlichen Sprachstil zu erhalten dafür ist es sehr gut.

Da bin ich halt etwas vom Output der Kanon-gefütterten KI etwas enttäuscht weil das Ding halt so unsäglich deutsch englisch mischt und die Wortkreationen bei den Variablen teilweise nur bedingt den Inhalt zweifelsfrei erahnen lassen.

[jhaeberle]

Tja… ein bisserl chaotisches Genie…
Kann deine VS Code Syntaxerkennung denn womöglich die Variablennamen refactoren? Das wär, zumal in einer Datei, ja noch recht easy…