[Erfahrungsbericht] [V4.5 IP4] Nutzung von KI (LLM) für Dokumentation und Custom-Logiken

[Franky]

@Franky, wenn du die KI mit den Grundlagen trainierst und das dann immer wieder verwendest, statt das bei jedem Prompt erneut zu machen, ist das effektiver und damit günstiger, was sich letztlich auch bei dem kostenlosen Modell auf den möglichen Umfang einer Konversation auswirkt.

ja, aber das können wir (ich) nicht (eine KI trainieren) wir nutzen zur Zeit nur trainierte LLMs...

[eib-eg]

Nur kurz hab noch viel andere Arbeit
Welche llm model
Wenn ich wüsste was du damit meinst
Im Vergleich wie ich beschrieben hab mit der Kette
Wenn ich nicht weis was eine llm ist kann ich dir keine Antwort geben
Wenn du die ai meinst dann ist es der Link den du bereit gestellt hast

[jhaeberle]

Du kannst eine KI wie Gemini soz. "spezialisieren"… mit Beispielen und Key-Value Listen von "Tipps" besser vorbereiten auf die kommenden Aufgaben. Da wir ja immer wieder Custom Logiken machen wollen, ist mein Gedanke, die Vorarbeiten zu optimieren.
Oder anders: durch das Vortraining kann man deutlich Tokens sparen, da die Prompts kürzer werden. Die Iterationen, wo die Ki Fehler macht und diese ausbügeln muss, kann verkürzt werden.

Ich hatte gestern einen Link mit konkreten Hinweisen gesehen finde den aber leider grad nicht. Hier eine Einführung

[eib-eg]

Was auch noch interessant ist
Grafana
Frag mal danach
Da kommt sogar der Timberwolf vor bei der Antwort von der ai
Anscheinend lernt die das der Wolf Daten sammelt und mitgrafana leicht angezeigt werden können

Ach wenn ihr wüsstet was gerade in meinem Schädel vorgeht
Der Tag dürfte locker 300h haben

[Franky]

@eib-eg sorry, damit meinen wir welche Webseite du benutzt

• ChatGPT und dort 4o, oder o3 oder o1, ...

• Claude (von Antrophic), z. B. Claude 3.7 Sonnet

• Grok

• ...

Ach wenn ihr wüsstet was gerade in meinem Schädel vorgeht
Der Tag dürfte locker 300h haben

ja du sprichst mir aus der Seele.

@jhaeberle super danke für diesen Link, das hatte ich noch gar nicht auf dem Schirm. Jedoch glaube ich (muss mich noch Einlesen), dass das mit Kosten / teurer Hardware verbunden ist.

https://console.cloud.google.com/projec ... ew=project
Starten Sie Ihren kostenlosen Testzeitraum mit einem Guthaben von 300 $. Wenn Ihr Guthaben aufgebraucht ist, werden Ihnen keine Kosten in Rechnung gestellt. Weitere Informationen

Modelle, die die überwachte Feinabstimmung unterstützen
gemini-2.0-flash-001
gemini-2.0-flash-lite-001

Ich nutze 2.5 Pro (mit den Flash-modellen hatte ich keine gute Erfahrung

Aber ich bin 100% bei dir. Wenn wir auf die Gewichtungen Einfluss nehmen können, haben wir wieder mehr Tokens frei. Wenn Du in die Richtung noch weiter Recherchieren könntest ich wäre super gespannt, ob man da mit consumer Hardware was machen kann. Lokal wollte ich ein LLM schon mal laufen lassen, aber auch dafür brauchst du mega Hardware.

[eib-eg]

https://aistudio.google.com/

Den Link von dir

Den hab ich benützt

[jhaeberle]

Aber ich bin 100% bei dir. Wenn wir auf die Gewichtungen Einfluss nehmen können, haben wir wieder mehr Tokens frei. Wenn Du in die Richtung noch weiter Recherchieren könntest ich wäre super gespannt, ob man da mit consumer Hardware was machen kann. Lokal wollte ich ein LLM schon mal laufen lassen, aber auch dafür brauchst du mega Hardware.

Ich dachte nicht an eigene HW, aber du hast recht, da geht heute auch schon einiges.
Meine Idee ist, das Dingens besser gemeinsam zu tunen, so dass sich alle leichter damit tun. Eure Ideen mit den Beispielen, Hinweisen und der gescrapten Doku sind ja alle hervorragend. Dann noch funktionierende Custom-Logiken sammeln und das alles der KI gesammelt und wartbar zur Verfügung stellen, damit das jeder leicht verwenden kann…

Vielleicht hab ich morgen Zeit, mich da rein zu hängen…

[eib-eg]

@Franky
Gefüttert wurde die ai mit den Logiken die der Wolf bereit stellt
Sowie mit den Inhalten der zip Datei der Logiken

Hab von Dragonos den markisenbaustein gegeben
Von Robert Mini die Rasenmäher Logik und noch einige

Die ai hat ja selber gesagt ä geschrieben das die von ihr erstellte Datei sehr hilfreich zur Erstellung von costemlogik ist da schon teilweise getestet wurde ob sie sich speichern lässt

Hab auch gesagt sie soll mit Absicht Fehler einbauen um festzustellen wo im wolf sprich Zeile der Fehler angezeigt wird

Das war die größte Hürde

Am Anfang sprach ich von Zeile sowieso
Bis wir den Unterschied bemerkten
Ich gab ihr die zeilennummer mit der fehlerangabe vom Wolf mit Inhalt der Zeile

Darauf hin hat sie viel schneller gelernt

Weiter sind wir dann darauf gekommen das die fehleranzeige im wolf mit der Analyse der ai nicht 100% übereinstimmte

Weiter ging’s mit nochmaligen Tests mit ca 700 Zeilen

Da machte sie nur noch ca 5 Fehler

In meinen Augen könnte jeder der sie nützt so vorgehen
Ergo nach seinen letzten Wissensstand die Info in diese Datei eingeben
Somit ist das Grundwissen in der Datei die jeder nutzen kann und somit auch die tokens nicht verschwendet werden

Für diesen lernefekt wurden nur knapp über 25% verbraucht

Somit kommt man schneller ans Ziel

Als Vergleich mit der solarsteuerung hab ich fast 50% verbraucht und der pc wurde langsamer

Somit ist dies ein Aufruf an alle die dies benützen möchten hier auch mitzumachen

Wenn ein funktionierender Code den die ai erstellt hat einfach zu fragen (sollte sie einige Fehler gemacht haben) ob der geschickte Code zu erweitern währe um in Zukunft weniger Fehler zu machen

So
Lang genug geschrieben
Weiter geht’s mit Arbeit

[Franky]

Meine Idee ist, das Dingens besser gemeinsam zu tunen, so dass sich alle leichter damit tun. Eure Ideen mit den Beispielen, Hinweisen und der gescrapten Doku sind ja alle hervorragend. Dann noch funktionierende Custom-Logiken sammeln und das alles der KI gesammelt und wartbar zur Verfügung stellen, damit das jeder leicht verwenden kann…

Vielleicht hab ich morgen Zeit, mich da rein zu hängen…

Ja, aber deine Idee es der KI nicht nur im Prompt zur Verfügung zu stellen, sondern ein spezialisiertes large language modell (LLM) darauf zu erstellen, ist gut. Nur fürchte ich, dass wir das ohne sehr hohe Kosten (egal ob Nutzung von Google, oder Open source auf eigener Hardware) nicht hinbekommen ... wenn es dazu doch einen Weg gäbe, wäre ich sofort dabei. denn spezialisierte kleinere LLMs sind (angeblich) besser als die mega großen

[Franky]

ich bin im übrgigen gerade dabei, meinen "Meta-Master"Prompt zu optimieren und durch Aufteilung und spezialisierte Prompt-Dateien für alle möglichen Aufgaben tauglich zu machen. Bei der Entwicklung des Wiki-scrapers Webseitenspeicherprogramms hätte ich Features vom Custom-Logik masterprompt gebrauchen können. Also drehe ich jetzt erstmal dahin eine Runde und diese Ergebnisse plane ich dann auf github (öffentlich) zu speichern. Darüber quatschen und berichten werde ich aber in diesem Thread.