[Erfahrungsbericht] [V4.5 IP4] Nutzung von KI (LLM) für Dokumentation und Custom-Logiken

[Franky]

Es ist ein Beitrag
Ich weis aber nicht mehr genau von wem
Da waren glaube ich alle zur verfügungstehenden Bausteine enthalten
Dies nimmt Robert Mini immer als Vorlage her

Du meinst z. B. diesen Post von @Robert_Mini link

[eib-eg]

Den werde ich bei der nächsten Sitzung mit einarbeiten
Danke @Franky
Wenn du noch mehr solche hast bitte den Link hier einstellen
Somit kann ich der AI auch solche Sachen lernen anhand von funktionierenden Beispielen

Das ist das was die AI braucht um zu lernen, genauso aber auch das Wiki

Danke nochmal

[AndererStefan]

Hallo @eib-eg ,

bei der Latch war in Version v4.12 ein deutlicher Fehler in der Referenz-Anleitung. Die Modi waren falsch zugeordnet. Ich wollte es dir just eben schreiben. In der neuen Version v.4.16.1 ist der Fehler behoben, aber von den möglichen Modi 0...3 werden nur 0 und 1 erwähnt.

Möglicherweise gab es noch mehr Fehler, ich habe oft nicht funktionierenden Code bekommen. Weil die Aufgabe und Code sehr komplex sind, aber ich aber nicht groß zu debuggen versucht. Rückblickend könnte das falsche Verständnis des Latches viel erklären.

Ich habe versucht mit Gemini das Referenzdokument gegen das Wiki zu prüfen, aber lassen sich die Links von der KI nicht anschauen (explitzit diese. Andere Webseiten funktionen). - evtl. eine Art Crawler oder KI-Diebstahl Schutz.

VG
Stefan

[jhaeberle]

Hey @AndererStefan ,

@Franky hat einen KI-generierten Crawler gepostet, der u.a. Das Wiki crawlt und in leichter/günstiger verdauliches Format bringt. Das könntest du dem LLM als Kontext hochladen, dann könnte es gehen.

[AndererStefan]

Ah ja, das zip aus Post #32.

Ich hatte das schon mal versucht, aber etwas hatte nicht geklappt.
Nun mit mehr Elàn und dem ganzen Ordner in Google Drive entpackt kann MetaPro darauf zugreifen. Es kostet 150.000 Token um die Wissensbasis zu laden und dauert auch ein paar Minuten. Da wird sich die "Branch" Funktion von Gemini wahrscheinlich als praktisch erweisen

Der erste Eindruck auf Basis des Wiki-Extrakts ist extrem positiv.
Gemini wirkt nun wie ein Azubi der das Handbuch wirklich gelesen hat, statt nur mal durchzublättern

VG
Stefan

[StefanW]

Hallo Zusammen,

wir haben nun einen ersten Nutzer, der mit einem KI definierten Code seine Logik zum Absturz gebracht hat. Ursache kennen wir noch nicht genau, aber hier wurde auch kein Backup vorher gemacht und das ganze auf einem produktiven Server ausgeführt.

Ich möchte Euch bitten, in möglichst jedem Post entsprechende Warnhinweise anzugeben.


Sicherheitshinweis beim Erstellen von komplexen Logiken, insbesondere durch KI

Ich habe jetzt keine Zeit das perfekt auszuformulieren, aber folgendes ist zu Beachten:

1. KI kann Ergebnisse produzieren, die zwar kompetent aussehen, aber schwere Fehler enthalten können, da KI nicht perfekt ist

2. Der Logik Editor und die Logik Engine sind nicht dahingehend gehärtet, alle diese Fehler zu erkennen, die eine KI produzieren könnte, da nie dafür ausgelegt. Jedes Werkzeug wird für einen bestimmten Zweck geschaffen, das hier kann außerhalb der gültigen Parameter führen.

3. Wer sich mit KI einen Code produzieren lässt, sollte diesen unter den gegebenen Umständen nur dann installieren, wenn man auch in der Lage ist, das generierte zu verstehen und prüfen.

4. Auf jedem Fall sollte bei Einsatz von neuen Logiken (das gilt auch für komplexere selbstgeschriebene) ZUVOR ein Backup durchgeführt werden, soweit nicht ohnehin auf einem jederzeit rücksetzbaren Test-System gearbeitet wird, was für solche erweiterten Experimente anzuraten ist.

5. Besonders ist darauf zu achten, dass mit der Logik keine Systeme manipuliert werden (Ab- und Anschalten, Parameter setzen) welche die Sicherheit von Menschen & Tier gefährden oder wertvolle Sachen beeinträchtigen können oder Kosten verursachen. Z.B. sollte man aufpassen, dass nicht ein Heizstab angesteuert wird, der zu hohen Kosten durch Energienutzung führt (einem Kunden so passiert) - oder eine Bewässerung, die den Garten des Nachbarn unter Wasser setzen könnte, weil es ein Gefälle gibt (einem Bekannten so passiert). Es sind also grundlegende Aspekte hinsichtlich hinreichendem Test vor der produktiven Ausführung und Aspekte für die eigensichere Konstruktionen automatischer Systeme zu beachten. Der Gedanke sollte nicht sein "hurra, was damit nun alles funktionieren wird" sondern es ist Augenmerk darauf zu legen "was sind mögliche negative Folgen dieser Automatisierung für andere und mich und wie kann ich diese vermeiden".


Merci

Stefan

[AndererStefan]

Die Warnung ist korrekt und angemessen, gilt aber für jede Community Custom Logic - egal ob KI generiert, selbst gestrickt oder von User XY der das eiiiigentlich gut kann.

Ohne professionelle QS / Code-Audit können immer auch fatale Fehler auftreten.
Die Sachen die der TWS ab Werk kann sind getestet, StefanW erklärt oft genug, wie viel Aufwand das ist.

So gesehen sollte am Besten direkt in den Code-Editor ein Disclaimer „Benutzung auf eigene Verantwortung“

VG Stefan

[StefanW]

Hi,

Die Warnung ist korrekt und angemessen, gilt aber für jede Community Custom Logic - egal ob KI generiert, selbst gestrickt oder von User XY der das eiiiigentlich gut kann.

Richtig, habe ich im ersten Thread zu dem Thema auch erwähnt.

Es ist nur so, dass zu beobachten ist, dass die Hemmschwelle / Einstiegsschwelle für den Einsatz komplexer Logiken sinkt, weil "die KI hat das ja gemacht" und manche da zu viel Vertrauen habe.

Wenn ich sehe, dass sich manche damit komplexe Heizungsregelungen / Bewässerungen von der KI entwickeln lassen, ohne die Details zu verstehen und ohne die Logik dann in allen erstellten Parametern zu prüfen, mache ich mir Gedanken. Ja, gilt auch für selbstgeschriebene Logiken, aber die Schwelle ist nun kleiner.

Wir hatten schon Kunden, die - mit einer falschen Logik - den Heizstab das ganze Jahr haben laufen lassen (ca. 2.000 EUR Schaden), oder in einem größeren Haus die Lüfter der KWL permanent auf maximaler Stufe liefen (falsche Ansteuerung, mehrere zehntausend EUR Schaden) oder einmal wurde der Garten des Nachbarn im Urlaub überschwemmt und der halbe Keller gleich mit. Das waren keine KI Logiken, sondern eben falsche Auslegung und falscher Test eines System ohne Überprüfung. Mit KI generierten Logiken könnte man das nun häufiger sehen, weil vermeintlich einfach.

Und man muss auch immer mit (blöden) Fehlern rechnen. Beim WireGate gab es (so 2012) einen Fehler, da hat der EIBD bei jedem Neustart ein "True" an die GA 0/0/0 geschrieben. Genau auf dieser GA war bei einer Tankstelle (das mit einem WireGate Server) der Aktorkanal für die Dachrinnenheizung verknüpft, mit dem Ergebniss, dass diese das ganze Jahr durchlief. Kam auch was an Schaden zusammen.

Ohne professionelle QS / Code-Audit können immer auch fatale Fehler auftreten.

Am Ende sind es immer Programme die Ablaufen und die - das muss man sich bewusst machen - über Aktoren etwas Schalten / Bewirken können. Wir hatten auch Fälle, da ging in der Früh um drei das Motorschloss auf, weil das halt nur an einer KNX GA hing.

Darum, immer an ALLE potentiellen Folgen denken. Ganz besonders bei Logik von Dritten (für deren System) oder KI.

So gesehen sollte am Besten direkt in den Code-Editor ein Disclaimer „Benutzung auf eigene Verantwortung“

Ja, für alles einen Disclaimer.

Muss man dann auch in der ETS einfügen, weil wer die GA vom Klingeltaster direkt mit dem Motorschloss in der ETS verknüpft und das nie testet, könnte von unerwünschten Besuch überrascht werden. Oder Hab und Gut verlieren (und hat dann keinen Versicherungsschutz, da kein Einbruch nachweisbar).

Es gibt keinen allumfassenden Disclaimer für jeden Aspekt des Lebens. Ich will niemanden den Spaß verderben, aber man sollte einfach Sorgfalt und Vorsicht walten lassen und eben nicht nur für den "Sonnenschein" programmieren sondern auch für das "schlechte Wetter" (wenn Signale / Objekte ausfallen, falschen Status haben, seltene Bedingungen auftreten usw.)

lg

Stefan

[Cepheus73]

Es gibt keinen allumfassenden Disclaimer für jeden Aspekt des Lebens. Ich will niemanden den Spaß verderben, aber man sollte einfach Sorgfalt und Vorsicht walten lassen und eben nicht nur für den "Sonnenschein" programmieren sondern auch für das "schlechte Wetter" (wenn Signale / Objekte ausfallen, falschen Status haben, seltene Bedingungen auftreten usw.)

Ja, so sollte das tatsächlich sein.
Wobei sich ja sogar der eine oder andere Profi damit schwer tut und dann nur die Geradeausfälle getestet werden.
Nicht umsonst sagt man doch, dass eigentlich der SW-Tester noch besser qualifiziert/erfahrener als der SW-Entwickler sein sollte.

Viele Grüße

Bernhard

[eib-eg]

Hallo

wie gehts weiter

da ich keine möglichkeit mehr habe die alten und noch nicht für die ki gerechten dateien gerne löschen möchte,

um fehler wie in
viewtopic.php?t=5905
so wie
viewtopic.php?t=5902
vermeiden möchte,
bräuchte ich hilfe von berechtigten personen die mir diese dateien löschen, oder mir diese berechtigung wider geben.

für benutzung dieser dateien ist jeder für sich selber verantwortlich.

entweder ich werde freigeschaltet zum löschen oder es macht ein MOD.

Nicht-zu-löschen.JPG

dieser text wurde von einer menschlichen KI geschrieben. siehe beitrag viewtopic.php?t=5908