[DISKUSSION] [V4.5 IP3] Offline Sprachsteuerung mit Rhasspy, Auswertung MQTT-Topic / HermesMQTT Protokoll

[avater]

Hat jemand Erfahrung mit Rhasspy https://rhasspy.readthedocs.io/en/latest/?

Ich habe mich jetzt ein paar Stunden damit beschäftigt und es auf einem Pi 4 grundsätzlich zum Laufen gebracht. Kommunikation mit dem TWS kann via MQTT erfolgen (Hermes Protokoll https://ip-team2.intia.de/tech-stack/hermesmqtt/).

Das Esstischlicht ein und ausschalten war recht schnell gemacht, aber es braucht noch etwas Cleveres, um solch ein Topic auszuwerten:

Code: Alles auswählen

{
  "input": "schalte die garagenlicht aus",
  "intent": {
    "intentName": "ChangeLightState",     <---- Die grundlegende Funktion: Licht an/aus
    "confidenceScore": 1
  },
  "siteId": "default",
  "id": null,
  "slots": [                               <----- Dieses Array kann beliebig lang werden und bildet die Dimensionalität der Befehlssätze ab
    {
      "entity": "name",
      "value": {
        "kind": "Unknown",
        "value": "garagenlicht"         <---- Das steht drin, welches Licht
      },
      "slotName": "name",
      "rawValue": "garagenlicht",
      "confidence": 1,
      "range": {
        "start": 12,
        "end": 24,
        "rawStart": 12,
        "rawEnd": 24
      }
    },
    {
      "entity": "state",
      "value": {
        "kind": "Unknown",
        "value": "aus"             <------ An- oder ausschalten?
      },
      "slotName": "state",
      "rawValue": "aus",
      "confidence": 1,
      "range": {
        "start": 25,
        "end": 28,
        "rawStart": 25,
        "rawEnd": 28
      }
    }
  ],
  "sessionId": "default-default-5f044920-a813-4474-88f4-f816c24d2867",
  "customData": "default",
  "asrTokens": [
    [
      {
        "value": "schalte",
        "confidence": 1,
        "rangeStart": 0,
        "rangeEnd": 7,
        "time": null
      },
      {
        "value": "die",
        "confidence": 1,
        "rangeStart": 8,
        "rangeEnd": 11,
        "time": null
      },
      {
        "value": "garagenlicht",
        "confidence": 1,
        "rangeStart": 12,
        "rangeEnd": 24,
        "time": null
      },
      {
        "value": "aus",
        "confidence": 1,
        "rangeStart": 25,
        "rangeEnd": 28,
        "time": null
      }
    ]
  ],
  "asrConfidence": 0.7371840000000001,
  "rawInput": "schalte die garagenlicht aus",
  "wakewordId": "default",
  "lang": null
}

Das könnte eine Logik sein, die aus dem MQTT-Subsystem die "values" aller Slots bekommt. Aber dann braucht man eine Logik pro "intent".

Wirkt ziemlich fummelig. Hat jemand eine bessere Idee?

[avater]

Inzwischen ist mir klargeworden, dass wenn ich mehrere Einzelwerte aus dem JSON vom MQTT-Subsystem an die Eingänge einer Logik liefere, diese leider für jeden Einzelwert triggert. Und weil wiederum die Reihenfolge, in der die Werte ankommen, nicht deterministisch ist, hilft auch ein "U" am allen Eingängen bis auf einen nicht. einen (kuzen) Warte-Timer setzen ist auch doof, weil der User jede Verzögerung sehr bemerkt.

Also überlege ich, das gesamte JSON-Result an die Logik zu liefern und mit Regex draufzuhauen.

... und das weckt in mir den Wunsch, einen Logikbaustein zu haben, der JSON verarbeiten kann. Also die Funktion bietet, die das MQTT-Subsystem ja schon besitzt.

(Ich kenne es nur flüchtig, aber das klingt dann wie Node Red, oder?)