LLM blickt auf meinen Garten: Wie KI-Sicht entscheidet, ob ich die Möbel vor Regen abdecken soll

Der Autor hat eine Automatisierung im Smart Home auf Basis von Home Assistant (HA) umgesetzt, die eine multimodale LLM nutzt, um zu prüfen, ob die Gartenmöbel vor Regen abgedeckt sind. Das System überwacht die Wettervorhersage und den Nowcast für Niederschlag, schaltet bei nahendem Regen die Beleuchtung der Kamera ein, macht ein Foto und sendet es über die integrierte Integration „AI Task“ an die LLM. Die LLM gibt eine strukturierte Antwort zurück (covered/reason), und wenn die Möbel unbedeckt sind, kommt eine Benachrichtigung in Telegram mit Foto, Radar und Inline-Buttons „Abgedeckt“ und „3 Stunden verschieben“. Die Automatisierung verwendet nur die integrierten Mechanismen von Home Assistant: Automatisierungen, Helfer, AI Task und Telegram-Bot, ohne eigene Integrationen. Die Bedingungen umfassen eine Abklingzeit (Prüfung höchstens alle 3 Stunden) und eine Schlummerfunktion (Button zum Verschieben). Bei einem Fehler der LLM degradiert das System sanft und sendet eine Benachrichtigung zur manuellen Prüfung. Das gesamte System läuft auf einem Raspberry Pi 3 mit begrenzten Ressourcen, was eine Optimierung der Modellaufrufe erfordert.