LLM kijkt naar mijn tuin: hoe AI-visie beslist of ik de meubels moet afdekken voor de regen
Moonshot AI
De auteur heeft een smart home-automatisering op Home Assistant gebouwd die een multimodale LLM gebruikt om een frame van een buiten CCTV-camera te analyseren voordat het gaat regenen. Als de meubels niet zijn afgedekt, komt er een Telegram-melding met foto en knoppen om dit te bevestigen. Het systeem bespaart LLM-calls door alleen te controleren bij een daadwerkelijk risico op neerslag.
De auteur heeft automatisering in een smart home op basis van Home Assistant (HA) geïmplementeerd, die een multimodale LLM gebruikt om te controleren of tuinmeubilair bedekt is voordat het gaat regenen. Het systeem volgt de weersverwachting en nowcast van neerslag, schakelt bij naderende regen de verlichting van de camera in, maakt een foto en stuurt deze naar de LLM via de standaardintegratie AI Task. De LLM retourneert een gestructureerd antwoord (covered/reason), en als het meubilair onbedekt is, wordt er een melding naar Telegram gestuurd met foto, radar en inline-knoppen 'Bedekt' en 'Uitstellen 3u'. De automatisering gebruikt alleen standaardmechanismen van HA: automatiseringen, helpers, AI Task en Telegram-bot, zonder eigen integraties. De voorwaarden omvatten een cooldown (controle niet vaker dan eens per 3 uur) en een snooze (uitstelknop). Bij een LLM-fout degradeert het systeem soepel door een melding te sturen voor handmatige controle. Het hele systeem draait op een Raspberry Pi 3 met beperkte resources, wat optimalisatie van modeloproepen vereist.
Bron: Habr — хаб ИИ —
origineel