LLM katsoo puutarhaani: miten tekoälynäkö päättää, kutsutaanko minut peittämään huonekalut ennen sadetta

Kirjoittaja toteutti älykodin automaation Home Assistant (HA) -pohjassa, joka käyttää multimodaalista LLM:ää tarkistaakseen, onko puutarhakalusteet peitetty ennen sadetta. Järjestelmä seuraa sade-ennustetta ja nowcastia, ja sateen lähestyessä se sytyttää kameran valaistuksen, ottaa kuvan ja lähettää sen LLM:lle HA:n vakiointegraation AI Task kautta. LLM palauttaa jäsennellyn vastauksen (covered/reason), ja jos kalusteet ovat peittämättä, Telegramiin tulee ilmoitus kuvan, tutkan ja inline-painikkeiden ”Peitetty” ja ”Lykätä 3 h” kanssa. Automaatio käyttää vain HA:n vakiotoimintoja: automaatioita, helpereitä, AI Taskia ja Telegram-bottia, ilman omia integraatioita. Ehdot sisältävät cooldownin (tarkistus enintään kerran 3 tunnissa) ja snoozin (lykkäyspainike). LLM-virheen sattuessa järjestelmä toimii pehmeästi alaspäin ja lähettää ilmoituksen manuaalisesta tarkistuksesta. Koko järjestelmä toimii Raspberry Pi 3:lla, jolla on rajalliset resurssit, mikä vaatii mallikutsujen optimointia.