Le LLM observe mon jardin : comment la vision par IA décide de me prévenir de couvrir le mobilier avant la pluie

L'auteur a mis en place une automatisation dans une maison intelligente basée sur Home Assistant (HA), qui utilise un modèle de langage multimodal (LLM) pour vérifier si le mobilier de jardin est couvert avant la pluie. Le système surveille les prévisions et les prévisions immédiates (nowcast) des précipitations. Lorsque la pluie approche, il allume l'éclairage de la caméra, prend une photo et l'envoie au LLM via l'intégration standard AI Task. Le LLM renvoie une réponse structurée (couvert/raison), et si le mobilier est découvert, une notification est envoyée sur Telegram avec la photo, le radar et des boutons en ligne « Couvert » et « Reporter de 3 h ». L'automatisation utilise uniquement les mécanismes standard de HA : automatisations, helpers, AI Task et le bot Telegram, sans intégrations personnalisées. Les conditions incluent un délai de refroidissement (vérification au maximum toutes les 3 heures) et une fonction de répétition (bouton reporter). En cas d'erreur du LLM, le système se dégrade progressivement en envoyant une notification pour une vérification manuelle. L'ensemble du système fonctionne sur un Raspberry Pi 3 avec des ressources limitées, ce qui nécessite une optimisation des appels au modèle.