La LLM observa mi jardín: cómo la visión de la IA decide si me avisa para cubrir los muebles antes de la lluvia

El autor implementó una automatización en el hogar inteligente basado en Home Assistant (HA), que utiliza una LLM multimodal para comprobar si el mobiliario de jardín está cubierto antes de la lluvia. El sistema monitorea el pronóstico y el nowcast de precipitaciones, y cuando se acerca la lluvia, enciende la iluminación de la cámara, toma una foto y la envía a la LLM a través de la integración estándar AI Task. La LLM devuelve una respuesta estructurada (covered/reason), y si el mobiliario está descubierto, se envía una notificación a Telegram con la foto, el radar y botones inline «Cubierto» y «Posponer 3h». La automatización utiliza solo los mecanismos estándar de HA: automatizaciones, helpers, AI Task y el bot de Telegram, sin integraciones propias. Las condiciones incluyen un cooldown (la comprobación no se realiza más de una vez cada 3 horas) y un snooze (botón de posponer). En caso de error de la LLM, el sistema se degrada suavemente, enviando una notificación para verificación manual. Todo el sistema funciona en una Raspberry Pi 3 con recursos limitados, lo que requiere optimización de las llamadas al modelo.