LLM nhìn khu vườn của tôi: cách AI thị giác quyết định có gọi tôi che đồ đạc trước mưa hay không

Tác giả đã triển khai tính năng tự động hóa trong ngôi nhà thông minh dựa trên Home Assistant (HA), sử dụng mô hình ngôn ngữ lớn đa phương thức (multimodal LLM) để kiểm tra xem đồ nội thất sân vườn đã được che phủ hay chưa trước khi trời mưa. Hệ thống theo dõi dự báo và dự báo tức thời (nowcast) lượng mưa, khi trời sắp mưa sẽ bật đèn chiếu sáng camera, chụp ảnh và gửi ảnh đến LLM thông qua tích hợp AI Task tiêu chuẩn. LLM trả về phản hồi có cấu trúc (covered/reason), và nếu đồ nội thất không được che, một thông báo sẽ được gửi đến Telegram kèm ảnh, bản đồ radar và các nút inline “Đã che” và “Hoãn 3 giờ”. Tính năng tự động hóa chỉ sử dụng các cơ chế tiêu chuẩn của HA: tự động hóa, trình trợ giúp (helpers), AI Task và bot Telegram, không cần tích hợp tùy chỉnh nào. Các điều kiện bao gồm thời gian chờ (cooldown) (kiểm tra không quá một lần mỗi 3 giờ) và chức năng tạm hoãn (snooze) (nút hoãn). Khi LLM gặp lỗi, hệ thống sẽ giảm cấp một cách linh hoạt, gửi thông báo yêu cầu kiểm tra thủ công. Toàn bộ hệ thống chạy trên Raspberry Pi 3 với tài nguyên hạn chế, đòi hỏi tối ưu hóa các lệnh gọi mô hình.