LLM melihat kebun saya: bagaimana AI-vision memutuskan untuk memanggil saya menutupi furnitur sebelum hujan
Moonshot AI
Penulis membangun otomatisasi rumah pintar di Home Assistant yang menggunakan LLM multimodal untuk menganalisis frame dari kamera luar ruangan sebelum hujan. Jika furnitur tidak tertutup, notifikasi dikirim ke Telegram dengan foto dan tombol konfirmasi. Sistem ini menghemat panggilan LLM dengan hanya memeriksa saat ada ancaman nyata hujan.
Penulis menerapkan otomatisasi di rumah pintar berbasis Home Assistant (HA) yang menggunakan LLM multimodal untuk memeriksa apakah furnitur taman sudah ditutup sebelum hujan. Sistem memantau prakiraan dan perkiraan langsung (nowcast) hujan. Saat hujan mendekat, lampu kamera dinyalakan, foto diambil, dan dikirim ke LLM melalui integrasi standar AI Task. LLM mengembalikan respons terstruktur (tertutup/alasan), dan jika furnitur terbuka, notifikasi dikirim ke Telegram dengan foto, radar, dan tombol inline "Sudah Kututup" dan "Tunda 3 Jam". Otomatisasi ini hanya menggunakan mekanisme standar HA: otomatisasi, helper, AI Task, dan bot Telegram, tanpa integrasi khusus. Kondisinya mencakup cooldown (pemeriksaan maksimal sekali setiap 3 jam) dan tunda (tombol untuk menunda). Saat terjadi kesalahan LLM, sistem menurun secara halus dengan mengirim notifikasi untuk pemeriksaan manual. Seluruh sistem berjalan di Raspberry Pi 3 dengan sumber daya terbatas, yang mengharuskan optimasi panggilan model.
Sumber: Habr — хаб ИИ —
asli