LLM审视我的花园:AI视觉如何决定是否在雨前提醒我遮盖家具
Moonshot AI
作者在Home Assistant上构建了一套智能家居自动化,利用多模态LLM在降雨前分析室外摄像头画面。如果家具未被遮盖,系统会通过Telegram发送带照片和确认按钮的通知。该系统仅在确有降水威胁时才进行检查,从而节省LLM调用次数。
作者在基于 Home Assistant (HA) 的智能家居中实现了一项自动化,使用多模态大语言模型(LLM)来检查花园家具在雨前是否已遮盖。该系统监测降水预报和临近预报,当雨临近时,会打开摄像头补光灯,拍摄照片,并通过标准的 AI Task 集成将其发送给大语言模型。大语言模型返回结构化响应(covered/reason),如果家具未遮盖,Telegram 会收到一条通知,包含照片、雷达图以及内联按钮“已遮盖”和“推迟3小时”。该自动化仅使用 HA 的标准机制:自动化、辅助元素、AI Task 和 Telegram 机器人,没有使用自定义集成。条件包括冷却时间(检查频率不超过每3小时一次)和暂停(推迟按钮)。当大语言模型出错时,系统会温和降级,发送一条通知提示手动检查。整个系统运行在资源有限的 Raspberry Pi 3 上,这要求对模型调用进行优化。
来源: Habr — хаб ИИ —
原文
