LLM смотрит на мой сад: как ИИ-зрение решает, звать ли меня накрыть мебель перед дождём
Moonshot AI
Автор собрал автоматизацию в умном доме на Home Assistant, которая использует мультимодальную LLM для анализа кадра с уличной камеры перед дождём. Если мебель не накрыта, приходит уведомление в Telegram с фото и кнопками для подтверждения. Система экономит вызовы LLM, проверяя только при реальной угрозе осадков.
Автор реализовал автоматизацию в умном доме на базе Home Assistant (HA), которая использует мультимодальную LLM для проверки, накрыта ли садовая мебель перед дождём. Система следит за прогнозом и nowcast осадков, при приближении дождя включает подсветку камеры, делает снимок и отправляет его в LLM через штатную интеграцию AI Task. LLM возвращает структурированный ответ (covered/reason), и если мебель открыта, в Telegram приходит уведомление с фото, радаром и inline-кнопками «Накрыл» и «Отложить 3ч». Автоматизация использует только штатные механизмы HA: автоматизации, хелперы, AI Task и Telegram-бота, без собственных интеграций. Условия включают cooldown (проверка не чаще раза в 3 часа) и snooze (кнопка отложить). При ошибке LLM система мягко деградирует, отправляя уведомление о ручной проверке. Вся система работает на Raspberry Pi 3 с ограниченными ресурсами, что требует оптимизации вызовов модели.
- Сокращения
- HA = Home Assistant — Home Assistant
- LLM = Large Language Model — большая языковая модель
- REST = Representational State Transfer — архитектурный стиль взаимодействия компонентов
- API = Application Programming Interface — интерфейс программирования приложений
- SSH = Secure Shell — безопасная оболочка
- RAM = Random Access Memory — оперативная память
- IP = Internet Protocol — интернет-протокол
- ARM = Advanced RISC Machine — архитектура процессора
- IR = Infrared — инфракрасный
Source: Habr — хаб ИИ —
original
