Автоматизация Text-to-SQL в WMS: выбор локальной LLM без GPU

Разработчик логистической компании «Аэросиб-С» автоматизировал формирование SQL-запросов для выставления счетов с помощью LLM-моделей. Из-за требований безопасности использовались локальные модели, тестировавшиеся на Linux-сервере с 30 ГБ ОЗУ без GPU. Лучший результат показала gemma4:26b, хотя время ответа достигало десятков минут. Coder-модели уступили размышляющим. Планируется создание экспертной системы для классификации услуг.

DeepSeek Google/DeepMind Alibaba/Qwen

Лучшие практики применения Amazon Bedrock Guardrails для рабочих процессов генерации кода

В статье рассматриваются проблемы использования Amazon Bedrock Guardrails для рабочих процессов генерации кода, таких как высокая нагрузка на API из-за длинных выводов и множества одновременных сессий. Предлагаются архитектурные паттерны оптимизации: модель предкоммита (оценка на стратегических этапах, а не каждого токена) и увеличение интервала потоковой оценки до 1000 символов для снижения числа вызовов API в 20 раз.

Amazon Web Services Anthropic OpenAI