Amazon Bedrock ra mắt Advanced Prompt Optimization để tối ưu hóa prompt và di chuyển mô hình

Amazon Bedrock giới thiệu Advanced Prompt Optimization, một công cụ mới được thiết kế để tự động hóa việc di chuyển và tối ưu hóa prompt trên nhiều mô hình. Vấn đề được giải quyết là nỗ lực thủ công cần thiết để điều chỉnh lại prompt khi chuyển sang mô hình mới hơn, nhanh hơn hoặc rẻ hơn—một quá trình có thể mất nhiều ngày hoặc nhiều tuần. Công cụ này sử dụng vòng lặp phản hồi theo kiểu học tăng cường: nó đánh giá phản hồi dựa trên một số liệu do người dùng xác định, viết lại prompt và lặp lại cho đến khi tối ưu. Nó hoạt động với tối đa năm mô hình trong một lần chạy và hỗ trợ đầu vào đa phương thức (hình ảnh, tệp PDF). Ba chế độ đánh giá có sẵn: một hàm AWS Lambda tùy chỉnh cho các số liệu cụ thể, LLM làm giám khảo (LLM-as-a-Judge) cho các tác vụ mở với tiêu chí chấm điểm, và các tiêu chí định hướng cho giọng điệu thương hiệu hoặc các ràng buộc an toàn. Người dùng có thể di chuyển từ một mô hình cơ sở sang tối đa bốn mô hình ứng viên, hoặc cải thiện prompt trên cùng một mô hình. Đầu ra bao gồm các prompt đã được tối ưu hóa, điểm đánh giá, thời gian đến token đầu tiên (TTFT) và ước tính chi phí. Công cụ này có thể truy cập qua bảng điều khiển AWS, API hoặc SDK (boto3). Giới hạn mỗi lần chạy: 10 mẫu prompt, 100 mẫu đánh giá trên mỗi mẫu, 5 mô hình, 20 biến văn bản trên mỗi mẫu, 100 tệp đa phương thức trên mỗi mẫu và 5 tiêu chí định hướng trên mỗi mẫu. Các mô hình giám khảo có sẵn bao gồm Claude Opus 4, Claude Sonnet 4.5 và Claude Sonnet 4.6.