Amazon Bedrock giới thiệu bộ nhớ đệm lời nhắc rõ ràng cho các mô hình OpenAI GPT-5.6
OpenAI
Amazon Web Services
OpenAI GPT-5.6 Sol, Terra và Luna hiện đã có sẵn trên Amazon Bedrock, cung cấp ba cấp độ khả năng. Bản phát hành cũng giới thiệu bộ nhớ đệm lời nhắc rõ ràng, cho phép kiểm soát chính xác các phần lời nhắc được lưu trong bộ nhớ đệm với mức giảm giá 90% cho đầu vào đã lưu trong bộ nhớ đệm.
Amazon Bedrock đã công bố phiên bản phổ biến (general availability - GA) của các mô hình OpenAI GPT-5.6, bao gồm Sol, Terra và Luna. Các mô hình này có thể truy cập thông qua API Responses tương thích với OpenAI trên endpoint bedrock-mantle. Một tính năng mới quan trọng là bộ nhớ đệm rõ ràng (explicit prompt caching), cho phép người dùng đánh dấu ranh giới bộ nhớ đệm, với đầu vào được lưu trong bộ nhớ đệm được tính phí với mức giảm 90% và có sẵn trong 30 phút. Bộ nhớ đệm ngầm (implicit caching) được bật theo mặc định. GPT-5.6 hỗ trợ các mức độ lý luận từ "none" đến "xhigh", gọi hàm và đầu ra JSON có cấu trúc. Các mô hình có giá thanh toán theo token với bảo mật và quản trị của AWS. GPT-5.6 Sol được thiết kế cho lý luận phức tạp, Terra cho khối lượng công việc cân bằng và Luna cho các tác vụ khối lượng lớn. Tính năng bộ nhớ đệm rõ ràng đặc biệt hữu ích cho các quy trình tác tử (agentic workflows) với các hướng dẫn hệ thống và định nghĩa công cụ lặp đi lặp lại.
Nguồn: AWS ML blog —
bản gốc
