Amazon Bedrock introduit la mise en cache explicite des invites pour les modèles OpenAI GPT-5.6
OpenAI
Amazon Web Services
OpenAI GPT-5.6 Sol, Terra et Luna sont désormais généralement disponibles sur Amazon Bedrock, offrant trois niveaux de capacités. La version introduit également la mise en cache explicite des invites, permettant un contrôle précis des portions d'invite mises en cache avec une réduction de 90 % pour les entrées mises en cache.
Amazon Bedrock a annoncé la disponibilité générale des modèles GPT-5.6 d'OpenAI, notamment Sol, Terra et Luna. Les modèles sont accessibles via l'API compatible OpenAI sur le point de terminaison bedrock-mantle. Une nouvelle fonctionnalité clé est la mise en cache explicite des requêtes, où les utilisateurs peuvent marquer les limites de cache, les entrées mises en cache étant facturées avec une réduction de 90 % et disponibles pendant 30 minutes. La mise en cache implicite est activée par défaut. GPT-5.6 prend en charge les niveaux d'effort de raisonnement, de 'none' à 'xhigh', l'appel de fonctions et la sortie JSON structurée. Les modèles offrent une tarification à la carte par jeton, avec la sécurité et la gouvernance d'AWS. GPT-5.6 Sol est conçu pour le raisonnement complexe, Terra pour les charges de travail équilibrées et Luna pour les tâches à volume élevé. La fonctionnalité de mise en cache explicite est particulièrement bénéfique pour les workflows agentiques avec des instructions système et des définitions d'outils répétées.
Source: AWS ML blog —
original
