Mode rapide avec les modèles Anthropic Claude

Le mode rapide accélère la génération de jetons de sortie pour les modèles Anthropic Claude compatibles sur Gemini Enterprise Agent Platform. Il utilise une configuration de diffusion à grande vitesse qui préserve les capacités d'intelligence et de sécurité du modèle de base. Vous pouvez activer le mode rapide sur les requêtes de prédiction en ligne en définissant "speed": "fast" dans le corps de la requête.

Utilisez le mode rapide pour les charges de travail interactives sensibles à la latence, où l'attente de la génération de jetons interrompt le flux du développeur ou de l'utilisateur :

• Codage agentique interactif : effectuez des itérations sur des tâches de codage, de refactorisation et de débogage en plusieurs étapes avec des agents human-in-the-loop, sans changement de contexte.
• Planification en direct : rassemblez le contexte du dépôt ou le contexte opérationnel, et générez des plans d'exécution de manière interactive.
• Réponse aux incidents : triez les alertes de production et synthétisez les étapes de correction lorsque le délai d'inférence est critique.

Modèles compatibles et règles de cycle de vie

Le mode rapide est proposé sur la dernière version d'une famille de modèles Claude compatible et pendant une période de transition de 30 jours sur la version en cours d'abandon. Agent Platform est compatible avec le mode rapide pour les modèles suivants :

• Claude Fable 5.2 d'Anthropic sur Google Cloud (claude-fable-5-2)

Lorsqu'une nouvelle version d'une famille de modèles compatibles est lancée, le mode rapide de la version précédente de cette famille est retiré 30 jours après le lancement de la nouvelle version. Une fois la période de retrait de 30 jours écoulée, les requêtes envoyées à la version précédente du modèle qui incluent "speed": "fast" renvoient une erreur HTTP 400 (INVALID_ARGUMENT). Les requêtes à vitesse standard envoyées à cette version du modèle continuent de fonctionner normalement. Pour continuer à utiliser le mode rapide, mettez à jour vos requêtes pour cibler la dernière version du modèle ou supprimez "speed": "fast" du corps de la requête.

Pays acceptés

Le mode rapide est disponible aux ID de zone géographique d'API suivants pour les modèles compatibles :

• Global (Claude Fable 5.2 d'Anthropic sur Google Cloud) : global
• Multirégion États-Unis (Claude Fable 5.2 d'Anthropic sur Google Cloud) : us
• Multirégion Europe (Claude Fable 5.2 d'Anthropic sur Google Cloud) : eu

Les points de terminaison régionaux directs ne sont pas publiquement compatibles avec le mode rapide. L'envoi d'une requête avec "speed": "fast" vers un emplacement où le mode rapide n'est pas disponible renvoie une erreur HTTP 400 (FAILED_PRECONDITION).

Avant de commencer

Avant d'envoyer des requêtes en mode rapide, procédez comme suit. Le mode rapide utilise la même configuration de projet et la même activation de Model Garden que les requêtes Claude standards. Pour en savoir plus sur la configuration des modèles partenaires, consultez Avant de commencer.

Connectez-vous à votre compte Google Cloud . Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits sans frais pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

1. Accédez à l'une des fiches de modèle Model Garden suivantes, cliquez sur Activer, puis remplissez les conditions spécifiques au modèle ou les exigences de partage de données :
   • Accéder à Claude Fable 5.2 d'Anthropic sur Google Cloud

Rôles requis

Pour obtenir les autorisations nécessaires pour envoyer des requêtes de prédiction en mode rapide aux modèles Claude, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet Google Cloud  :

• Envoyer des requêtes de prédiction aux modèles partenaires : Utilisateur Agent Platform (roles/aiplatform.user)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Envoyer une requête en mode rapide

Pour utiliser le mode rapide, envoyez une requête au point de terminaison du modèle de publication standard (par exemple, claude-fable-5-2) et définissez "speed": "fast" dans le corps de la requête de premier niveau. Aucun en-tête anthropic-beta n'est requis, et il n'existe pas de fiche de modèle distincte à activer dans Model Garden.

REST

L'exemple suivant envoie une requête de prédiction à claude-fable-5-2 sur le point de terminaison global avec "speed": "fast" activé.

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

• PROJECT_ID : ID de votre projet Google Cloud (par exemple, my-agent-project).
• MODEL : modèle Claude compatible avec le mode rapide, tel que claude-fable-5-2 (par défaut : claude-fable-5-2). Spécifiez toujours l'ID du modèle de base dans l'URL du point de terminaison.

Cet exemple utilise le point de terminaison global. Pour utiliser un point de terminaison multirégional compatible, consultez Spécifier le point de terminaison multirégional.

Méthode HTTP et URL :

POST https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict

Corps JSON de la requête :

{
  "anthropic_version": "vertex-2023-10-16",
  "speed": "fast",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "user",
      "content": "Analyze the root cause of an HTTP 502 spike on an upstream GKE ingress controller and list three immediate mitigation steps."
    }
  ]
}

Pour envoyer votre requête, choisissez l'une des options suivantes :

curl

Remarque : Pour la commande suivante, nous partons du principe que vous vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login, ou en utilisant Cloud Shell, qui vous connecte automatiquement à la CLI gcloud. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict"

PowerShell

Remarque : Pour la commande suivante, nous partons du principe que vous vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict" | Select-Object -Expand Content

La réponse est un objet JSON semblable à celui-ci. Lorsque la requête est diffusée en mode rapide, l'objet usage inclut "speed": "fast".

Réponse

{
  "id": "msg_vrtx_01FastModeExample89ABcdEF",
  "type": "message",
  "role": "assistant",
  "model": "claude-fable-5-2",
  "content": [
    {
      "type": "text",
      "text": "Here are the most common root causes for an HTTP 502 spike on a GKE Ingress controller and three immediate mitigation steps..."
    }
  ],
  "stop_reason": "end_turn",
  "stop_sequence": null,
  "usage": {
    "input_tokens": 34,
    "output_tokens": 218,
    "speed": "fast"
  }
}

Python

À l'aide du SDK Vertex d'Anthropic (anthropic[vertex]), transmettez extra_body={"speed": "fast"} lors de l'appel de client.messages.create() :

from anthropic import AnthropicVertex
from anthropic.types import Message


def generate_with_fast_mode(
    project_id: str = "PROJECT_ID",
) -> Message:
    client = AnthropicVertex(
        project_id=project_id,
        region="global",
    )

    message = client.messages.create(
        model="claude-fable-5-2",
        max_tokens=1024,
        extra_body={"speed": "fast"},
        messages=[
            {
                "role": "user",
                "content": (
                    "Analyze the root cause of an HTTP 502 spike on an upstream "
                    "GKE ingress controller and list three immediate mitigation "
                    "steps."
                ),
            }
        ],
    )
    print(message.model_dump_json(indent=2))
    return message

Vérifier la vitesse utilisée

Vous pouvez vérifier qu'une requête a été diffusée en mode rapide en inspectant le champ usage.speed de la réponse :

• Mode rapide : usage.speed est présent et défini sur "fast" (dans les réponses unaires, ou dans les événements message_start ou message_delta pour les réponses en streaming).
• Vitesse standard : lorsque vous envoyez une requête standard ("speed": "standard" ou speed omis), usage.speed est défini sur "standard" ou omis.

Quotas, surveillance et contrôle des accès

Le mode rapide utilise une capacité et des limites de débit dédiées, isolées du trafic à vitesse standard, tout en héritant de la configuration d'accès de votre projet pour le modèle de base.

Quotas

Sur les points de terminaison globaux et multirégionaux, les requêtes en mode rapide consomment un bucket de quota de traçabilité partagé dédié, distinct du quota de modèle à vitesse standard. Le trafic en mode rapide n'est pas déduit de votre quota anthropic-claude-fable standard, et le trafic à vitesse standard n'est pas déduit de votre quota en mode rapide.

Pour afficher ou demander une augmentation du quota du mode rapide sur la page Quotas et limites du système de la consoleGoogle Cloud , filtrez par base_model :

• anthropic-claude-fable-fast (s'applique aux points de terminaison mondiaux et multirégionaux)

Options de consommation et débit provisionné

Le mode rapide n'est pas compatible avec le débit provisionné :

• Paiement à l'usage uniquement : les requêtes en mode rapide utilisent toujours le pay-as-you-go, même si votre projet dispose d'une commande de débit provisionné active pour le modèle de base. Le trafic en mode rapide ne consomme jamais de débit provisionné et ne déborde jamais sur une commande de débit provisionné.
• Les en-têtes de requête dedicated sont limités : n'incluez pas l'en-tête HTTP X-Vertex-AI-LLM-Request-Type: dedicated (ou les métadonnées gRPC) dans les requêtes en mode rapide. Le mode rapide ne dispose pas de quota de débit provisionné, et les requêtes dedicated ne peuvent pas basculer vers le paiement à l'usage. Par conséquent, les requêtes en mode rapide avec X-Vertex-AI-LLM-Request-Type: dedicated renvoient une erreur HTTP 429 (RESOURCE_EXHAUSTED). Omettez l'en-tête ou définissez plutôt X-Vertex-AI-LLM-Request-Type: shared.

Surveiller les métriques du mode rapide

Dans Cloud Monitoring, le trafic en mode rapide indique model_user_id="claude-fable-5-2-fast" plutôt que l'ID du modèle de base (claude-fable-5-2). Filtrez par model_user_id="claude-fable-5-2-fast" dans l'explorateur de métriques pour surveiller le nombre de requêtes, l'utilisation des jetons et la latence du mode rapide séparément du trafic à vitesse standard.

Attention : claude-fable-5-2-fast est une étiquette de métrique de surveillance uniquement, et non un ID de modèle appelable. Envoyez toujours les requêtes API à l'ID du modèle de base (par exemple, claude-fable-5-2) avec "speed": "fast" dans le corps de la requête. L'appel de claude-fable-5-2-fast dans l'URL du point de terminaison renvoie une erreur HTTP 404 (NOT_FOUND).

Contrôle des accès et règle d'administration

Le mode rapide utilise les mêmes rôles requis et le même état d'activation de Model Garden que le modèle de base. Si une requête renvoie 403 PERMISSION_DENIED, vérifiez que votre compte principal dispose du rôle "Utilisateur Agent Platform" (roles/aiplatform.user) et que le modèle de base est activé dans Model Garden.

Si votre organisation applique la contrainte de règle d'administration constraints/vertexai.allowedModels, le mode rapide est régi par la valeur :predict du modèle de base (par exemple, publishers/anthropic/models/claude-fable-5-2:predict) :

• L'autorisation de publishers/anthropic/models/claude-fable-5-2:predict permet d'envoyer des requêtes à vitesse standard et en mode rapide à claude-fable-5-2.
• Le refus de publishers/anthropic/models/claude-fable-5-2:predict bloque les requêtes en mode standard et en mode rapide.

Pour en savoir plus sur les règles d'administration, consultez Contrôler l'accès aux modèles Model Garden.

Tarifs

Le mode rapide utilise toujours la facturation par pay-as-you-go et propose des tarifs distincts de ceux des requêtes à vitesse standard :

• Jetons : facturés au double des tarifs des jetons à vitesse standard pour tous les types de jetons (jetons d'entrée, de sortie, d'écriture dans le cache de 5 minutes et d'une heure, et de succès de cache (hit)).
• Recherche sur le Web : les appels d'outil de recherche sur le Web sont facturés au tarif standard (1x).

L'utilisation est facturée sous le code SKU Google Cloud du modèle de base avec une étiquette de mode rapide. Pour connaître les tarifs des jetons régionaux et globaux, consultez la page des tarifs d'Agent Platform.

Limites et gestion des exceptions

Tenez compte des limites suivantes lorsque vous utilisez le mode rapide :

• Pas de débit provisionné : le mode rapide n'est pas compatible avec le débit provisionné et utilise toujours le paiement à l'usage. L'envoi d'une requête en mode rapide avec l'en-tête X-Vertex-AI-LLM-Request-Type: dedicated renvoie une erreur HTTP 429 (RESOURCE_EXHAUSTED).
• Pas de prédictions par lot : le mode rapide est conçu pour l'inférence interactive en temps réel et n'est pas compatible avec les prédictions par lot.
• Isolation du cache de requêtes : les caches de requêtes ne sont pas partagés entre les requêtes à vitesse standard et celles en mode rapide. Une entrée de cache écrite à une vitesse standard ne produira pas de succès de cache (hit) en mode rapide. De même, une entrée de cache en mode rapide ne produira pas de succès de cache (hit) à vitesse standard.
• Pas de rétrogradation silencieuse : si une requête avec "speed": "fast" ne peut pas être traitée en mode rapide, Agent Platform renvoie une erreur au lieu de revenir à la vitesse standard.

Le tableau suivant récapitule les erreurs renvoyées pour les requêtes en mode rapide non valides ou non compatibles :

État et code HTTP	Message d'erreur	Cause et correction
400 INVALID_ARGUMENT	Fast mode (speed: fast) is not supported for this model.	Le modèle cible ne propose pas de mode rapide, ou son mode rapide a été retiré 30 jours après le lancement d'une nouvelle version du modèle. Ciblez un modèle compatible ou supprimez "speed": "fast".
400 INVALID_ARGUMENT	Invalid value for speed; expected "standard" or "fast".	Le champ speed contient une valeur non compatible ou n'est pas une chaîne. Spécifiez "fast" ou "standard".
400 INVALID_ARGUMENT	Invalid request body: duplicate keys or malformed JSON.	Le corps de la requête JSON contient des clés en double (par exemple, des clés "speed" en double) ou une syntaxe JSON incorrecte. Envoyez un fichier JSON valide avec une seule clé "speed".
400 INVALID_ARGUMENT	Fast mode is not supported for batch prediction.	La requête a été envoyée à un job de prédiction par lot avec "speed": "fast". Supprimez "speed": "fast" pour les charges de travail par lot.
400 FAILED_PRECONDITION	Fast mode is not available in this location.	Le mode rapide n'est pas déployé dans la région demandée. Acheminez la requête vers l'un des emplacements compatibles.
404 NOT_FOUND	Publisher Model ... was not found	L'URL de la requête ciblait l'étiquette de la métrique de surveillance (claude-fable-5-2-fast) au lieu d'un ID de modèle appelable. Ciblez l'ID du modèle de base (claude-fable-5-2) et transmettez "speed": "fast" dans le corps de la requête.
429 RESOURCE_EXHAUSTED	Too many requests. Exceeded the provisioned throughput	La requête incluait à la fois "speed": "fast" et l'en-tête X-Vertex-AI-LLM-Request-Type: dedicated. Le mode rapide n'est pas compatible avec le débit provisionné et utilise toujours le paiement à l'usage. Supprimez X-Vertex-AI-LLM-Request-Type: dedicated (ou définissez-le sur shared).
429 RESOURCE_EXHAUSTED	Quota dépassé pour anthropic-claude-fable-fast	Votre projet a dépassé son quota de requêtes par minute, de jetons d'entrée par minute ou de jetons de sortie par minute en mode rapide dans cet emplacement. Réessayez avec un intervalle exponentiel entre les tentatives ou demandez une augmentation de quota pour anthropic-claude-fable-fast.

Gérer les erreurs du mode rapide

Comme Agent Platform ne rétrograde pas silencieusement les requêtes en mode rapide, votre application décide de ce qui se passe lorsque le mode rapide n'est pas disponible. Par exemple, le mode rapide est supprimé 30 jours après le lancement de la version suivante, ou un emplacement peut ne pas proposer le mode rapide. Les exemples Python suivants correspondent aux messages d'erreur spécifiques du mode rapide, de sorte que les erreurs HTTP 400 non liées s'affichent toujours.

Revenir à la vitesse standard

Pour les charges de travail qui peuvent tolérer une latence plus élevée, interceptez les erreurs de disponibilité du mode rapide et relancez la requête à la vitesse standard :

import anthropic
from anthropic import AnthropicVertex
from anthropic.types import Message

# Errors that mean fast mode isn't available for this model or location.
_FAST_MODE_UNAVAILABLE = (
    "Fast mode (speed: fast) is not supported for this model.",
    "Fast mode is not available in this location.",
)


def generate_with_standard_fallback(
    project_id: str = "PROJECT_ID",
    region: str = "LOCATION",
    model: str = "claude-fable-5-2",
) -> Message:
    client = AnthropicVertex(project_id=project_id, region=region)
    messages = [{"role": "user", "content": "PROMPT"}]
    try:
        return client.messages.create(
            model=model,
            max_tokens=1024,
            messages=messages,
            extra_body={"speed": "fast"},
        )
    except anthropic.BadRequestError as e:
        if not any(msg in str(e) for msg in _FAST_MODE_UNAVAILABLE):
            raise
        # Fast mode isn't available: retry at standard speed.
        return client.messages.create(
            model=model,
            max_tokens=1024,
            messages=messages,
        )

Remplacez les éléments suivants :

• PROJECT_ID : ID de votre projet Google Cloud , par exemple my-agent-project.
• LOCATION : emplacement compatible, tel que global (par défaut : global).
• PROMPT : texte du prompt à envoyer au modèle.

Passer à la version de modèle suivante

Pour conserver le mode rapide après l'abandon de votre version de modèle, relancez la requête avec le mode rapide sur la version suivante :

import anthropic
from anthropic import AnthropicVertex
from anthropic.types import Message

_FAST_MODE_NOT_SUPPORTED = (
    "Fast mode (speed: fast) is not supported for this model."
)


def generate_with_next_version(
    project_id: str = "PROJECT_ID",
    region: str = "LOCATION",
    model: str = "CURRENT_MODEL",
    next_model: str = "NEXT_MODEL",
) -> Message:
    client = AnthropicVertex(project_id=project_id, region=region)
    messages = [{"role": "user", "content": "PROMPT"}]
    try:
        return client.messages.create(
            model=model,
            max_tokens=1024,
            messages=messages,
            extra_body={"speed": "fast"},
        )
    except anthropic.BadRequestError as e:
        if _FAST_MODE_NOT_SUPPORTED not in str(e):
            raise
        # Fast mode is retired on this version: use the next version.
        return client.messages.create(
            model=next_model,
            max_tokens=1024,
            messages=messages,
            extra_body={"speed": "fast"},
        )

Remplacez les éléments suivants :

• PROJECT_ID : ID de votre projet Google Cloud , par exemple my-agent-project.
• LOCATION : emplacement compatible, tel que global (par défaut : global).
• CURRENT_MODEL et NEXT_MODEL : la version du modèle que vous utilisez (par exemple, claude-fable-5-2) et la version suivante de la même famille de modèles.
• PROMPT : texte du prompt à envoyer au modèle.

Le modèle de version suivante ne gère que l'erreur de mise hors service du modèle. Si l'emplacement ne propose pas le mode rapide, la version suivante ne résoudra pas l'erreur. Acheminez plutôt la requête vers un emplacement compatible.

Étapes suivantes

• Demander des prédictions avec des modèles Claude
• Quotas pour les modèles Anthropic Claude
• Mise en cache des prompts
• Contrôler l'accès aux modèles Model Garden