Schneller Modus mit Anthropic Claude-Modellen

Der schnelle Modus beschleunigt die Generierung von Ausgabe-Tokens für unterstützte Anthropic Claude-Modelle auf der Gemini Enterprise Agent Platform. Es verwendet eine Hochgeschwindigkeits-Bereitstellungskonfiguration, die die Intelligenz- und Sicherheitsfunktionen des Basismodells beibehält. Sie aktivieren den schnellen Modus für Onlinevorhersageanfragen, indem Sie "speed": "fast" im Anfragetext festlegen.

Verwenden Sie den schnellen Modus für latenzempfindliche, interaktive Arbeitslasten, bei denen das Warten auf die Tokengenerierung den Entwickler- oder Nutzerfluss unterbricht:

  • Interaktives agentisches Programmieren: Sie können mehrstufige Programmier-, Refaktorierungs- und Debugging-Aufgaben mit Human-in-the-Loop-Agents ohne Kontextwechsel iterieren.
  • Live-Planung: Repository- oder Betriebskontext erfassen und Ausführungspläne interaktiv generieren.
  • Incident Response: Produktionswarnungen priorisieren und Abhilfemaßnahmen zusammenfassen, wenn die Bearbeitungszeit für die Inferenz kritisch ist.

Unterstützte Modelle und Lebenszyklusrichtlinie

Der schnelle Modus wird für die aktuelle Version einer unterstützten Claude-Modellfamilie und während eines 30-tägigen Übergangszeitraums für die auslaufende Version angeboten. Die Agent Platform unterstützt den schnellen Modus für die folgenden Modelle:

Wenn eine neue Version einer unterstützten Modellfamilie veröffentlicht wird, wird der schnelle Modus für die vorherige Version dieser Familie 30 Tage nach der Veröffentlichung der neuen Version eingestellt. Nach Ablauf der 30-tägigen Frist geben Anfragen an die vorherige Modellversion, die "speed": "fast" enthalten, den Fehler HTTP 400 (INVALID_ARGUMENT) zurück. Anfragen mit Standardgeschwindigkeit an diese Modellversion funktionieren weiterhin normal. Wenn Sie den schnellen Modus weiterhin verwenden möchten, aktualisieren Sie Ihre Anfragen, um die neueste Modellversion anzusprechen, oder entfernen Sie "speed": "fast" aus dem Anfragetext.

Unterstützte Standorte

Der schnelle Modus ist für unterstützte Modelle an den folgenden API-Zielgebiets-IDs verfügbar:

  • Global (Anthropic's Claude Fable 5.2 on Google Cloud): global
  • Multiregion USA (Anthropic Claude Fable 5.2 in Google Cloud): us
  • Multiregion Europa (Anthropic Claude Fable 5.2 in Google Cloud): eu

Direkte regionale Endpunkte werden für den schnellen Modus nicht öffentlich unterstützt. Wenn Sie eine Anfrage mit "speed": "fast" an einen Standort senden, an dem der schnelle Modus nicht verfügbar ist, wird der Fehler HTTP 400 (FAILED_PRECONDITION) zurückgegeben.

Hinweis

Führen Sie die folgenden Einrichtungsschritte aus, bevor Sie Anfragen im Schnellmodus senden. Der schnelle Modus verwendet dieselbe Projekteinrichtung und Model Garden-Aktivierung wie Standard-Claude-Anfragen. Weitere Informationen zur Einrichtung von Partnermodellen finden Sie unter Vorbereitung.

  1. Melden Sie sich in Ihrem Google Cloud Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  7. If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

  8. Verify that billing is enabled for your Google Cloud project.

  9. Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

    10.
  10. Rufen Sie eine der folgenden Model Garden-Modellkarten auf, klicken Sie auf Aktivieren und stimmen Sie den modellspezifischen Nutzungsbedingungen oder Anforderungen an die Datenweitergabe zu:

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für Ihr Google Cloud -Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Senden von Vorhersageanfragen im Schnellmodus an Claude-Modelle benötigen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Anfrage im Schnellmodus senden

Wenn Sie den schnellen Modus verwenden möchten, senden Sie eine Anfrage an den Standard-Publisher-Modellendpunkt (z. B. claude-fable-5-2) und legen Sie "speed": "fast" im Anfragetext auf oberster Ebene fest. Es ist kein anthropic-beta-Header erforderlich und es gibt keine separate Modellkarte, die in Model Garden aktiviert werden muss.

REST

Im folgenden Beispiel wird eine Vorhersageanfrage an claude-fable-5-2 auf dem Endpunkt global mit aktiviertem "speed": "fast" gesendet.

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

In diesem Beispiel wird der Endpunkt global verwendet. Wenn Sie stattdessen einen unterstützten multiregionalen Endpunkt verwenden möchten, lesen Sie den Abschnitt Multiregionalen Endpunkt angeben.

HTTP-Methode und URL: 

POST https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict

JSON-Text der Anfrage:

{
  "anthropic_version": "vertex-2023-10-16",
  "speed": "fast",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "user",
      "content": "Analyze the root cause of an HTTP 502 spike on an upstream GKE ingress controller and list three immediate mitigation steps."
    }
  ]
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict" | Select-Object -Expand Content

Die Antwort ist ein JSON-Objekt, das in etwa so aussieht: Wenn die Anfrage im schnellen Modus verarbeitet wird, enthält das usage-Objekt "speed": "fast".

Python

Übergeben Sie mit dem Anthropic Vertex SDK (anthropic[vertex]) beim Aufrufen von client.messages.create() den Wert extra_body={"speed": "fast"}:

from anthropic import AnthropicVertex
from anthropic.types import Message


def generate_with_fast_mode(
    project_id: str = "PROJECT_ID",
) -> Message:
    client = AnthropicVertex(
        project_id=project_id,
        region="global",
    )

    message = client.messages.create(
        model="claude-fable-5-2",
        max_tokens=1024,
        extra_body={"speed": "fast"},
        messages=[
            {
                "role": "user",
                "content": (
                    "Analyze the root cause of an HTTP 502 spike on an upstream "
                    "GKE ingress controller and list three immediate mitigation "
                    "steps."
                ),
            }
        ],
    )
    print(message.model_dump_json(indent=2))
    return message

Prüfen, welche Geschwindigkeit verwendet wurde

Sie können prüfen, ob eine Anfrage im schnellen Modus verarbeitet wurde, indem Sie das Feld usage.speed in der Antwort prüfen:

  • Schneller Modus: usage.speed ist vorhanden und auf "fast" festgelegt (in unären Antworten oder in den Ereignissen message_start oder message_delta für Streamingantworten).
  • Standardgeschwindigkeit: Wenn Sie eine Standardanfrage senden ("speed": "standard" oder speed weggelassen), ist usage.speed entweder "standard" oder weggelassen.

Kontingente, Monitoring und Zugriffssteuerung

Der schnelle Modus verwendet dedizierte Kapazitäts- und Ratenlimits, die vom Traffic mit Standardgeschwindigkeit isoliert sind, und übernimmt die Zugriffskonfiguration Ihres Projekts für das Basismodell.

Kontingente

Bei globalen und multiregionalen Endpunkten verbrauchen Anfragen im schnellen Modus ein dediziertes Kontingent-Bucket für die gemeinsame Herkunft, das vom Kontingent für Modelle mit Standardgeschwindigkeit getrennt ist. Der Traffic im schnellen Modus wird nicht von Ihrem Standardkontingent von anthropic-claude-fable abgezogen und der Traffic im Standardmodus wird nicht von Ihrem Kontingent für den schnellen Modus abgezogen.

Wenn Sie eine Erhöhung des Kontingents für den schnellen Modus auf der Seite Kontingente und Systemlimits in derGoogle Cloud Console aufrufen oder anfordern möchten, filtern Sie nach base_model:

  • anthropic-claude-fable-fast (gilt für globale und multiregionale Endpunkte)

Nutzungsoptionen und bereitgestellter Durchsatz

Der schnelle Modus unterstützt keinen bereitgestellten Durchsatz:

  • Nur PayGo: Anfragen im Schnellmodus verwenden immer pay-as-you-go, auch wenn für Ihr Projekt eine aktive Bestellung für bereitgestellten Durchsatz für das Basismodell vorliegt. Traffic im Schnellmodus verbraucht nie einen bereitgestellten Durchsatz und wird auch nicht von einer Bestellung für bereitgestellten Durchsatz abgezogen.
  • dedicated-Anfrageheader werden gedrosselt: Fügen Sie den HTTP-Header X-Vertex-AI-LLM-Request-Type: dedicated (oder gRPC-Metadaten) nicht in Anfragen im schnellen Modus ein. Für den schnellen Modus gibt es kein Kontingent für den bereitgestellten Durchsatz und dedicated-Anfragen können nicht auf „Pay as you go“ umgestellt werden. Daher geben Anfragen im schnellen Modus mit X-Vertex-AI-LLM-Request-Type: dedicated den Fehler HTTP 429 (RESOURCE_EXHAUSTED) zurück. Lassen Sie den Header weg oder legen Sie stattdessen X-Vertex-AI-LLM-Request-Type: shared fest.

Messwerte für den Schnellmodus überwachen

In Cloud Monitoring wird der Traffic im Schnellmodus als model_user_id="claude-fable-5-2-fast" und nicht als Basismodell-ID (claude-fable-5-2) gemeldet. Filtern Sie im Metrics Explorer nach model_user_id="claude-fable-5-2-fast", um die Anzahl der Anfragen, die Tokennutzung und die Latenz für den Schnellmodus getrennt vom Traffic mit Standardgeschwindigkeit zu überwachen.

Zugriffssteuerung und Organisationsrichtlinie

Im Fast-Modus werden dieselben erforderlichen Rollen und derselbe Model Garden-Aktivierungsstatus wie für das Basismodell verwendet. Wenn eine Anfrage 403 PERMISSION_DENIED zurückgibt, prüfen Sie, ob Ihr Hauptkonto die Rolle „Agent Platform User“ (roles/aiplatform.user) hat und ob das Basismodell in Model Garden aktiviert ist.

Wenn Ihre Organisation die Einschränkung der Organisationsrichtlinie constraints/vertexai.allowedModels erzwingt, unterliegt der schnelle Modus dem :predict-Wert des Basismodells (z. B. publishers/anthropic/models/claude-fable-5-2:predict):

  • Wenn Sie publishers/anthropic/models/claude-fable-5-2:predict zulassen, sind sowohl Anfragen mit Standardgeschwindigkeit als auch Anfragen im Schnellmodus an claude-fable-5-2 zulässig.
  • Wenn Sie publishers/anthropic/models/claude-fable-5-2:predict ablehnen, werden sowohl Anfragen mit Standardgeschwindigkeit als auch Anfragen im Schnellmodus blockiert.

Weitere Informationen zu Organisationsrichtlinien finden Sie unter Zugriff auf Model Garden-Modelle steuern.

Preise

Im schnellen Modus wird immer die pay-as-you-go-Abrechnung verwendet. Die Preise unterscheiden sich von denen für Anfragen mit Standardgeschwindigkeit:

  • Tokens: Der Preis beträgt das Doppelte der Token-Preise für die Standardgeschwindigkeit für alle Tokentypen (Eingabe-, Ausgabe-, 5-Minuten- und 1-Stunden-Cache-Schreibvorgänge und Cache-Treffer-Tokens).
  • Websuche: Toolaufrufe für die Websuche werden zum Standardtarif (1x) abgerechnet.

Die Nutzung wird unter der Google Cloud SKU des Basismodells mit einem Label für den schnellen Modus abgerechnet. Informationen zu regionalen und globalen Tokenraten finden Sie auf der Preisseite für die Agent Platform.

Einschränkungen und Fehlerbehandlung

Beachten Sie bei der Verwendung des schnellen Modus die folgenden Einschränkungen:

  • Kein bereitgestellter Durchsatz: Der schnelle Modus unterstützt keinen bereitgestellten Durchsatz und verwendet immer „Pay as you go“. Wenn Sie eine Anfrage im schnellen Modus mit dem Header X-Vertex-AI-LLM-Request-Type: dedicated senden, wird der Fehler HTTP 429 (RESOURCE_EXHAUSTED) zurückgegeben.
  • Keine Batchvorhersagen: Der schnelle Modus ist für interaktive Echtzeit-Inferenz konzipiert und wird nicht für Batchvorhersagen unterstützt.
  • Prompt-Cache-Isolation: Prompt-Caches werden nicht zwischen Anfragen mit Standardgeschwindigkeit und Anfragen im schnellen Modus geteilt. Ein Cache-Eintrag, der mit Standardgeschwindigkeit geschrieben wurde, führt im schnellen Modus nicht zu einem Cache-Treffer. Ebenso führt ein Cache-Eintrag im schnellen Modus nicht zu einem Cache-Treffer bei Standardgeschwindigkeit.
  • Kein stilles Downgrade: Wenn eine Anfrage mit "speed": "fast" nicht im schnellen Modus verarbeitet werden kann, gibt die Agent Platform einen Fehler zurück, anstatt auf die Standardgeschwindigkeit zurückzugreifen.

In der folgenden Tabelle sind die Fehler zusammengefasst, die bei ungültigen oder nicht unterstützten Anfragen im Schnellmodus zurückgegeben werden:

HTTP-Status und -Code Fehlermeldung Ursache und Abhilfe
400 INVALID_ARGUMENT Fast mode (speed: fast) is not supported for this model. Das Zielmodell bietet keinen schnellen Modus oder der schnelle Modus wurde 30 Tage nach der Einführung einer neueren Modellversion eingestellt. Wählen Sie ein unterstütztes Modell aus oder entfernen Sie "speed": "fast".
400 INVALID_ARGUMENT Invalid value for speed; expected "standard" or "fast". Das Feld speed enthält einen nicht unterstützten Wert oder ist kein String. Geben Sie "fast" oder "standard" an.
400 INVALID_ARGUMENT Invalid request body: duplicate keys or malformed JSON. Der JSON-Anfragetext enthält doppelte Schlüssel (z. B. doppelte "speed"-Schlüssel) oder eine fehlerhafte JSON-Syntax. Senden Sie gültiges JSON mit einem einzelnen "speed"-Schlüssel.
400 INVALID_ARGUMENT Fast mode is not supported for batch prediction. Die Anfrage wurde an einen Batchvorhersagejob mit "speed": "fast" gesendet. "speed": "fast" für Batcharbeitslasten entfernen.
400 FAILED_PRECONDITION Fast mode is not available in this location. Der schnelle Modus ist in der angeforderten Region nicht bereitgestellt. Leiten Sie die Anfrage an einen der unterstützten Standorte weiter.
404 NOT_FOUND Publisher Model ... was not found Die Anfrage-URL war auf das Monitoring-Messwertlabel (claude-fable-5-2-fast) statt auf eine aufrufbare Modell-ID ausgerichtet. Geben Sie die Basismodell-ID (claude-fable-5-2) an und übergeben Sie "speed": "fast" im Anfragetext.
429 RESOURCE_EXHAUSTED Too many requests. Exceeded the provisioned throughput Die Anfrage enthielt sowohl "speed": "fast" als auch den Header X-Vertex-AI-LLM-Request-Type: dedicated. Der schnelle Modus unterstützt keinen bereitgestellten Durchsatz und verwendet immer „Pay as you go“. Entfernen Sie X-Vertex-AI-LLM-Request-Type: dedicated (oder setzen Sie es auf shared).
429 RESOURCE_EXHAUSTED Kontingent für anthropic-claude-fable-fast überschritten Ihr Projekt hat das QPM-, Eingabe-TPM- oder Ausgabe-TPM-Kontingent für den schnellen Modus an diesem Standort überschritten. Wiederholen Sie den Vorgang mit exponentiellem Backoff oder fordern Sie eine Kontingenterhöhung für anthropic-claude-fable-fast an.

Fehler im Schnellmodus beheben

Da die Agent Platform Anfragen im Schnellmodus nicht stillschweigend herabstuft, entscheidet Ihre Anwendung, was passiert, wenn der Schnellmodus nicht verfügbar ist. Beispielsweise wird der schnelle Modus 30 Tage nach der Einführung der nächsten Version eingestellt oder ein Standort bietet den schnellen Modus möglicherweise nicht an. Die folgenden Python-Beispiele entsprechen den spezifischen Fehlermeldungen im Schnellmodus, sodass nicht relevante HTTP 400-Fehler weiterhin angezeigt werden.

Auf Standardgeschwindigkeit zurückfallen

Bei Arbeitslasten, die eine höhere Latenz tolerieren können, können Sie die Verfügbarkeitsfehler im schnellen Modus abfangen und die Anfrage mit Standardgeschwindigkeit wiederholen:

import anthropic
from anthropic import AnthropicVertex
from anthropic.types import Message

# Errors that mean fast mode isn't available for this model or location.
_FAST_MODE_UNAVAILABLE = (
    "Fast mode (speed: fast) is not supported for this model.",
    "Fast mode is not available in this location.",
)


def generate_with_standard_fallback(
    project_id: str = "PROJECT_ID",
    region: str = "LOCATION",
    model: str = "claude-fable-5-2",
) -> Message:
    client = AnthropicVertex(project_id=project_id, region=region)
    messages = [{"role": "user", "content": "PROMPT"}]
    try:
        return client.messages.create(
            model=model,
            max_tokens=1024,
            messages=messages,
            extra_body={"speed": "fast"},
        )
    except anthropic.BadRequestError as e:
        if not any(msg in str(e) for msg in _FAST_MODE_UNAVAILABLE):
            raise
        # Fast mode isn't available: retry at standard speed.
        return client.messages.create(
            model=model,
            max_tokens=1024,
            messages=messages,
        )

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Google Cloud -Projekt-ID, z. B. my-agent-project.
  • LOCATION: ein unterstützter Standort, z. B. global (Standard: global).
  • PROMPT: der Prompt-Text, der an das Modell gesendet werden soll.

Zur nächsten Modellversion wechseln

Wenn Sie den schnellen Modus nach der Einstellung Ihrer Modellversion beibehalten möchten, wiederholen Sie die Anfrage mit dem schnellen Modus für die nächste Version:

import anthropic
from anthropic import AnthropicVertex
from anthropic.types import Message

_FAST_MODE_NOT_SUPPORTED = (
    "Fast mode (speed: fast) is not supported for this model."
)


def generate_with_next_version(
    project_id: str = "PROJECT_ID",
    region: str = "LOCATION",
    model: str = "CURRENT_MODEL",
    next_model: str = "NEXT_MODEL",
) -> Message:
    client = AnthropicVertex(project_id=project_id, region=region)
    messages = [{"role": "user", "content": "PROMPT"}]
    try:
        return client.messages.create(
            model=model,
            max_tokens=1024,
            messages=messages,
            extra_body={"speed": "fast"},
        )
    except anthropic.BadRequestError as e:
        if _FAST_MODE_NOT_SUPPORTED not in str(e):
            raise
        # Fast mode is retired on this version: use the next version.
        return client.messages.create(
            model=next_model,
            max_tokens=1024,
            messages=messages,
            extra_body={"speed": "fast"},
        )

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Google Cloud -Projekt-ID, z. B. my-agent-project.
  • LOCATION: ein unterstützter Standort, z. B. global (Standard: global).
  • CURRENT_MODEL und NEXT_MODEL: die von Ihnen verwendete Modellversion (z. B. claude-fable-5-2) und die nächste Version in derselben Modellfamilie.
  • PROMPT: der Prompt-Text, der an das Modell gesendet werden soll.

Das Muster für die nächste Version behandelt nur den Fehler bei der Einstellung des Modells. Wenn der Standort den schnellen Modus nicht unterstützt, wird der Fehler durch die nächste Version nicht behoben. Leiten Sie die Anfrage stattdessen an einen unterstützten Standort weiter.

Nächste Schritte