Mode cepat dengan model Claude Anthropic

Mode cepat mempercepat pembuatan token output untuk model Anthropic Claude yang didukung di Gemini Enterprise Agent Platform. Model ini menggunakan konfigurasi penyaluran berkecepatan tinggi yang mempertahankan kemampuan kecerdasan dan keamanan model dasar. Anda mengaktifkan mode cepat pada permintaan prediksi online dengan menetapkan "speed": "fast" dalam isi permintaan.

Gunakan mode cepat untuk workload interaktif yang sensitif terhadap latensi, yang mana menunggu pembuatan token akan mengganggu alur developer atau pengguna:

• Coding agentic interaktif: Lakukan iterasi pada tugas coding, refaktorisasi, dan proses debug multilangkah dengan agen human-in-the-loop tanpa pengalihan konteks.
• Perencanaan langsung: Mengumpulkan konteks repositori atau operasional dan membuat rencana eksekusi secara interaktif.
• Respons insiden: Melakukan triase pemberitahuan produksi dan menyintesis langkah-langkah remediasi saat waktu penyelesaian inferensi sangat penting.

Model dan kebijakan siklus proses yang didukung

Mode cepat ditawarkan pada versi terbaru kelompok model Claude yang didukung dan selama periode transisi 30 hari pada versi yang akan dihentikan. Agent Platform mendukung mode cepat untuk model berikut:

• Claude Fable 5.2 dari Anthropic di Google Cloud (claude-fable-5-2)

Saat versi baru dari rangkaian model yang didukung diluncurkan, mode cepat pada versi sebelumnya dalam rangkaian tersebut akan dihentikan 30 hari setelah versi baru diluncurkan. Setelah periode penghentian 30 hari berakhir, permintaan ke versi model sebelumnya yang menyertakan "speed": "fast" akan menampilkan error HTTP 400 (INVALID_ARGUMENT). Permintaan kecepatan standar ke versi model tersebut akan terus berfungsi seperti biasa. Untuk terus menggunakan mode cepat, perbarui permintaan Anda untuk menargetkan versi model terbaru atau hapus "speed": "fast" dari isi permintaan.

Lokasi yang didukung

Mode cepat tersedia di ID lokasi API berikut untuk model yang didukung:

• Global (Claude Fable 5.2 Anthropic di Google Cloud): global
• Multi-region Amerika Serikat (Claude Fable 5.2 dari Anthropic di Google Cloud): us
• Multi-region Eropa (Claude Fable 5.2 dari Anthropic di Google Cloud): eu

Endpoint regional langsung tidak didukung secara publik untuk mode cepat. Mengirim permintaan dengan "speed": "fast" ke lokasi yang tidak menyediakan mode cepat akan menampilkan error HTTP 400 (FAILED_PRECONDITION).

Sebelum memulai

Sebelum mengirim permintaan mode cepat, selesaikan langkah-langkah penyiapan berikut. Mode cepat menggunakan penyiapan project dan pengaktifan Model Garden yang sama dengan permintaan Claude standar. Untuk mengetahui detail penyiapan model partner tambahan, lihat Sebelum memulai.

Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Go to project selector

If you're using an existing project for this guide, verify that you have the permissions required to complete this guide. If you created a new project, then you already have the required permissions.

Verify that billing is enabled for your Google Cloud project.

Enable the Gemini Enterprise Agent Platform API, if it is not already enabled.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

1. Buka salah satu kartu model Model Garden berikut, klik Enable, dan setujui persyaratan khusus model atau persyaratan berbagi data:
   • Buka Claude Fable 5.2 dari Anthropic di Google Cloud

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengirim permintaan prediksi mode cepat ke model Claude, minta administrator untuk memberi Anda peran IAM berikut di project Google Cloud Anda:

• Mengirim permintaan prediksi ke model partner: Agent Platform User (roles/aiplatform.user)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Mengirim permintaan mode cepat

Untuk menggunakan mode cepat, kirim permintaan ke endpoint model publikasi standar (misalnya, claude-fable-5-2) dan tetapkan "speed": "fast" di isi permintaan tingkat teratas. Header anthropic-beta tidak diperlukan, dan tidak ada kartu model terpisah yang perlu diaktifkan di Model Garden.

REST

Contoh berikut mengirimkan permintaan prediksi ke claude-fable-5-2 di endpoint global dengan "speed": "fast" diaktifkan.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• PROJECT_ID: Google Cloud Project ID Anda (misalnya, my-agent-project).
• MODEL: Model Claude yang mendukung mode cepat, seperti claude-fable-5-2 (default: claude-fable-5-2). Selalu tentukan ID model dasar di URL endpoint.

Contoh ini menggunakan endpoint global. Untuk menggunakan endpoint multi-region yang didukung, lihat Menentukan endpoint multi-region.

Metode HTTP dan URL:

POST https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict

Meminta isi JSON:

{
  "anthropic_version": "vertex-2023-10-16",
  "speed": "fast",
  "max_tokens": 1024,
  "messages": [
    {
      "role": "user",
      "content": "Analyze the root cause of an HTTP 502 spike on an upstream GKE ingress controller and list three immediate mitigation steps."
    }
  ]
}

Untuk mengirim permintaan Anda, pilih salah satu opsi berikut:

curl

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict"

PowerShell

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login. Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/anthropic/models/MODEL:rawPredict" | Select-Object -Expand Content

Responsnya adalah objek JSON yang mirip dengan berikut ini. Saat permintaan disajikan dalam mode cepat, objek usage menyertakan "speed": "fast".

Respons

{
  "id": "msg_vrtx_01FastModeExample89ABcdEF",
  "type": "message",
  "role": "assistant",
  "model": "claude-fable-5-2",
  "content": [
    {
      "type": "text",
      "text": "Here are the most common root causes for an HTTP 502 spike on a GKE Ingress controller and three immediate mitigation steps..."
    }
  ],
  "stop_reason": "end_turn",
  "stop_sequence": null,
  "usage": {
    "input_tokens": 34,
    "output_tokens": 218,
    "speed": "fast"
  }
}

Python

Dengan menggunakan Anthropic Vertex SDK (anthropic[vertex]), teruskan extra_body={"speed": "fast"} saat memanggil client.messages.create():

from anthropic import AnthropicVertex
from anthropic.types import Message


def generate_with_fast_mode(
    project_id: str = "PROJECT_ID",
) -> Message:
    client = AnthropicVertex(
        project_id=project_id,
        region="global",
    )

    message = client.messages.create(
        model="claude-fable-5-2",
        max_tokens=1024,
        extra_body={"speed": "fast"},
        messages=[
            {
                "role": "user",
                "content": (
                    "Analyze the root cause of an HTTP 502 spike on an upstream "
                    "GKE ingress controller and list three immediate mitigation "
                    "steps."
                ),
            }
        ],
    )
    print(message.model_dump_json(indent=2))
    return message

Memeriksa kecepatan yang digunakan

Anda dapat memverifikasi bahwa permintaan disajikan dalam mode cepat dengan memeriksa kolom usage.speed dalam respons:

• Mode cepat: usage.speed ada dan ditetapkan ke "fast" (dalam respons unary, atau dalam peristiwa message_start atau message_delta untuk respons streaming).
• Kecepatan standar: Saat Anda mengirim permintaan standar ("speed": "standard" atau speed dihilangkan), usage.speed adalah "standard" atau dihilangkan.

Kuota, pemantauan, dan kontrol akses

Mode cepat menggunakan kapasitas khusus dan pembatasan kapasitas yang diisolasi dari traffic kecepatan standar, sekaligus mewarisi konfigurasi akses project Anda untuk model dasar.

Kuota

Pada endpoint global dan multi-region, permintaan mode cepat menggunakan bucket kuota silsilah bersama khusus yang terpisah dari kuota model kecepatan standar. Traffic mode cepat tidak menggunakan kuota anthropic-claude-fable standar Anda, dan traffic kecepatan standar tidak menggunakan kuota mode cepat Anda.

Untuk melihat atau meminta peningkatan kuota mode cepat di halaman Quotas and system limits di konsolGoogle Cloud , filter menurut base_model:

• anthropic-claude-fable-fast (berlaku untuk endpoint global dan multi-region)

Opsi pemakaian dan Throughput yang Disediakan

Mode cepat tidak mendukung Throughput yang Disediakan:

• Khusus PayGo: Permintaan mode cepat selalu menggunakan pay-as-you-go, meskipun project Anda memiliki pesanan Throughput yang Disediakan yang aktif untuk model dasar. Traffic mode cepat tidak pernah menggunakan atau meluap dari pesanan Throughput yang Disediakan.
• Header permintaan dedicated di-throttle: Jangan sertakan header HTTP X-Vertex-AI-LLM-Request-Type: dedicated (atau metadata gRPC) pada permintaan mode cepat. Mode cepat tidak memiliki kuota Throughput yang Disediakan, dan permintaan dedicated tidak dapat dialihkan ke bayar sesuai penggunaan. Akibatnya, permintaan mode cepat dengan X-Vertex-AI-LLM-Request-Type: dedicated akan menampilkan error HTTP 429 (RESOURCE_EXHAUSTED). Hilangkan header atau tetapkan X-Vertex-AI-LLM-Request-Type: shared.

Memantau metrik mode cepat

Di Cloud Monitoring, traffic mode cepat melaporkan model_user_id="claude-fable-5-2-fast", bukan ID model dasar (claude-fable-5-2). Filter menurut model_user_id="claude-fable-5-2-fast" di Metrics Explorer untuk memantau jumlah permintaan, penggunaan token, dan latensi untuk mode cepat secara terpisah dari traffic kecepatan standar.

Perhatian: claude-fable-5-2-fast hanya label metrik pemantauan, bukan ID model yang dapat dipanggil. Selalu kirim permintaan API ke ID model dasar (seperti claude-fable-5-2) dengan "speed": "fast" dalam isi permintaan. Memanggil claude-fable-5-2-fast di URL endpoint akan menampilkan error HTTP 404 (NOT_FOUND).

Kontrol akses dan kebijakan organisasi

Mode cepat menggunakan peran yang diperlukan dan status pengaktifan Model Garden yang sama dengan model dasar. Jika permintaan menampilkan 403 PERMISSION_DENIED, pastikan akun utama Anda memiliki peran Agent Platform User (roles/aiplatform.user) dan model dasar diaktifkan di Model Garden.

Jika organisasi Anda menerapkan batasan kebijakan organisasi constraints/vertexai.allowedModels, mode cepat akan diatur oleh nilai :predict model dasar (misalnya, publishers/anthropic/models/claude-fable-5-2:predict):

• Mengizinkan publishers/anthropic/models/claude-fable-5-2:predict akan mengizinkan permintaan kecepatan standar dan mode cepat ke claude-fable-5-2.
• Menolak publishers/anthropic/models/claude-fable-5-2:predict akan memblokir permintaan kecepatan standar dan mode cepat.

Untuk mengetahui informasi selengkapnya tentang kebijakan organisasi, lihat Mengontrol akses ke model Model Garden.

Harga

Mode cepat selalu menggunakan penagihan pay-as-you-go dan memiliki harga yang terpisah dari permintaan kecepatan standar:

• Token: Dikenai harga 2x tarif token kecepatan standar di semua jenis token (token input, output, penulisan cache 5 menit dan 1 jam, serta cache ditemukan).
• Penelusuran web: Panggilan alat Penelusuran web ditagih dengan tarif standar (1x).

Penggunaan ditagih berdasarkan SKU Google Cloud model dasar dengan label mode cepat. Untuk mengetahui tarif token regional dan global, lihat halaman harga Agent Platform.

Batasan dan penanganan error

Perhatikan batasan berikut saat menggunakan mode cepat:

• Tidak ada Throughput yang Disediakan: Mode cepat tidak mendukung Throughput yang Disediakan dan selalu menggunakan bayar sesuai penggunaan. Mengirim permintaan mode cepat dengan header X-Vertex-AI-LLM-Request-Type: dedicated akan menampilkan error HTTP 429 (RESOURCE_EXHAUSTED).
• Tidak ada prediksi batch: Mode cepat dirancang untuk inferensi interaktif dan real-time, serta tidak didukung dengan prediksi batch.
• Isolasi cache perintah: Cache perintah tidak dibagikan antara permintaan kecepatan standar dan mode cepat. Entri cache yang ditulis dengan kecepatan standar tidak akan menghasilkan cache ditemukan dalam mode cepat. Demikian pula, entri cache mode cepat tidak akan menghasilkan cache ditemukan pada kecepatan standar.
• Tidak ada downgrade otomatis: Jika permintaan dengan "speed": "fast" tidak dapat disajikan dalam mode cepat, Agent Platform akan menampilkan error, bukan beralih ke kecepatan standar.

Tabel berikut merangkum error yang ditampilkan untuk permintaan mode cepat yang tidak valid atau tidak didukung:

Status dan kode HTTP	Pesan error	Penyebab dan perbaikan
400 INVALID_ARGUMENT	Fast mode (speed: fast) is not supported for this model.	Model target tidak menawarkan mode cepat, atau mode cepatnya dihentikan 30 hari setelah versi model yang lebih baru diluncurkan. Targetkan model yang didukung atau hapus "speed": "fast".
400 INVALID_ARGUMENT	Invalid value for speed; expected "standard" or "fast".	Kolom speed berisi nilai yang tidak didukung atau bukan string. Tentukan "fast" atau "standard".
400 INVALID_ARGUMENT	Invalid request body: duplicate keys or malformed JSON.	Isi permintaan JSON berisi kunci duplikat (seperti kunci "speed" duplikat) atau sintaksis JSON yang salah format. Kirim JSON yang valid dengan satu kunci "speed".
400 INVALID_ARGUMENT	Fast mode is not supported for batch prediction.	Permintaan dikirim ke tugas prediksi batch dengan "speed": "fast". Hapus "speed": "fast" untuk workload batch.
400 FAILED_PRECONDITION	Fast mode is not available in this location.	Mode cepat tidak di-deploy di region yang diminta. Rutekan permintaan ke salah satu lokasi yang didukung.
404 NOT_FOUND	Publisher Model ... was not found	URL permintaan menargetkan label metrik pemantauan (claude-fable-5-2-fast), bukan ID model yang dapat dipanggil. Targetkan ID model dasar (claude-fable-5-2) dan teruskan "speed": "fast" dalam isi permintaan.
429 RESOURCE_EXHAUSTED	Too many requests. Exceeded the provisioned throughput	Permintaan menyertakan "speed": "fast" dan header X-Vertex-AI-LLM-Request-Type: dedicated. Mode cepat tidak mendukung Throughput yang Disediakan dan selalu menggunakan bayar sesuai penggunaan; hapus X-Vertex-AI-LLM-Request-Type: dedicated (atau tetapkan ke shared).
429 RESOURCE_EXHAUSTED	Kuota untuk anthropic-claude-fable-fast terlampaui	Project Anda melebihi kuota QPM mode cepat, TPM input, atau TPM output di lokasi tersebut. Coba lagi dengan backoff eksponensial atau minta penambahan kuota untuk anthropic-claude-fable-fast.

Menangani error mode cepat

Karena Agent Platform tidak menurunkan versi permintaan mode cepat secara otomatis, aplikasi Anda akan memutuskan apa yang terjadi jika mode cepat tidak tersedia. Misalnya, mode cepat dihentikan 30 hari setelah versi berikutnya diluncurkan, atau lokasi mungkin tidak menawarkan mode cepat. Contoh Python berikut cocok dengan pesan error mode cepat tertentu sehingga error HTTP 400 yang tidak terkait masih muncul.

Kembali ke kecepatan standar

Untuk workload yang dapat menoleransi latensi yang lebih tinggi, tangkap error ketersediaan mode cepat dan coba lagi permintaan dengan kecepatan standar:

import anthropic
from anthropic import AnthropicVertex
from anthropic.types import Message

# Errors that mean fast mode isn't available for this model or location.
_FAST_MODE_UNAVAILABLE = (
    "Fast mode (speed: fast) is not supported for this model.",
    "Fast mode is not available in this location.",
)


def generate_with_standard_fallback(
    project_id: str = "PROJECT_ID",
    region: str = "LOCATION",
    model: str = "claude-fable-5-2",
) -> Message:
    client = AnthropicVertex(project_id=project_id, region=region)
    messages = [{"role": "user", "content": "PROMPT"}]
    try:
        return client.messages.create(
            model=model,
            max_tokens=1024,
            messages=messages,
            extra_body={"speed": "fast"},
        )
    except anthropic.BadRequestError as e:
        if not any(msg in str(e) for msg in _FAST_MODE_UNAVAILABLE):
            raise
        # Fast mode isn't available: retry at standard speed.
        return client.messages.create(
            model=model,
            max_tokens=1024,
            messages=messages,
        )

Ganti kode berikut:

• PROJECT_ID: project ID Google Cloud Anda, seperti my-agent-project.
• LOCATION: lokasi yang didukung, seperti global (default: global).
• PROMPT: teks perintah yang akan dikirim ke model.

Beralih ke versi model berikutnya

Agar mode cepat tetap aktif setelah penghentian pada versi model Anda, coba lagi permintaan dengan mode cepat pada versi berikutnya:

import anthropic
from anthropic import AnthropicVertex
from anthropic.types import Message

_FAST_MODE_NOT_SUPPORTED = (
    "Fast mode (speed: fast) is not supported for this model."
)


def generate_with_next_version(
    project_id: str = "PROJECT_ID",
    region: str = "LOCATION",
    model: str = "CURRENT_MODEL",
    next_model: str = "NEXT_MODEL",
) -> Message:
    client = AnthropicVertex(project_id=project_id, region=region)
    messages = [{"role": "user", "content": "PROMPT"}]
    try:
        return client.messages.create(
            model=model,
            max_tokens=1024,
            messages=messages,
            extra_body={"speed": "fast"},
        )
    except anthropic.BadRequestError as e:
        if _FAST_MODE_NOT_SUPPORTED not in str(e):
            raise
        # Fast mode is retired on this version: use the next version.
        return client.messages.create(
            model=next_model,
            max_tokens=1024,
            messages=messages,
            extra_body={"speed": "fast"},
        )

Ganti kode berikut:

• PROJECT_ID: project ID Google Cloud Anda, seperti my-agent-project.
• LOCATION: lokasi yang didukung, seperti global (default: global).
• CURRENT_MODEL dan NEXT_MODEL: versi model yang Anda gunakan (seperti claude-fable-5-2) dan versi berikutnya dalam rangkaian model yang sama.
• PROMPT: teks perintah yang akan dikirim ke model.

Pola versi berikutnya hanya menangani error penghentian model. Jika lokasi tidak menawarkan mode cepat, versi berikutnya tidak akan menyelesaikan error. Sebagai gantinya, arahkan permintaan ke lokasi yang didukung.

Langkah berikutnya

• Meminta prediksi dengan model Claude
• Kuota untuk model Claude Anthropic
• Prompt caching
• Mengontrol akses ke model Model Garden