Menggunakan Throughput yang Disediakan

Halaman ini menjelaskan cara kerja Throughput yang Disediakan, cara mengontrol kelebihan penggunaan atau mengabaikan Throughput yang Disediakan, dan cara memantau penggunaan.

Cara kerja Throughput yang Disediakan

Bagian ini menjelaskan cara kerja Throughput yang Disediakan menggunakan pemeriksaan kuota melalui periode penerapan kuota.

Pemeriksaan kuota Throughput yang Disediakan

Kuota maksimum Throughput yang Disediakan adalah kelipatan dari jumlah unit skala AI generatif (GSU) yang dibeli dan throughput per GSU. Kuota ini diperiksa setiap kali Anda membuat permintaan dalam periode penerapan kuota, yang merupakan frekuensi penerapan kuota maksimum Throughput yang Disediakan.

Saat permintaan diterima, ukuran respons yang sebenarnya tidak diketahui. Karena kami memprioritaskan kecepatan respons untuk aplikasi real-time, Throughput yang Disediakan memperkirakan ukuran token output. Jika estimasi awal melebihi kuota maksimum Throughput yang Disediakan yang tersedia, permintaan akan diproses sebagai bayar sesuai penggunaan. Jika tidak, permintaan akan diproses sebagai Throughput yang Disediakan. Hal ini dilakukan dengan membandingkan estimasi awal dengan kuota maksimum Throughput yang Disediakan.

Saat respons dibuat dan ukuran token output yang sebenarnya diketahui, penggunaan dan kuota aktual akan direkonsiliasi dengan menambahkan selisih antara perkiraan dan penggunaan aktual ke jumlah kuota Throughput yang Disediakan yang tersedia.

Periode penerapan kuota Throughput yang Disediakan

Agent Platform menerapkan jendela dinamis saat menerapkan kuota Throughput yang Disediakan untuk model Gemini. Hal ini memberikan stabilitas optimal untuk traffic yang rentan terhadap lonjakan. Alih-alih jendela tetap, Agent Platform menerapkan kuota selama jendela fleksibel yang otomatis menyesuaikan, bergantung pada jenis model dan jumlah GSU yang telah Anda sediakan. Akibatnya, dalam beberapa kasus, Anda mungkin mengalami traffic yang diprioritaskan yang melebihi jumlah kuota per detik untuk sementara. Namun, Anda tidak boleh melebihi kuota selama durasi periode. Periode ini didasarkan pada waktu jam internal Agent Platform dan tidak bergantung pada waktu permintaan dibuat.

Cara kerja periode penerapan kuota

Periode penerapan menentukan seberapa banyak Anda dapat melampaui, atau "burst", di atas batas per detik, sebelum Anda dibatasi. Periode ini diterapkan secara otomatis. Perhatikan bahwa periode ini dapat berubah untuk mengoptimalkan performa dan keandalan.

• Alokasi GSU kecil (3 GSU atau kurang): Jendela dapat berkisar antara 40 hingga 120 detik untuk memungkinkan permintaan individual yang lebih besar diproses tanpa gangguan.

  Misalnya, jika Anda membeli 1 GSU gemini-2.5-flash, Anda akan mendapatkan rata-rata 2.690 token per detik throughput berkelanjutan. Total penggunaan Anda selama periode 120 detik tidak boleh melebihi 322.800 token (2.690 token per detik * 120 detik). Oleh karena itu, jika Anda mengirim permintaan yang menggunakan 70.000 token per detik, tetapi total penggunaan selama 120 detik tetap di bawah 322.800 token, burst 70.000 token per detik masih dihitung sebagai Throughput yang Disediakan, karena penggunaan rata-rata tidak melebihi 2.690 token per detik.

• Alokasi GSU standar (ukuran sedang) (lebih dari 3 GSU): Untuk deployment GSU ukuran sedang (misalnya, kurang dari 50 GSU), periode dapat berkisar dari 5 detik hingga 30 detik. Batas GSU dan jendela konteks bervariasi berdasarkan model.

  Misalnya, jika Anda membeli 25 GSU gemini-2.5-flash, Anda akan mendapatkan rata-rata 67.250 token per detik (2.690 token per detik * 25) throughput berkelanjutan. Total penggunaan Anda selama periode 30 detik tidak boleh melebihi 2.017.500 token (67.250 token per detik * 30 detik). Oleh karena itu, jika Anda mengirim permintaan yang menggunakan 1.000.000 token per detik, tetapi total penggunaan selama 30 detik tetap dalam batas 2.017.500 token, burst 1.000.000 token per detik masih dihitung sebagai Throughput yang Disediakan, karena penggunaan rata-rata tidak melebihi 67.250 token per detik.

• Alokasi GSU presisi tinggi (skala besar): Untuk deployment GSU skala besar (misalnya, 50 GSU atau lebih), periode dapat berkisar antara 1 hingga 5 detik untuk memastikan bahwa permintaan frekuensi tinggi diproses dengan akurasi maksimum di seluruh infrastruktur.

  Misalnya, jika Anda membeli 250 GSU gemini-2.5-flash, Anda akan mendapatkan rata-rata 672.500 token per detik (2.690 token per detik * 250) throughput berkelanjutan. Total penggunaan Anda selama periode 5 detik tidak boleh melebihi 3.362.500 token (672.500 token per detik * 5 detik). Oleh karena itu, jika Anda mengirim permintaan yang menggunakan 5.000.000 token per detik, permintaan tersebut tidak akan diproses sebagai Throughput yang Disediakan, karena total penggunaan 5.000.000 token melebihi batas 3.362.500 token dalam periode 5 detik. Di sisi lain, permintaan yang menggunakan 1.000.000 token per detik dapat diproses sebagai Throughput yang Disediakan, jika penggunaan rata-rata selama periode 5 detik tidak melebihi 672.500 token per detik.

Mengontrol kelebihan penggunaan atau mengabaikan Throughput yang Disediakan

Gunakan API untuk mengontrol kelebihan penggunaan saat Anda melebihi throughput yang dibeli atau untuk mengabaikan Throughput yang Disediakan berdasarkan permintaan.

Baca setiap opsi untuk menentukan tindakan yang harus Anda lakukan untuk memenuhi kasus penggunaan Anda.

Perilaku default

Jika permintaan melebihi sisa kuota Throughput yang Disediakan, seluruh permintaan akan diproses sebagai permintaan on-demand secara default dan ditagih dengan tarif bayar sesuai penggunaan. Jika hal ini terjadi, traffic akan muncul sebagai spillover di dasbor pemantauan. Untuk mengetahui informasi selengkapnya tentang cara memantau penggunaan Throughput yang Disediakan, lihat Memantau Throughput yang Disediakan.

Setelah pesanan Throughput yang Disediakan aktif, perilaku default akan terjadi secara otomatis. Anda tidak perlu mengubah kode untuk mulai menggunakan pesanan, asalkan Anda menggunakannya di region yang disediakan.

Hanya menggunakan Throughput yang Disediakan

Jika Anda mengelola biaya dengan menghindari biaya on-demand, gunakan hanya Throughput yang Disediakan. Permintaan yang melebihi jumlah pesanan Throughput yang Disediakan akan menampilkan error 429.

Saat mengirim permintaan ke API, tetapkan header HTTP X-Vertex-AI-LLM-Request-Type ke dedicated.

Hanya gunakan bayar sesuai penggunaan

Hal ini juga disebut sebagai penggunaan on-demand. Permintaan akan mengabaikan pesanan Throughput yang Disediakan dan dikirim langsung ke model bayar sesuai penggunaan. Hal ini mungkin berguna untuk eksperimen atau aplikasi yang sedang dalam pengembangan.

Saat mengirim permintaan ke API, tetapkan header HTTP X-Vertex-AI-LLM-Request-Type ke shared.

Contoh

Python

Instal

pip install --upgrade google-genai

Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

Tetapkan variabel lingkungan untuk menggunakan Google Gen AI SDK dengan Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

from google import genai
from google.genai.types import HttpOptions

client = genai.Client(
    http_options=HttpOptions(
        api_version="v1",
        headers={
            # Options:
            # - "dedicated": Use Provisioned Throughput
            # - "shared": Use pay-as-you-go
            # https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
            "X-Vertex-AI-LLM-Request-Type": "shared"
        },
    )
)
response = client.models.generate_content(
    model="gemini-3.5-flash",
    contents="How does AI work?",
)
print(response.text)
# Example response:
# Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
#
# Here's a simplified overview:
# ...

Go

Pelajari cara menginstal atau mengupdate Go.

Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

Tetapkan variabel lingkungan untuk menggunakan Google Gen AI SDK dengan Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

import (
	"context"
	"fmt"
	"io"
	"net/http"

	"google.golang.org/genai"
)

// generateText shows how to generate text Provisioned Throughput.
func generateText(w io.Writer) error {
	ctx := context.Background()

	client, err := genai.NewClient(ctx, &genai.ClientConfig{
		HTTPOptions: genai.HTTPOptions{
			APIVersion: "v1",
			Headers: http.Header{
				// Options:
				// - "dedicated": Use Provisioned Throughput
				// - "shared": Use pay-as-you-go
				// https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
				"X-Vertex-AI-LLM-Request-Type": []string{"shared"},
			},
		},
	})
	if err != nil {
		return fmt.Errorf("failed to create genai client: %w", err)
	}

	modelName := "gemini-2.5-flash"
	contents := genai.Text("How does AI work?")

	resp, err := client.Models.GenerateContent(ctx, modelName, contents, nil)
	if err != nil {
		return fmt.Errorf("failed to generate content: %w", err)
	}

	respText := resp.Text()

	fmt.Fprintln(w, respText)

	// Example response:
	// Artificial Intelligence (AI) isn't magic, nor is it a single "thing." Instead, it's a broad field of computer science focused on creating machines that can perform tasks that typically require human intelligence.
	// .....
	// In Summary:
	// ...

	return nil
}

Node.js

Instal

npm install @google/genai

Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

Tetapkan variabel lingkungan untuk menggunakan Google Gen AI SDK dengan Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

const {GoogleGenAI} = require('@google/genai');

const GOOGLE_CLOUD_PROJECT = process.env.GOOGLE_CLOUD_PROJECT;
const GOOGLE_CLOUD_LOCATION = process.env.GOOGLE_CLOUD_LOCATION || 'global';

async function generateWithProvisionedThroughput(
  projectId = GOOGLE_CLOUD_PROJECT,
  location = GOOGLE_CLOUD_LOCATION
) {
  const client = new GoogleGenAI({
    vertexai: true,
    project: projectId,
    location: location,
    httpOptions: {
      apiVersion: 'v1',
      headers: {
        // Options:
        // - "dedicated": Use Provisioned Throughput
        // - "shared": Use pay-as-you-go
        // https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
        'X-Vertex-AI-LLM-Request-Type': 'shared',
      },
    },
  });

  const response = await client.models.generateContent({
    model: 'gemini-2.5-flash',
    contents: 'How does AI work?',
  });

  console.log(response.text);

  // Example response:
  //  Okay, let's break down how AI works. It's a broad field, so I'll focus on the ...
  //  Here's a simplified overview:
  //  ...

  return response.text;
}

Java

Pelajari cara menginstal atau mengupdate Java.

Untuk mempelajari lebih lanjut, lihat dokumentasi referensi SDK.

Tetapkan variabel lingkungan untuk menggunakan Google Gen AI SDK dengan Vertex AI:

# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_ENTERPRISE=True

import com.google.genai.Client;
import com.google.genai.types.GenerateContentConfig;
import com.google.genai.types.GenerateContentResponse;
import com.google.genai.types.HttpOptions;
import java.util.Map;

public class ProvisionedThroughputWithTxt {

  public static void main(String[] args) {
    // TODO(developer): Replace these variables before running the sample.
    String modelId = "gemini-2.5-flash";
    generateContent(modelId);
  }

  // Generates content with Provisioned Throughput.
  public static String generateContent(String modelId) {
    // Client Initialization. Once created, it can be reused for multiple requests.
    try (Client client =
        Client.builder()
            .location("us-central1")
            .vertexAI(true)
            .httpOptions(
                HttpOptions.builder()
                    .apiVersion("v1")
                    .headers(
                        // Options:
                        // - "dedicated": Use Provisioned Throughput
                        // - "shared": Use pay-as-you-go
                        // https://cloud.google.com/vertex-ai/generative-ai/docs/use-provisioned-throughput
                        Map.of("X-Vertex-AI-LLM-Request-Type", "shared"))
                    .build())
            .build()) {

      GenerateContentResponse response =
          client.models.generateContent(
              modelId, "How does AI work?", GenerateContentConfig.builder().build());

      System.out.println(response.text());
      // Example response:
      // At its core, **AI (Artificial Intelligence) works by enabling machines to learn,
      // reason, and make decisions in ways that simulate human intelligence.** Instead of being
      // explicitly programmed for every single task...
      return response.text();
    }
  }
}

REST

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-Vertex-AI-LLM-Request-Type: dedicated" \ # Options: dedicated, shared
  $URL \
  -d '{"contents": [{"role": "user", "parts": [{"text": "Hello."}]}]}'

Menggunakan Throughput yang Disediakan dengan Kunci API

Jika Anda telah membeli Throughput yang Disediakan untuk project, model Google, dan region tertentu, serta ingin menggunakannya untuk mengirim permintaan dengan kunci API, Anda harus menyertakan project ID, model, lokasi, dan kunci API sebagai parameter dalam permintaan Anda.

Untuk mengetahui informasi tentang cara membuat kunci Google Cloud API yang terikat ke akun layanan, lihat Mendapatkan kunci Google Cloud API. Untuk mempelajari cara mengirim permintaan ke Gemini API menggunakan kunci API, lihat Menghubungkan ke server MCP Knowledge.

Misalnya, contoh berikut menunjukkan cara mengirimkan permintaan dengan kunci API saat menggunakan Throughput yang Disediakan:

REST

curl \
-X POST \
-H "Content-Type: application/json" \
"https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_ID:generateContent?key=YOUR_API_KEY" \
-d $'{
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "text": "Explain how AI works in a few words"
        }
      ]
    }
  ]
}'

Dapatkan notifikasi email

Anda bisa mendapatkan notifikasi email tentang pesanan Throughput yang Disediakan menggunakan Essential Contacts API. Setelah mengaktifkan, klik Notifications di bagian atas halaman Pesanan Throughput yang Disediakan. Kemudian, dalam dialog yang terbuka, klik Kontak penting dan ikuti petunjuk di layar.

1. Aktifkan Essential Contacts API, jika belum diaktifkan.

   Peran yang diperlukan untuk mengaktifkan API

   Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

   Mengaktifkan API

2. Buka halaman Provisioned Throughput.

   Buka Provisioned Throughput

3. Klik Notifikasi.

4. Dalam dialog Notifikasi, klik Kontak penting.

   Halaman Essential contacts akan terbuka.

5. Klik Tambahkan kontak.

6. Dalam dialog Tambahkan kontak, masukkan alamat email kontak ke kolom Email dan Konfirmasi email.

7. Pilih Update produk.

8. Klik Simpan.

Alamat email kontak akan diberi tahu untuk peristiwa Throughput yang Disediakan berikut:

Acara	Kapan kontak diberi tahu
Pesanan terkirim	Dalam hitungan menit
Pesanan diaktifkan	Dalam hitungan menit
Pembaruan pesanan dikirim	Dalam hitungan menit
Pembaruan pesanan diaktifkan	Dalam hitungan menit
Masa berlaku pesanan 1 bulan, 3 bulan, atau 1 tahun	2 minggu sebelum tanggal habis masa berlaku
Masa berlaku pesanan 1 minggu.	3 hari sebelum tanggal habis masa berlaku
Perpanjangan otomatis 1 bulan, 3 bulan, atau 1 tahun	2 minggu sebelum tanggal perpanjangan otomatis

Memantau Throughput yang Disediakan

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dari Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Anda dapat memantau sendiri penggunaan Throughput yang Disediakan menggunakan serangkaian metrik yang diukur pada jenis resource aiplatform.googleapis.com/PublisherModel.

Pemantauan traffic Throughput yang Disediakan adalah fitur Pratinjau publik.

Dimensi

Anda dapat memfilter metrik menggunakan dimensi berikut:

Dimensi	Nilai
type	input output
request_type	dedicated: Traffic diproses menggunakan Throughput yang Disediakan. spillover: Traffic diproses sebagai kuota bayar sesuai penggunaan setelah Anda melebihi kuota Throughput yang Disediakan. Perhatikan bahwa metrik spillover tidak didukung untuk Throughput yang Disediakan untuk model Gemini 2.0 jika caching eksplisit diaktifkan, karena model ini tidak mendukung caching eksplisit. Dalam hal ini, traffic akan muncul sebagai shared. shared: Jika Throughput yang Disediakan aktif, traffic akan diproses sebagai kuota bayar sesuai penggunaan menggunakan header HTTP bersama. Jika Throughput yang Disediakan tidak aktif, traffic akan diproses sebagai bayar sesuai penggunaan, secara default.

Awalan jalur

Awalan jalur untuk metrik adalah aiplatform.googleapis.com/publisher/online_serving.

Misalnya, jalur lengkap untuk metrik /consumed_throughput adalah aiplatform.googleapis.com/publisher/online_serving/consumed_throughput.

Metrik

Metrik Cloud Monitoring berikut tersedia di resource aiplatform.googleapis.com/PublisherModel untuk model Gemini. Gunakan jenis permintaan dedicated untuk memfilter penggunaan Throughput yang Disediakan.

Metrik	Nama tampilan	Deskripsi
/dedicated_gsu_limit	Limit (GSU)	Batas khusus dalam GSU. Gunakan metrik ini untuk memahami kuota maksimum Throughput yang Disediakan dalam GSU.
/tokens	Token	Distribusi jumlah token input dan output.
/token_count	Jumlah token	Jumlah token input dan output yang diakumulasikan.
/consumed_token_throughput	Throughput token	Penggunaan throughput, yang memperhitungkan tingkat burndown dalam token dan menggabungkan rekonsiliasi kuota. Lihat Pemeriksaan kuota Throughput yang Disediakan. Gunakan metrik ini untuk memahami cara penggunaan kuota Throughput yang Disediakan Anda.
/dedicated_token_limit	Batas (token per detik)	Batas khusus dalam token per detik. Gunakan metrik ini untuk memahami kuota maksimum Throughput yang Disediakan untuk model berbasis token.
/characters	Karakter	Distribusi jumlah karakter input dan output.
/character_count	Jumlah karakter	Jumlah karakter input dan output yang diakumulasikan.
/consumed_throughput	Throughput karakter	Penggunaan throughput, yang memperhitungkan tingkat burndown dalam karakter dan menggabungkan rekonsiliasi kuota Pemeriksaan kuota Throughput yang Disediakan. Gunakan metrik ini untuk memahami penggunaan kuota Throughput yang Disediakan. Untuk model berbasis token, metrik ini setara dengan throughput yang digunakan dalam token dikalikan dengan 4.
/dedicated_character_limit	Batas (karakter per detik)	Batas khusus dalam karakter per detik. Gunakan metrik ini untuk memahami kuota maksimum Throughput yang Disediakan untuk model berbasis karakter.
/model_invocation_count	Jumlah pemanggilan model	Jumlah pemanggilan model (permintaan prediksi).
/model_invocation_latencies	Latensi pemanggilan model	Latensi pemanggilan model (latensi prediksi).
/first_token_latencies	Latensi token pertama	Durasi dari permintaan diterima hingga token pertama ditampilkan.

Model Anthropic juga memiliki filter untuk Throughput yang Disediakan, tetapi hanya untuk tokens dan token_count.

Dasbor

Dasbor pemantauan default untuk Throughput yang Disediakan menyediakan metrik yang memungkinkan Anda lebih memahami penggunaan dan pemanfaatan Throughput yang Disediakan. Untuk mengakses dasbor, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman Throughput yang Disediakan.

   Buka Provisioned Throughput

2. Untuk melihat pemakaian Throughput yang Disediakan dari setiap model di seluruh pesanan Anda, pilih tab Utilization summary.

   Dalam tabel Provisioned Throughput utilization by model, Anda dapat melihat hal berikut untuk rentang waktu yang dipilih:

   • Total jumlah GSU yang Anda miliki.

   • Penggunaan throughput puncak dalam hal GSU.

   • Penggunaan GSU rata-rata.

   • Frekuensi Anda mencapai batas Throughput yang Disediakan.

3. Pilih model dari tabel Provisioned Throughput utilization by model untuk melihat metrik lainnya yang spesifik untuk model yang dipilih.

Cara menafsirkan dasbor pemantauan

Throughput yang Disediakan memeriksa kuota yang tersedia secara real time pada tingkat milidetik untuk permintaan saat dibuat, tetapi membandingkan data ini dengan periode penerapan kuota berkelanjutan, berdasarkan waktu jam internal Agent Platform. Perbandingan ini tidak bergantung pada waktu saat permintaan dibuat. Dasbor pemantauan melaporkan metrik penggunaan setelah rekonsiliasi kuota dilakukan. Namun, metrik ini digabungkan untuk memberikan rata-rata periode penyelarasan dasbor, berdasarkan rentang waktu yang dipilih. Tingkat perincian terendah yang didukung dasbor pemantauan adalah pada tingkat menit. Selain itu, waktu jam untuk dasbor pemantauan berbeda dengan waktu jam Agent Platform.

Perbedaan waktu ini terkadang dapat menyebabkan perbedaan antara data di dasbor pemantauan dan performa real-time. Hal ini dapat disebabkan oleh salah satu alasan berikut:

• Kuota diterapkan secara real time, tetapi diagram pemantauan menggabungkan data ke dalam periode penyelarasan dasbor rata-rata 1 menit atau lebih tinggi, bergantung pada rentang waktu yang ditentukan di dasbor pemantauan.

• Agent Platform dan dasbor pemantauan berjalan pada jam sistem yang berbeda.

• Selama periode satu detik, jika lonjakan traffic melebihi kuota Throughput yang Disediakan berdasarkan periode penerapan, seluruh permintaan akan diproses sebagai traffic limpahan. Namun, keseluruhan pemanfaatan Throughput yang Disediakan mungkin tampak rendah saat data pemantauan untuk detik tersebut dirata-ratakan dalam periode penyelarasan 1 menit, karena pemanfaatan rata-rata di seluruh periode penyelarasan mungkin tidak melebihi 100%. Jika Anda melihat traffic limpahan, hal ini mengonfirmasi bahwa kuota Throughput yang Disediakan telah digunakan sepenuhnya selama periode penerapan kuota saat permintaan tertentu tersebut dibuat. Hal ini terlepas dari pemakaian rata-rata yang ditampilkan di dasbor pemantauan.

Contoh potensi perbedaan dalam data pemantauan

Contoh ini menggambarkan beberapa perbedaan yang disebabkan oleh ketidakselarasan periode. Gambar 1 menunjukkan penggunaan throughput selama jangka waktu tertentu. Dalam gambar ini:

• Batang biru mewakili traffic yang diterima sebagai Throughput yang Disediakan.

• Batang oranye menunjukkan traffic yang mendorong penggunaan melebihi batas GSU dan diproses sebagai limpahan.

Gambar 1. Penggunaan throughput selama jangka waktu tertentu

Berdasarkan penggunaan throughput, gambar 2 menunjukkan kemungkinan perbedaan visual, karena ketidakselarasan periode. Dalam gambar ini:

• Garis biru mewakili traffic Throughput yang Disediakan.

• Garis oranye menunjukkan traffic limpahan.

Gambar 2. Kemungkinan perbedaan visual di dasbor pemantauan

Dalam hal ini, data pemantauan mungkin menunjukkan penggunaan Throughput yang Disediakan tanpa limpahan untuk jangka waktu agregasi pemantauan, sekaligus mengamati penggunaan Throughput yang Disediakan di bawah batas GSU yang bertepatan dengan limpahan dalam jangka waktu agregasi pemantauan lainnya.

Memecahkan masalah dasbor pemantauan

Anda dapat memecahkan masalah limpahan yang tidak terduga di dasbor atau error 429 dengan melakukan langkah-langkah berikut:

1. Perbesar: Tetapkan rentang waktu dasbor Anda ke 12 jam atau kurang untuk memberikan periode penyelarasan paling terperinci, yaitu 1 menit. Rentang waktu yang besar akan memperhalus lonjakan yang menyebabkan throttling dan meningkatkan rata-rata periode penyelarasan.

2. Periksa Total Traffic: Dasbor khusus model Anda menampilkan traffic khusus dan traffic limpahan sebagai dua baris terpisah, yang dapat menyebabkan kesimpulan yang salah bahwa kuota Throughput yang Disediakan tidak digunakan sepenuhnya dan melimpah sebelum waktunya. Jika traffic Anda melebihi kuota yang tersedia, seluruh permintaan akan diproses sebagai limpahan. Untuk visualisasi bermanfaat lainnya, tambahkan kueri ke dasbor menggunakan Metrics Explorer dan sertakan throughput token untuk model dan region tertentu. Jangan sertakan agregasi atau filter tambahan apa pun untuk melihat total traffic di semua jenis traffic (khusus, limpahan, dan bersama).

Memantau model Genmedia

Pemantauan Throughput yang Disediakan tidak tersedia di model Veo.

Pemberitahuan

Setelah pemberitahuan diaktifkan, tetapkan pemberitahuan default untuk membantu Anda mengelola penggunaan traffic.

Aktifkan notifikasi

Untuk mengaktifkan pemberitahuan di dasbor, lakukan tindakan berikut:

1. Di konsol Google Cloud , buka halaman Throughput yang Disediakan.

   Buka Provisioned Throughput

2. Untuk melihat pemakaian Throughput yang Disediakan dari setiap model di seluruh pesanan Anda, pilih tab Utilization summary.

3. Pilih Notifikasi yang direkomendasikan, dan notifikasi berikut akan ditampilkan:

   • Provisioned Throughput Usage Reached Limit
   • Provisioned Throughput Utilization Exceeded 80%
   • Provisioned Throughput Utilization Exceeded 90%

4. Periksa notifikasi yang membantu Anda mengelola traffic.

Melihat detail notifikasi selengkapnya

Untuk melihat informasi selengkapnya tentang pemberitahuan, lakukan tindakan berikut:

1. Buka halaman Integrations.

   Buka Integrasi

2. Masukkan Agent Platform ke kolom Filter, lalu tekan Enter. Google Agent Platform akan muncul.

3. Untuk melihat informasi selengkapnya, klik Lihat detail. Panel Google Agent Platform details akan ditampilkan.

4. Pilih tab Alerts, lalu Anda dapat memilih template kebijakan pemberitahuan.

Langkah berikutnya

• Pecahkan masalah Kode error 429.