Mengontrol biaya dengan kuota token

Dokumen ini menjelaskan cara menentukan dan mengelola batas harian jumlah token input dan output yang digunakan oleh fungsi AI generatif.

Fungsi AI generatif BigQuery menggunakan model bahasa besar (LLM) untuk melakukan analisis lanjutan dalam kueri SQL Anda. Karena penggunaan LLM biasanya ditagih berdasarkan jumlah token yang diproses, BigQuery menyediakan kuota token untuk membantu Anda mengelola dan mengontrol biaya yang terkait dengan penggunaan fungsi ini.

Kuota token berlaku untuk fungsi SQL BigQuery yang dirancang untuk tugas inferensi AI generatif yang menggunakan LLM Gemini, seperti fungsi AI.CLASSIFY dan AI.GENERATE_TEXT fungsi. Kuota token tidak berlaku untuk fungsi pembuatan embedding dan penelusuran semantik, seperti AI.EMBED, yang memiliki struktur penagihan yang berbeda.

Detail kuota

BigQuery menyediakan kuota harian berikut berdasarkan penggunaan token LLM. Penggunaan token berkorelasi langsung dengan penagihan Vertex AI untuk fungsi AI generatif BigQuery yang menggunakan model Gemini. Kuota ini dilacak secara global di semua region.

Kuota token ini mengatur jumlah token input dan output yang diproses oleh LLM untuk fungsi AI generatif:

  • Token input: Token yang dikirim ke model untuk diproses. Hal ini mencakup token dalam teks perintah dan data lain yang diberikan ke model sebagai input.
  • Token output: Token yang dihasilkan oleh model dalam responsnya. Hal ini mencakup token dalam teks yang dihasilkan (token kandidat) dan token yang dihasilkan selama langkah-langkah penalaran internal (token pemikiran).

Nama kuota Metrik Cakupan Nilai default
GenAiInputTokensPerDay Token input yang digunakan oleh LLM Per hari per project 200.000.000.000
GenAiInputTokensPerUserPerDay Token input yang digunakan oleh LLM Per hari per pengguna 40.000.000.000
GenAiOutputTokensPerDay Token output dan pemikiran yang digunakan oleh LLM Per hari per project 20.000.000.000
GenAiOutputTokensPerUserPerDay Token output dan pemikiran yang digunakan oleh LLM Per hari per pengguna 4.000.000.000

Kuota ini dilacak dalam kelipatan jutaan token. Meskipun Anda dapat menetapkan batas yang tepat, nilai yang lebih kecil dari beberapa juta token mungkin tidak tercermin dengan akurasi sempurna karena sifat pelaporan dan agregasi token.

Token yang di-cache tidak dihitung dalam kuota.

Mengelola kuota

Bergantung pada penggunaan resource, Anda mungkin ingin melihat atau menyesuaikan nilai kuota token ke atas atau ke bawah. Anda dapat menggunakan Google Cloud konsol untuk melakukan tugas-tugas berikut:

  1. Di Google Cloud konsol, buka halaman IAM & Admin > Quotas & System Limits.

    Buka Quotas &System Limits

  2. Filter kuota dengan memasukkan Service: BigQuery API.

  3. Telusuri kuota tertentu dari daftar kuota (misalnya, telusuri GenAiInputTokensPerDay).

  4. Klik Edit.

  5. Tambahkan atau kurangi kuota di panel Quota changes dengan memasukkan nilai baru.

    • Jika workload Anda memerlukan kapasitas yang lebih besar daripada batas default, Anda dapat meminta penambahan kuota.
    • Jika Anda ingin menetapkan batas yang lebih ketat pada penggunaan untuk mencegah pembengkakan anggaran, Anda dapat membuat penggantian kuota untuk membatasi penggunaan.

  6. Klik Submit request.

Perilaku pemberlakuan kuota

BigQuery memantau penggunaan token Anda pada beberapa tahap eksekusi kueri:

  • Pemeriksaan pra-eksekusi: BigQuery memeriksa kuota token yang tersedia sebelum menjalankan kueri yang berisi fungsi AI generatif. Jika kuota yang relevan (misalnya, token input harian project) sudah habis, kueri akan ditolak dengan error QuotaExceeded.
  • Selama eksekusi: Jika kueri berjalan dan menggunakan token sehingga menghabiskan salah satu kuota yang dikonfigurasi (input atau output, per project atau per pengguna), panggilan LLM baru dalam kueri tersebut akan ditolak.
    • Baris yang tersisa yang bergantung pada panggilan LLM akan mengalami error kehabisan kuota.
    • Hasil kueri bergantung pada argumen max_error_ratio jika digunakan dalam fungsi seperti AI.IF. Jika rasio error tetap dalam batas yang diizinkan, hasil sebagian mungkin akan ditampilkan. Jika tidak, seluruh kueri akan gagal.
    • Kueri berikutnya yang mencoba menggunakan fungsi AI generatif akan gagal dengan error QuotaExceeded hingga kuota harian direset.

Pertimbangan penting

  • Kuota global: Kuota yang ditentukan bersifat global. Penggunaan token diagregasi di semua region tempat project Anda beroperasi, sehingga memberikan mekanisme kontrol biaya yang terpadu. Hal ini mencegah tagihan yang tidak terduga dari penggunaan di berbagai region.
  • Throughput yang disediakan: Jika Anda menggunakan model Platform Agen Gemini Enterprise dengan throughput yang disediakan, penagihan tidak didasarkan pada penggunaan token. Anda harus menetapkan kuota token BigQuery ini ke nilai yang tinggi untuk menghindari pemblokiran kueri yang tidak perlu.

Langkah berikutnya