Memecahkan masalah pengelolaan workload BigQuery

Dokumen ini menunjukkan cara memecahkan masalah umum terkait pengelolaan workload BigQuery, termasuk alokasi dan penetapan pemesanan, error konfigurasi pemesanan, komitmen kapasitas, pertentangan slot, pemantauan pemesanan, dan logging percakapan analisis percakapan.

Untuk melihat dan mengelola pemesanan, komitmen, dan diagram resource administratif, pastikan Anda memiliki peran Identity and Access Management (IAM) yang diperlukan, seperti peran BigQuery Resource Viewer (roles/bigquery.resourceViewer) atau BigQuery Resource Admin (roles/bigquery.resourceAdmin) di project administrasi. Untuk informasi selengkapnya, lihat Kontrol akses dengan IAM.

Memecahkan masalah terkait pemesanan

Gunakan informasi berikut untuk memecahkan masalah umum terkait pemesanan, seperti error saat menambahkan slot, alasan pemesanan tidak digunakan untuk tugas BigQuery, atau pemesanan yang tidak dikenali.

Tidak dapat menambahkan slot lagi ke ukuran pemesanan

Jika Anda mengalami error seperti Failed to allocate slots for reservation in the current system state atau Failed to update reservation: Failed to allocate slots for reservation saat mencoba menambahkan lebih banyak slot ke pemesanan, hal ini biasanya merupakan masalah sementara. Untuk mengurangi masalah ini, lakukan hal berikut:

  • Coba lagi dengan jumlah slot yang lebih kecil.
  • Jika mencoba dengan jumlah slot yang lebih kecil gagal, tunggu 15 menit dan coba lagi operasi tersebut.

Jika setelah mencoba ulang beberapa kali dan menunggu selama 30 menit Anda masih menerima error yang sama, hubungi Cloud Customer Care.

Kuota tidak cukup untuk menyelesaikan permintaan ini

Jika pesan error menyatakan There is insufficient quota to complete this request, permintaan melebihi batas kuota yang ditetapkan untuk project.

Untuk mengatasi error ini, lakukan salah satu tindakan berikut:

  • Tambahkan jumlah slot yang lebih kecil ke pemesanan agar permintaan tidak melebihi batas kuota.
  • Minta penambahan kuota di region yang sesuai. Untuk mengetahui informasi selengkapnya, lihat Meminta penambahan kuota.

Pemesanan tidak digunakan oleh BigQuery untuk menjalankan tugas

Ada beberapa skenario saat tugas mungkin berjalan menggunakan harga on-demand atau kumpulan slot bersama gratis, bukan menggunakan pemesanan yang Anda buat.

Kueri dan pemesanan berada di region yang berbeda

Pemesanan adalah resource regional. Kueri berjalan di lokasi yang sama dengan tabel yang direferensikan dalam kueri.

Jika lokasi tabel tidak cocok dengan lokasi pemesanan, kueri tidak akan menggunakan pemesanan, melainkan berjalan menggunakan harga on-demand (atau gabungan slot bersama gratis untuk tugas pemuatan dan ekspor batch yang memenuhi syarat).

Membuat kueri tabel BigQuery Omni

Saat membuat kueri tabel BigQuery Omni, pastikan Anda membuat pemesanan di region yang sama dengan tabel, bukan di region yang ditempatkan bersama. Jika Anda membuat pemesanan di region BigQuery yang ditempatkan bersama, kueri akan berjalan menggunakan harga on-demand.

Reservasi telah dibuat, tetapi project tidak ditetapkan ke reservasi tersebut

Untuk menggunakan slot dalam pemesanan, Anda harus membuat penetapan yang menetapkan project, folder, atau organisasi ke pemesanan tertentu. Pastikan project memiliki penetapan yang sesuai untuk pemesanan.

Ketidakcocokan jenis pekerjaan

Pastikan untuk memilih jenis pekerjaan yang benar saat membuat penetapan; jika tidak, tugas tidak akan menggunakan pemesanan.

Misalnya, jika Anda memilih PIPELINE sebagai jenis pekerjaan, semua tugas kueri akan dijalankan menggunakan harga on-demand. Ubah jenis penetapan menjadi QUERY agar tugas kueri dijalankan menggunakan pemesanan.

Kueri multi-pernyataan

Jika Anda menjalankan kueri multi-pernyataan, objek tugas induk tidak memiliki pemesanan yang terkait dengannya, meskipun tugas turunan berjalan dalam pemesanan.

Untuk mengonfirmasi apakah tugas benar-benar menggunakan pemesanan, periksa metadata tugas turunan.

Mengambil hasil yang di-cache

Saat tugas kueri mengambil hasil yang di-cache, kolom pemesanan akan kosong karena BigQuery tidak melakukan komputasi dan mengambil hasil langsung dari tabel sementara.

Operasi modifikasi baris pengambilan data perubahan

Jika Anda memiliki tabel change data capture (CDC), BigQuery akan menerapkan modifikasi baris yang tertunda dalam interval max_staleness sebagai tugas latar belakang yang menggunakan jenis penetapan BACKGROUND. Jika tidak ada penetapan BACKGROUND, tugas ini akan menggunakan harga on-demand. Pertimbangkan untuk membuat penetapan BACKGROUND untuk project guna menghindari biaya on-demand yang tidak terduga. Anda dapat mengidentifikasi tugas ini berdasarkan substring queueworker_cdc_background_merge_coalesce di ID tugas.

Jenis model BigQuery ML yang menggunakan layanan eksternal

Jika tidak ada penetapan pemesanan dengan jenis tugas ML_EXTERNAL yang ditemukan dalam project, tugas pembuatan model eksternal akan dijalankan menggunakan harga on-demand. Penetapan jenis tugas QUERY berlaku untuk model BigQuery ML standar dan model faktorisasi matriks (yang memerlukan pemesanan edisi Enterprise atau Enterprise Plus), sedangkan model eksternal memerlukan penetapan ML_EXTERNAL. Untuk mengetahui informasi selengkapnya, lihat Menetapkan slot ke workload BigQuery.

Pemesanan yang tidak dikenali diidentifikasi dalam project

BigQuery memiliki pemesanan yang mewakili kumpulan slot bersama gratis untuk operasi tertentu di BigQuery.

default-pipeline

Secara default, pemuatan batch atau ekspor batch data di BigQuery menggunakan kumpulan slot bersama gratis. Saat Anda memeriksa tugas pemuatan atau ekstraksi ini, kolom pemesanan akan menampilkan default-pipeline.

Tidak ada biaya untuk menggunakan gabungan slot bersama. Jika Anda menginginkan performa yang konsisten dan dapat diprediksi, pertimbangkan untuk membeli pemesanan PIPELINE.

Memecahkan masalah tugas pengelolaan pemesanan

Anda mungkin mengalami error berikut saat membuat atau memperbarui pemesanan.

Ukuran pemesanan atau slot dasar pengukuran harus berupa kelipatan 50

Pesan error

  • Max reservation size can only be configured in multiples of 50, except when covered by excess commitments.
  • Baseline slots can only be configured in multiples of 50, except when covered by excess commitments.

Penyebab

Slot selalu diskalakan otomatis ke kelipatan 50. BigQuery meningkatkan skala slot berdasarkan penggunaan aktual dan membulatkan ke atas ke penambahan 50 slot terdekat. Jika tidak ada komitmen atau jika komitmen tidak dapat menutupi peningkatan, Anda hanya dapat meningkatkan slot dasar pengukuran dan penskalaan otomatis dalam kelipatan 50.

Jika baseline slots atau max reservation size - baseline slots bukan kelipatan 50 (dan tidak tercakup dalam komitmen kapasitas berlebih), reservasi tidak dapat ditingkatkan skalanya ke ukuran reservasi maksimum, sehingga menyebabkan error ini.

Resolusi

Lakukan salah satu hal berikut:

  • Membeli lebih banyak komitmen kapasitas untuk menutupi peningkatan slot.
  • Pilih slot dasar pengukuran dan slot maksimum yang merupakan kelipatan 50.

Tidak dapat menggunakan slot maksimum tanpa mengaktifkan keadilan berbasis pemesanan

Pesan error

  • Cannot use max slots without enabling reservation-based fairness.

Penyebab

Anda mencoba mengonfigurasi kapasitas pemesanan maksimum, misalnya, max_slots atau pemesanan yang dapat diprediksi, yang memerlukan keadilan berbasis pemesanan untuk diaktifkan pada project yang memiliki pemesanan.

Resolusi

Anda harus mengaktifkan keadilan berbasis pemesanan di project.

Memecahkan masalah komitmen kapasitas

Bagian ini menjelaskan langkah-langkah pemecahan masalah yang mungkin berguna jika Anda mengalami masalah dengan komitmen kapasitas BigQuery.

Slot yang dibeli sedang menunggu

Slot dapat berubah tergantung kapasitas yang tersedia. Saat Anda membeli komitmen slot dan BigQuery mengalokasikannya, kolom Status akan menampilkan tanda centang. Jika BigQuery tidak dapat langsung mengalokasikan slot yang diminta, kolom Status akan tetap tertunda. Anda mungkin harus menunggu beberapa jam hingga slot tersedia. Jika memerlukan akses ke slot lebih cepat, coba langkah berikut:

  1. Hapus komitmen yang tertunda.
  2. Beli komitmen baru untuk jumlah slot yang lebih kecil. Tergantung kapasitas yang tersedia, komitmen yang lebih kecil dapat langsung aktif.
  3. Beli sisa slot sebagai komitmen terpisah. Slot ini mungkin akan ditampilkan sebagai tertunda di kolom Status, tetapi umumnya akan aktif dalam beberapa jam.
  4. Opsional: Jika kedua komitmen menjadi aktif, gabungkan menjadi satu komitmen, asalkan kedua komitmen berada di region dan edisi yang sama serta memiliki paket komitmen yang sama.

Jika komitmen slot gagal atau memerlukan waktu lama untuk selesai, pertimbangkan untuk menggunakan harga on demand untuk sementara. Dengan solusi ini, Anda dapat menjalankan kueri penting di project lain yang tidak ditetapkan ke pemesanan apa pun, menetapkan project ke None, atau menghapus penetapan project sama sekali.

Memecahkan masalah pertentangan slot

Perebutan slot dapat terjadi jika tidak ada cukup slot untuk menjalankan semua tugas Anda, sehingga menyebabkan masalah performa. Untuk menganalisis apakah penurunan performa disebabkan oleh peningkatan workload atau perubahan konfigurasi lingkungan, Anda dapat membandingkan dua interval sistem di seluruh pemesanan dan project.

Untuk memecahkan masalah pertentangan slot, gunakan langkah-langkah dan praktik terbaik berikut.

Jika Anda telah mencoba praktik terbaik ini, tetapi masih mengalami masalah performa tugas, Anda dapat meminta dukungan.

Lonjakan konkurensi tugas

Gunakan tampilan mendetail di diagram resource administratif untuk memeriksa lonjakan mendadak dalam eksekusi tugas dengan lonjakan penggunaan slot secara bersamaan. Lonjakan ini dapat mengindikasikan bahwa terlalu banyak tugas yang bersaing untuk slot yang tersedia dalam pemesanan Anda.

Praktik terbaik: Pertimbangkan untuk mengoptimalkan kueri yang menggunakan banyak resource atau meningkatkan kapasitas slot pemesanan Anda. Untuk mengetahui informasi selengkapnya tentang cara mengoptimalkan performa kueri, lihat Mengoptimalkan komputasi kueri.

Penggunaan slot yang tinggi

Gunakan tampilan mendetail untuk memeriksa peningkatan durasi tugas, terutama jika ada tugas yang melebihi kapasitas maksimum pemesanan Anda. Penggunaan slot yang tinggi secara konsisten dapat mengindikasikan pertentangan slot yang sedang berlangsung.

Praktik terbaik: Periksa kueri menggunakan filter pertentangan slot jobs explorer untuk mengidentifikasi kueri yang menggunakan slot terbanyak dan mengoptimalkannya.

Durasi tugas yang lama

Jika tugas memerlukan waktu yang jauh lebih lama untuk diselesaikan, periksa tampilan mendetail. Konkurensi tugas yang tinggi dan lonjakan penggunaan slot dapat mengindikasikan pertentangan slot.

Praktik terbaik: Isolasi tugas penting dengan menjeda sementara tugas yang kurang penting atau mengurangi keseluruhan tingkat pengiriman tugas.

Pesan persaingan slot

Tabel insight dapat menampilkan pesan seperti There were NUMBER jobs detected with slot_contention in the reservation. yang menunjukkan masalah pertentangan slot. Periksa penjelajah tugas untuk meninjau detail tentang tugas tertentu yang ditandai dalam pesan ini.

Praktik terbaik: Optimalkan kueri yang diidentifikasi atau sesuaikan alokasi slot pemesanan Anda.

Memecahkan masalah pemantauan pemesanan

Bagian berikut menjelaskan cara menyelesaikan masalah umum saat memantau reservasi dan penggunaan slot BigQuery.

Metrik penggunaan slot tidak cocok dengan INFORMATION_SCHEMA

Jika Anda menemukan perbedaan antara metrik penggunaan slot dalam diagram resource dan data INFORMATION_SCHEMA, coba langkah berikut:

  • Kurangi perincian. Ubah perincian diagram menjadi interval 1 detik, bukan interval 1 jam.
  • Menyelaraskan agregasi. Pastikan Anda menggunakan metode agregasi yang selaras antara diagram resource dan data INFORMATION_SCHEMA. Misalnya, untuk mencerminkan penggunaan puncak dengan lebih baik dalam diagram resource, ubah agregasi metrik menjadi p99 atau p90 secara konsisten.

Slot pinjaman muncul saat slot tidak aktif dinonaktifkan

Diagram pemantauan Anda mungkin menampilkan nilai bukan nol untuk borrowed_slots meskipun ignore_idle_slots=true ditetapkan untuk satu atau beberapa pemesanan. Setelan ini mencegah pemesanan meminjam slot tidak ada aktivitas, tetapi tidak mencegahnya meminjamkan slot yang tidak digunakan ke pemesanan lain.

Slot yang dipinjam ini muncul dalam kasus berikut:

  • Meminjamkan ke pemesanan lain. Pemesanan dengan ignore_idle_slots=true dapat meminjamkan slot dasar pengukurannya yang tidak digunakan ke pemesanan lain dalam project, region, dan edisi administrasi yang sama yang mengizinkan peminjaman slot tidak aktif (ignore_idle_slots=false). Jika semua pemesanan dalam project, region, dan edisi administrasi memiliki ignore_idle_slots=true, slot tidak aktif tidak akan dibagikan di antara pemesanan tersebut.

    Misalnya, Pemesanan A memiliki 100 slot, 0 penggunaan, dan dikonfigurasi dengan ignore_idle_slots=true. Pemesanan B berada dalam project administrasi, region, dan edisi yang sama, memiliki 100 slot, memerlukan 150 slot untuk workload-nya, dan dikonfigurasi dengan ignore_idle_slots=false. Pemesanan B dapat meminjam 50 slot tidak aktif dari Pemesanan A untuk memenuhi kebutuhannya. Jika hal ini terjadi, diagram pemantauan akan melaporkan 50 lent_slots untuk Reservasi A dan 50 borrowed_slots untuk Reservasi B.

  • Penggunaan melebihi kapasitas. Jika penggunaan slot reservasi untuk sementara melebihi kapasitasnya (slot dasar pengukuran + slot yang diskalakan otomatis), diagram pemantauan akan menampilkan perbedaan ini sebagai borrowed_slots. Perilaku ini dapat terjadi bahkan untuk pemesanan dengan ignore_idle_slots=true.

Penggunaan slot terkadang dapat melebihi jumlah slot dasar pengukuran ditambah slot yang diskalakan. Anda tidak akan ditagih untuk penggunaan slot yang lebih besar dari slot dasar plus slot yang diskalakan.

Slot yang dipinjam muncul sebelum pemesanan digunakan sepenuhnya

Dasbor pemantauan menggunakan data sampel, yang mungkin tidak mencerminkan waktu penggunaan slot yang tepat dalam interval pengambilan sampel secara akurat.

Untuk analisis penggunaan slot yang lebih akurat, buat kueri kolom yang terkait dengan slot tidak aktif, seperti kolom borrowed_slots dan lent_slots dalam tampilan INFORMATION_SCHEMA.RESERVATIONS_TIMELINE.

Memecahkan masalah logging percakapan

Gunakan informasi berikut untuk memecahkan masalah umum terkait logging percakapan analisis percakapan di BigQuery. Karena error logging tidak pernah menggagalkan giliran percakapan dan tidak dilaporkan dalam chat atau di Cloud Logging, tabel tujuan yang kosong atau tidak ada adalah sinyal utama masalah konfigurasi atau izin.

Tabel log tidak ada atau kosong

Jika tabel tujuan tidak dibuat atau tetap kosong setelah giliran percakapan, periksa kemungkinan penyebab berikut:

  • Logging percakapan tidak disimpan atau dipublikasikan. Di BigQuery Studio, muat ulang halaman, buka kembali setelan agen, dan pastikan Enable conversation logging diaktifkan, set data dan tabel tujuan ditetapkan, dan perubahan Anda dipublikasikan.

  • Set data tujuan tidak ada atau berada di project lain. Pastikan set data tujuan sudah ada di project yang sama dengan agen data. Anda dapat memverifikasi bahwa set data ada dengan menjalankan bq show PROJECT_ID:LOG_DATASET. Ganti PROJECT_ID dengan ID project yang berisi agen data, dan LOG_DATASET dengan ID set data tujuan. Agen layanan membuat tabel log pada giliran pertama yang dicatat ke dalam log, tetapi tidak membuat set data.

  • Set data tujuan adalah set data hanya baca, seperti set data tertaut. Set data tertaut BigQuery sharing atau set data eksternal (misalnya, set data gabungan AWS Glue) bersifat hanya baca dan tidak dapat menyimpan log percakapan. Untuk memeriksa jenis set data, jalankan bq show --format=prettyjson PROJECT_ID:LOG_DATASET dan periksa kolom "type" ("LINKED" atau "EXTERNAL"). Pilih set data standar yang dapat ditulis dalam project yang sama dengan agen data.

  • Izin agen layanan atau CMEK tidak ada. Pastikan bahwa agen layanan Analisis Percakapan API (service-PROJECT_NUMBER@gcp-sa-geminidataanalytics.iam.gserviceaccount.com, menggunakan nomor project agen, bukan project ID) memiliki peran BigQuery Data Editor (roles/bigquery.dataEditor) di set data log. Jika set data menggunakan kunci Cloud KMS yang dikelola pelanggan (CMEK), pastikan akun layanan enkripsi BigQuery (bq-PROJECT_NUMBER@bigquery-encryption.iam.gserviceaccount.com) memiliki peran roles/cloudkms.cryptoKeyEncrypterDecrypter pada kunci tersebut.

  • Perimeter Kontrol Layanan VPC memblokir penulisan. Agen layanan Analisis Percakapan API menulis ke tabel log dari infrastruktur yang dikelola Google, sehingga memberikan roles/bigquery.dataEditor saja tidak cukup jika perimeter layanan membatasi bigquery.googleapis.com. Tidak seperti penyebab lain dalam daftar ini, pemblokiran perimeter mencatat log audit Policy Denied di Cloud Logging dalam project agen; filter menurut log_id("cloudaudit.googleapis.com/policy") di bagian bigquery.googleapis.com (untuk pencarian atau pembuatan tabel) dan bigquerystorage.googleapis.com (untuk penambahan baris) untuk mengonfirmasi pemblokiran. Pastikan geminidataanalytics.googleapis.com dan bigquery.googleapis.com berada di perimeter, dan tambahkan aturan ingress untuk agen layanan di bigquery.googleapis.com. Untuk contoh aturan ingress, lihat Kontrol akses, enkripsi, dan keamanan jaringan. Untuk panduan penyiapan perimeter umum, lihat Mengonfigurasi keamanan perimeter dengan Kontrol Layanan VPC.

  • Platform percakapan atau konfigurasi agen tidak didukung. Percakapan di panel Preview BigQuery Studio tidak dicatat ke dalam log. Uji dari layar chat utama agen yang dipublikasikan. Agen yang menggunakan cakupan penelusuran, bukan tabel BigQuery tertentu, yang mengonfigurasi grafik properti sebagai sumber pengetahuan, atau yang tidak mendeklarasikan tabel BigQuery, tidak akan dicatat ke dalam log. Untuk mengetahui informasi selengkapnya, lihat Batasan.

  • Tabel sumber pengetahuan menggunakan kebijakan akses. Jika ada tabel sumber pengetahuan yang menggunakan kebijakan akses tingkat baris, keamanan tingkat kolom (tag kebijakan), atau penyamaran data dinamis, giliran tidak akan dicatat ke dalam log.

  • Konflik skema pada tabel tujuan yang ada. Jika Anda mengonfigurasi tabel yang ada sebagai tujuan dan kolom memiliki nama yang sama dengan kolom skema log percakapan, tetapi memiliki jenis atau mode yang berbeda, BigQuery tidak akan menulis baris ke tabel tersebut.

Baris biasanya muncul dalam beberapa detik setelah giliran selesai. Jika baris masih belum muncul setelah Anda menunggu beberapa menit, muat ulang set data.

Percakapan beberapa pengguna tidak dicatat ke dalam log

Penyebab

Sebelum setiap giliran, pemeriksaan privasi menggunakan kredensial pengguna yang melakukan chat untuk memverifikasi bahwa tabel sumber pengetahuan agen tidak memiliki kebijakan keamanan tingkat baris, keamanan tingkat kolom, atau penyamaran data. Jika pengguna tidak memiliki izin untuk menjalankan pemeriksaan ini, gilirannya tidak akan dicatat ke dalam log.

Resolusi

Berikan peran BigQuery Data Viewer (roles/bigquery.dataViewer) kepada semua pengguna chat di tabel sumber pengetahuan dan peran BigQuery Job User (roles/bigquery.jobUser) pada project yang menjalankan kueri mereka, atau berikan peran khusus dengan izin bigquery.tables.get dan bigquery.rowAccessPolicies.list pada tabel sumber pengetahuan.

Penyimpanan agen gagal dengan error INVALID_ARGUMENT

Pesan error

  • The BigQuery Agent Analytics table must be in the same project as the agent (agent project: ..., table project: ...).

  • BigQuery Agent Analytics can only be enabled on agents whose datasource is BigQuery. Remove bigquery_agent_analytics_enabled and bigquery_agent_analytics_table, or point the agent at a BigQuery datasource.

Penyebab

Set data tujuan berada di project yang berbeda dengan agen data, atau sumber data agen bukan BigQuery.

Resolusi

Pilih set data tujuan yang ada di project yang sama dengan agen data, atau konfigurasikan agen data dengan sumber data BigQuery.

Pemberian akses set data gagal karena agen layanan tidak ada

Pesan error

  • Service account service-PROJECT_NUMBER@gcp-sa-geminidataanalytics... does not exist

Penyebab

Agen layanan Analisis Percakapan API belum disediakan dalam project.

Resolusi

Lakukan salah satu hal berikut:

  • Konfigurasikan tujuan log pada agen terlebih dahulu, lalu berikan peran lagi.

  • Sediakan identitas layanan dengan menjalankan perintah berikut:

    gcloud beta services identity create \
        --service=geminidataanalytics.googleapis.com \
        --project=PROJECT_ID

    Ganti PROJECT_ID dengan ID project yang berisi agen data.

Setelan logging percakapan tidak tersedia di BigQuery Studio

Penyebab

Anda melihat versi Dipublikasikan dari agen data, yang setelan konfigurasinya bersifat hanya baca, atau agen data tidak memiliki tabel BigQuery tertentu yang dipilih sebagai sumber pengetahuan.

Resolusi

Alihkan pemilih tampilan ke Draft, pastikan tabel BigQuery tertentu dipilih sebagai sumber pengetahuan, perbarui setelan logging percakapan, lalu publikasikan agen.

Langkah berikutnya