Memecahkan masalah pengelolaan workload BigQuery
Dokumen ini menunjukkan cara memecahkan masalah umum terkait pengelolaan workload BigQuery, termasuk alokasi dan penetapan pemesanan, error konfigurasi pemesanan, komitmen kapasitas, pertentangan slot, pemantauan pemesanan, dan logging percakapan analisis percakapan.
Untuk melihat dan mengelola pemesanan, komitmen, dan diagram resource administratif, pastikan Anda memiliki peran Identity and Access Management (IAM) yang diperlukan, seperti peran BigQuery Resource Viewer (roles/bigquery.resourceViewer) atau BigQuery Resource Admin (roles/bigquery.resourceAdmin) di project administrasi. Untuk informasi
selengkapnya, lihat Kontrol akses dengan IAM.
Memecahkan masalah terkait pemesanan
Gunakan informasi berikut untuk memecahkan masalah umum terkait pemesanan, seperti error saat menambahkan slot, alasan pemesanan tidak digunakan untuk tugas BigQuery, atau pemesanan yang tidak dikenali.
Tidak dapat menambahkan slot lagi ke ukuran pemesanan
Jika Anda mengalami error seperti Failed to allocate slots for reservation in the
current system state atau Failed to update reservation: Failed to allocate slots
for reservation saat mencoba menambahkan lebih banyak slot ke pemesanan, hal ini biasanya merupakan masalah sementara. Untuk mengurangi masalah ini, lakukan hal berikut:
- Coba lagi dengan jumlah slot yang lebih kecil.
- Jika mencoba dengan jumlah slot yang lebih kecil gagal, tunggu 15 menit dan coba lagi operasi tersebut.
Jika setelah mencoba ulang beberapa kali dan menunggu selama 30 menit Anda masih menerima error yang sama, hubungi Cloud Customer Care.
Kuota tidak cukup untuk menyelesaikan permintaan ini
Jika pesan error menyatakan There is insufficient quota to complete this
request, permintaan melebihi batas kuota yang ditetapkan untuk project.
Untuk mengatasi error ini, lakukan salah satu tindakan berikut:
- Tambahkan jumlah slot yang lebih kecil ke pemesanan agar permintaan tidak melebihi batas kuota.
- Minta penambahan kuota di region yang sesuai. Untuk mengetahui informasi selengkapnya, lihat Meminta penambahan kuota.
Pemesanan tidak digunakan oleh BigQuery untuk menjalankan tugas
Ada beberapa skenario saat tugas mungkin berjalan menggunakan harga on-demand atau kumpulan slot bersama gratis, bukan menggunakan pemesanan yang Anda buat.
Kueri dan pemesanan berada di region yang berbeda
Pemesanan adalah resource regional. Kueri berjalan di lokasi yang sama dengan tabel yang direferensikan dalam kueri.
Jika lokasi tabel tidak cocok dengan lokasi pemesanan, kueri tidak akan menggunakan pemesanan, melainkan berjalan menggunakan harga on-demand (atau gabungan slot bersama gratis untuk tugas pemuatan dan ekspor batch yang memenuhi syarat).
Membuat kueri tabel BigQuery Omni
Saat membuat kueri tabel BigQuery Omni, pastikan Anda membuat pemesanan di region yang sama dengan tabel, bukan di region yang ditempatkan bersama. Jika Anda membuat pemesanan di region BigQuery yang ditempatkan bersama, kueri akan berjalan menggunakan harga on-demand.
Reservasi telah dibuat, tetapi project tidak ditetapkan ke reservasi tersebut
Untuk menggunakan slot dalam pemesanan, Anda harus membuat penetapan yang menetapkan project, folder, atau organisasi ke pemesanan tertentu. Pastikan project memiliki penetapan yang sesuai untuk pemesanan.
Ketidakcocokan jenis pekerjaan
Pastikan untuk memilih jenis pekerjaan yang benar saat membuat penetapan; jika tidak, tugas tidak akan menggunakan pemesanan.
Misalnya, jika Anda memilih PIPELINE sebagai jenis pekerjaan, semua tugas kueri akan dijalankan menggunakan harga on-demand. Ubah jenis penetapan menjadi QUERY agar tugas kueri
dijalankan menggunakan pemesanan.
Kueri multi-pernyataan
Jika Anda menjalankan kueri multi-pernyataan, objek tugas induk tidak memiliki pemesanan yang terkait dengannya, meskipun tugas turunan berjalan dalam pemesanan.
Untuk mengonfirmasi apakah tugas benar-benar menggunakan pemesanan, periksa metadata tugas turunan.
Mengambil hasil yang di-cache
Saat tugas kueri mengambil hasil yang di-cache, kolom pemesanan akan kosong karena BigQuery tidak melakukan komputasi dan mengambil hasil langsung dari tabel sementara.
Operasi modifikasi baris pengambilan data perubahan
Jika Anda memiliki
tabel change data capture (CDC),
BigQuery akan menerapkan modifikasi baris yang tertunda dalam
interval max_staleness sebagai tugas latar belakang yang menggunakan jenis penetapan
BACKGROUND. Jika tidak ada penetapan BACKGROUND, tugas ini akan menggunakan harga on-demand. Pertimbangkan untuk membuat penetapan BACKGROUND untuk project guna menghindari biaya on-demand yang tidak terduga. Anda dapat mengidentifikasi tugas ini berdasarkan substring queueworker_cdc_background_merge_coalesce di ID tugas.
Jenis model BigQuery ML yang menggunakan layanan eksternal
Jika tidak ada penetapan pemesanan dengan jenis tugas ML_EXTERNAL yang ditemukan dalam project, tugas pembuatan model eksternal akan dijalankan menggunakan harga on-demand. Penetapan jenis tugas QUERY
berlaku untuk model BigQuery ML standar dan
model faktorisasi matriks (yang memerlukan pemesanan edisi Enterprise atau
Enterprise Plus), sedangkan model eksternal memerlukan
penetapan ML_EXTERNAL. Untuk mengetahui informasi selengkapnya, lihat Menetapkan slot ke workload BigQuery.
Pemesanan yang tidak dikenali diidentifikasi dalam project
BigQuery memiliki pemesanan yang mewakili kumpulan slot bersama gratis untuk operasi tertentu di BigQuery.
default-pipeline
Secara default, pemuatan batch atau ekspor batch data di BigQuery menggunakan kumpulan slot bersama gratis. Saat Anda memeriksa tugas pemuatan atau ekstraksi ini, kolom pemesanan akan menampilkan default-pipeline.
Tidak ada biaya untuk menggunakan gabungan slot bersama. Jika Anda menginginkan performa yang konsisten dan dapat diprediksi, pertimbangkan untuk membeli pemesanan PIPELINE.
Memecahkan masalah tugas pengelolaan pemesanan
Anda mungkin mengalami error berikut saat membuat atau memperbarui pemesanan.
Ukuran pemesanan atau slot dasar pengukuran harus berupa kelipatan 50
Pesan error
Max reservation size can only be configured in multiples of 50, except when covered by excess commitments.Baseline slots can only be configured in multiples of 50, except when covered by excess commitments.
Penyebab
Slot selalu diskalakan otomatis ke kelipatan 50. BigQuery meningkatkan skala slot berdasarkan penggunaan aktual dan membulatkan ke atas ke penambahan 50 slot terdekat. Jika tidak ada komitmen atau jika komitmen tidak dapat menutupi peningkatan, Anda hanya dapat meningkatkan slot dasar pengukuran dan penskalaan otomatis dalam kelipatan 50.
Jika baseline slots atau max reservation size - baseline slots bukan kelipatan 50 (dan tidak tercakup dalam komitmen kapasitas berlebih), reservasi tidak dapat ditingkatkan skalanya ke ukuran reservasi maksimum, sehingga menyebabkan error ini.
Resolusi
Lakukan salah satu hal berikut:
- Membeli lebih banyak komitmen kapasitas untuk menutupi peningkatan slot.
- Pilih slot dasar pengukuran dan slot maksimum yang merupakan kelipatan 50.
Tidak dapat menggunakan slot maksimum tanpa mengaktifkan keadilan berbasis pemesanan
Pesan error
Cannot use max slots without enabling reservation-based fairness.
Penyebab
Anda mencoba mengonfigurasi kapasitas pemesanan maksimum, misalnya,
max_slots atau pemesanan yang dapat diprediksi, yang memerlukan keadilan berbasis pemesanan
untuk diaktifkan pada project yang memiliki pemesanan.
Resolusi
Anda harus mengaktifkan keadilan berbasis pemesanan di project.
Memecahkan masalah komitmen kapasitas
Bagian ini menjelaskan langkah-langkah pemecahan masalah yang mungkin berguna jika Anda mengalami masalah dengan komitmen kapasitas BigQuery.
Slot yang dibeli sedang menunggu
Slot dapat berubah tergantung kapasitas yang tersedia. Saat Anda membeli komitmen slot dan BigQuery mengalokasikannya, kolom Status akan menampilkan tanda centang. Jika BigQuery tidak dapat langsung mengalokasikan slot yang diminta, kolom Status akan tetap tertunda. Anda mungkin harus menunggu beberapa jam hingga slot tersedia. Jika memerlukan akses ke slot lebih cepat, coba langkah berikut:
- Hapus komitmen yang tertunda.
- Beli komitmen baru untuk jumlah slot yang lebih kecil. Tergantung kapasitas yang tersedia, komitmen yang lebih kecil dapat langsung aktif.
- Beli sisa slot sebagai komitmen terpisah. Slot ini mungkin akan ditampilkan sebagai tertunda di kolom Status, tetapi umumnya akan aktif dalam beberapa jam.
- Opsional: Jika kedua komitmen menjadi aktif, gabungkan menjadi satu komitmen, asalkan kedua komitmen berada di region dan edisi yang sama serta memiliki paket komitmen yang sama.
Jika komitmen slot gagal atau memerlukan waktu lama untuk selesai, pertimbangkan untuk menggunakan
harga on demand
untuk sementara. Dengan solusi ini, Anda dapat menjalankan kueri penting di project lain yang tidak ditetapkan ke pemesanan apa pun, menetapkan project ke None, atau menghapus penetapan project sama sekali.
Memecahkan masalah pertentangan slot
Perebutan slot dapat terjadi jika tidak ada cukup slot untuk menjalankan semua tugas Anda, sehingga menyebabkan masalah performa. Untuk menganalisis apakah penurunan performa disebabkan oleh peningkatan workload atau perubahan konfigurasi lingkungan, Anda dapat membandingkan dua interval sistem di seluruh pemesanan dan project.
Untuk memecahkan masalah pertentangan slot, gunakan langkah-langkah dan praktik terbaik berikut.
Jika Anda telah mencoba praktik terbaik ini, tetapi masih mengalami masalah performa tugas, Anda dapat meminta dukungan.
Lonjakan konkurensi tugas
Gunakan tampilan mendetail di diagram resource administratif untuk memeriksa lonjakan mendadak dalam eksekusi tugas dengan lonjakan penggunaan slot secara bersamaan. Lonjakan ini dapat mengindikasikan bahwa terlalu banyak tugas yang bersaing untuk slot yang tersedia dalam pemesanan Anda.
Praktik terbaik: Pertimbangkan untuk mengoptimalkan kueri yang menggunakan banyak resource atau meningkatkan kapasitas slot pemesanan Anda. Untuk mengetahui informasi selengkapnya tentang cara mengoptimalkan performa kueri, lihat Mengoptimalkan komputasi kueri.
Penggunaan slot yang tinggi
Gunakan tampilan mendetail untuk memeriksa peningkatan durasi tugas, terutama jika ada tugas yang melebihi kapasitas maksimum pemesanan Anda. Penggunaan slot yang tinggi secara konsisten dapat mengindikasikan pertentangan slot yang sedang berlangsung.
Praktik terbaik: Periksa kueri menggunakan filter pertentangan slot jobs explorer untuk mengidentifikasi kueri yang menggunakan slot terbanyak dan mengoptimalkannya.
Durasi tugas yang lama
Jika tugas memerlukan waktu yang jauh lebih lama untuk diselesaikan, periksa tampilan mendetail. Konkurensi tugas yang tinggi dan lonjakan penggunaan slot dapat mengindikasikan pertentangan slot.
Praktik terbaik: Isolasi tugas penting dengan menjeda sementara tugas yang kurang penting atau mengurangi keseluruhan tingkat pengiriman tugas.
Pesan persaingan slot
Tabel insight dapat
menampilkan pesan seperti There were NUMBER jobs detected with
slot_contention in the reservation. yang menunjukkan masalah pertentangan slot.
Periksa penjelajah tugas untuk meninjau detail
tentang tugas tertentu yang ditandai dalam pesan ini.
Praktik terbaik: Optimalkan kueri yang diidentifikasi atau sesuaikan alokasi slot pemesanan Anda.
Memecahkan masalah pemantauan pemesanan
Bagian berikut menjelaskan cara menyelesaikan masalah umum saat memantau reservasi dan penggunaan slot BigQuery.
Metrik penggunaan slot tidak cocok dengan INFORMATION_SCHEMA
Jika Anda menemukan perbedaan antara metrik penggunaan slot dalam diagram resource
dan data INFORMATION_SCHEMA, coba langkah berikut:
- Kurangi perincian. Ubah perincian diagram menjadi interval 1 detik, bukan interval 1 jam.
- Menyelaraskan agregasi. Pastikan Anda menggunakan metode agregasi yang selaras antara diagram resource dan data
INFORMATION_SCHEMA. Misalnya, untuk mencerminkan penggunaan puncak dengan lebih baik dalam diagram resource, ubah agregasi metrik menjadi p99 atau p90 secara konsisten.
Slot pinjaman muncul saat slot tidak aktif dinonaktifkan
Diagram pemantauan Anda mungkin menampilkan nilai bukan nol untuk borrowed_slots meskipun
ignore_idle_slots=true ditetapkan untuk satu atau beberapa pemesanan. Setelan ini mencegah pemesanan meminjam slot tidak ada aktivitas, tetapi tidak mencegahnya meminjamkan slot yang tidak digunakan ke pemesanan lain.
Slot yang dipinjam ini muncul dalam kasus berikut:
Meminjamkan ke pemesanan lain. Pemesanan dengan
ignore_idle_slots=truedapat meminjamkan slot dasar pengukurannya yang tidak digunakan ke pemesanan lain dalam project, region, dan edisi administrasi yang sama yang mengizinkan peminjaman slot tidak aktif (ignore_idle_slots=false). Jika semua pemesanan dalam project, region, dan edisi administrasi memilikiignore_idle_slots=true, slot tidak aktif tidak akan dibagikan di antara pemesanan tersebut.Misalnya, Pemesanan A memiliki 100 slot, 0 penggunaan, dan dikonfigurasi dengan
ignore_idle_slots=true. Pemesanan B berada dalam project administrasi, region, dan edisi yang sama, memiliki 100 slot, memerlukan 150 slot untuk workload-nya, dan dikonfigurasi denganignore_idle_slots=false. Pemesanan B dapat meminjam 50 slot tidak aktif dari Pemesanan A untuk memenuhi kebutuhannya. Jika hal ini terjadi, diagram pemantauan akan melaporkan 50lent_slotsuntuk Reservasi A dan 50borrowed_slotsuntuk Reservasi B.Penggunaan melebihi kapasitas. Jika penggunaan slot reservasi untuk sementara melebihi kapasitasnya (slot dasar pengukuran + slot yang diskalakan otomatis), diagram pemantauan akan menampilkan perbedaan ini sebagai
borrowed_slots. Perilaku ini dapat terjadi bahkan untuk pemesanan denganignore_idle_slots=true.
Penggunaan slot terkadang dapat melebihi jumlah slot dasar pengukuran ditambah slot yang diskalakan. Anda tidak akan ditagih untuk penggunaan slot yang lebih besar dari slot dasar plus slot yang diskalakan.
Slot yang dipinjam muncul sebelum pemesanan digunakan sepenuhnya
Dasbor pemantauan menggunakan data sampel, yang mungkin tidak mencerminkan waktu penggunaan slot yang tepat dalam interval pengambilan sampel secara akurat.
Untuk analisis penggunaan slot yang lebih akurat, buat kueri kolom yang terkait dengan slot tidak aktif, seperti kolom borrowed_slots dan lent_slots dalam tampilan INFORMATION_SCHEMA.RESERVATIONS_TIMELINE.
Memecahkan masalah logging percakapan
Gunakan informasi berikut untuk memecahkan masalah umum terkait logging percakapan analisis percakapan di BigQuery. Karena error logging tidak pernah menggagalkan giliran percakapan dan tidak dilaporkan dalam chat atau di Cloud Logging, tabel tujuan yang kosong atau tidak ada adalah sinyal utama masalah konfigurasi atau izin.
Tabel log tidak ada atau kosong
Jika tabel tujuan tidak dibuat atau tetap kosong setelah giliran percakapan, periksa kemungkinan penyebab berikut:
Logging percakapan tidak disimpan atau dipublikasikan. Di BigQuery Studio, muat ulang halaman, buka kembali setelan agen, dan pastikan Enable conversation logging diaktifkan, set data dan tabel tujuan ditetapkan, dan perubahan Anda dipublikasikan.
Set data tujuan tidak ada atau berada di project lain. Pastikan set data tujuan sudah ada di project yang sama dengan agen data. Anda dapat memverifikasi bahwa set data ada dengan menjalankan
bq show PROJECT_ID:LOG_DATASET. GantiPROJECT_IDdengan ID project yang berisi agen data, danLOG_DATASETdengan ID set data tujuan. Agen layanan membuat tabel log pada giliran pertama yang dicatat ke dalam log, tetapi tidak membuat set data.Set data tujuan adalah set data hanya baca, seperti set data tertaut. Set data tertaut BigQuery sharing atau set data eksternal (misalnya, set data gabungan AWS Glue) bersifat hanya baca dan tidak dapat menyimpan log percakapan. Untuk memeriksa jenis set data, jalankan
bq show --format=prettyjson PROJECT_ID:LOG_DATASETdan periksa kolom"type"("LINKED"atau"EXTERNAL"). Pilih set data standar yang dapat ditulis dalam project yang sama dengan agen data.Izin agen layanan atau CMEK tidak ada. Pastikan bahwa agen layanan Analisis Percakapan API (
service-PROJECT_NUMBER@gcp-sa-geminidataanalytics.iam.gserviceaccount.com, menggunakan nomor project agen, bukan project ID) memiliki peran BigQuery Data Editor (roles/bigquery.dataEditor) di set data log. Jika set data menggunakan kunci Cloud KMS yang dikelola pelanggan (CMEK), pastikan akun layanan enkripsi BigQuery (bq-PROJECT_NUMBER@bigquery-encryption.iam.gserviceaccount.com) memiliki peranroles/cloudkms.cryptoKeyEncrypterDecrypterpada kunci tersebut.Perimeter Kontrol Layanan VPC memblokir penulisan. Agen layanan Analisis Percakapan API menulis ke tabel log dari infrastruktur yang dikelola Google, sehingga memberikan
roles/bigquery.dataEditorsaja tidak cukup jika perimeter layanan membatasibigquery.googleapis.com. Tidak seperti penyebab lain dalam daftar ini, pemblokiran perimeter mencatat log audit Policy Denied di Cloud Logging dalam project agen; filter menurutlog_id("cloudaudit.googleapis.com/policy")di bagianbigquery.googleapis.com(untuk pencarian atau pembuatan tabel) danbigquerystorage.googleapis.com(untuk penambahan baris) untuk mengonfirmasi pemblokiran. Pastikangeminidataanalytics.googleapis.comdanbigquery.googleapis.comberada di perimeter, dan tambahkan aturan ingress untuk agen layanan dibigquery.googleapis.com. Untuk contoh aturan ingress, lihat Kontrol akses, enkripsi, dan keamanan jaringan. Untuk panduan penyiapan perimeter umum, lihat Mengonfigurasi keamanan perimeter dengan Kontrol Layanan VPC.Platform percakapan atau konfigurasi agen tidak didukung. Percakapan di panel Preview BigQuery Studio tidak dicatat ke dalam log. Uji dari layar chat utama agen yang dipublikasikan. Agen yang menggunakan cakupan penelusuran, bukan tabel BigQuery tertentu, yang mengonfigurasi grafik properti sebagai sumber pengetahuan, atau yang tidak mendeklarasikan tabel BigQuery, tidak akan dicatat ke dalam log. Untuk mengetahui informasi selengkapnya, lihat Batasan.
Tabel sumber pengetahuan menggunakan kebijakan akses. Jika ada tabel sumber pengetahuan yang menggunakan kebijakan akses tingkat baris, keamanan tingkat kolom (tag kebijakan), atau penyamaran data dinamis, giliran tidak akan dicatat ke dalam log.
Konflik skema pada tabel tujuan yang ada. Jika Anda mengonfigurasi tabel yang ada sebagai tujuan dan kolom memiliki nama yang sama dengan kolom skema log percakapan, tetapi memiliki jenis atau mode yang berbeda, BigQuery tidak akan menulis baris ke tabel tersebut.
Baris biasanya muncul dalam beberapa detik setelah giliran selesai. Jika baris masih belum muncul setelah Anda menunggu beberapa menit, muat ulang set data.
Percakapan beberapa pengguna tidak dicatat ke dalam log
Penyebab
Sebelum setiap giliran, pemeriksaan privasi menggunakan kredensial pengguna yang melakukan chat untuk memverifikasi bahwa tabel sumber pengetahuan agen tidak memiliki kebijakan keamanan tingkat baris, keamanan tingkat kolom, atau penyamaran data. Jika pengguna tidak memiliki izin untuk menjalankan pemeriksaan ini, gilirannya tidak akan dicatat ke dalam log.
Resolusi
Berikan peran BigQuery Data
Viewer
(roles/bigquery.dataViewer) kepada semua pengguna chat di tabel sumber pengetahuan dan peran
BigQuery Job User
(roles/bigquery.jobUser) pada project yang menjalankan kueri mereka, atau berikan
peran khusus dengan izin bigquery.tables.get dan
bigquery.rowAccessPolicies.list pada tabel sumber pengetahuan.
Penyimpanan agen gagal dengan error INVALID_ARGUMENT
Pesan error
The BigQuery Agent Analytics table must be in the same project as the agent (agent project: ..., table project: ...).BigQuery Agent Analytics can only be enabled on agents whose datasource is BigQuery. Remove bigquery_agent_analytics_enabled and bigquery_agent_analytics_table, or point the agent at a BigQuery datasource.
Penyebab
Set data tujuan berada di project yang berbeda dengan agen data, atau sumber data agen bukan BigQuery.
Resolusi
Pilih set data tujuan yang ada di project yang sama dengan agen data, atau konfigurasikan agen data dengan sumber data BigQuery.
Pemberian akses set data gagal karena agen layanan tidak ada
Pesan error
Service account service-PROJECT_NUMBER@gcp-sa-geminidataanalytics... does not exist
Penyebab
Agen layanan Analisis Percakapan API belum disediakan dalam project.
Resolusi
Lakukan salah satu hal berikut:
Konfigurasikan tujuan log pada agen terlebih dahulu, lalu berikan peran lagi.
Sediakan identitas layanan dengan menjalankan perintah berikut:
gcloud beta services identity create \ --service=geminidataanalytics.googleapis.com \ --project=PROJECT_ID
Ganti
PROJECT_IDdengan ID project yang berisi agen data.
Setelan logging percakapan tidak tersedia di BigQuery Studio
Penyebab
Anda melihat versi Dipublikasikan dari agen data, yang setelan konfigurasinya bersifat hanya baca, atau agen data tidak memiliki tabel BigQuery tertentu yang dipilih sebagai sumber pengetahuan.
Resolusi
Alihkan pemilih tampilan ke Draft, pastikan tabel BigQuery tertentu dipilih sebagai sumber pengetahuan, perbarui setelan logging percakapan, lalu publikasikan agen.
Langkah berikutnya
- Pelajari lebih lanjut pengelolaan workload menggunakan pemesanan.
- Pelajari cara mengelola pemesanan workload.
- Pelajari cara membeli dan mengelola komitmen slot.
- Pelajari cara memantau pemesanan dan menggunakan diagram resource administratif.
- Pelajari lebih lanjut logging percakapan analisis percakapan.
- Pelajari referensi pemecahan masalah BigQuery lainnya.