Memantau kondisi dan pemanfaatan resource

Sebagai administrator BigQuery, Anda dapat memantau kondisi organisasi, penggunaan slot, dan performa tugas dari waktu ke waktu dengan diagram kondisi operasional dan pemanfaatan resource. BigQuery menyediakan diagram yang dapat dikonfigurasi untuk membantu Anda melakukan hal berikut:

• Memantau kondisi operasional BigQuery. Pemantauan kondisi operasional real-time BigQuery adalah sistem pemantauan terpusat yang memungkinkan Anda mengamati penggunaan BigQuery di seluruh organisasi di beberapa lokasi.

• Melihat pemakaian resource BigQuery. Gunakan data historis untuk melakukan analisis penyebab utama, merencanakan kapasitas, dan mendiagnosis perubahan performa.

Untuk memantau dan memecahkan masalah tugas kueri individual atau tugas gabungan berdasarkan pemilik, project, atau pemesanan, lihat Memantau tugas.

Sebelum memulai

• Untuk melihat kondisi operasional, Anda harus menggunakan pemesanan yang dapat diakses dengan project administrasi. Hal ini bukan persyaratan untuk melihat diagram pemakaian resource.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk melihat semua data dalam diagram kondisi operasional dan pemanfaatan resource, minta administrator untuk memberi Anda peran IAM berikut di organisasi Anda:

• BigQuery Resource Viewer (roles/bigquery.resourceViewer)
• BigQuery Metadata Viewer (roles/bigquery.metadataViewer)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk melihat semua data dalam chart kondisi operasional dan pemakaian resource. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk melihat semua data dalam diagram kondisi operasional dan pemakaian resource:

• Untuk melihat semua data dalam diagram kondisi operasional dan pemakaian resource untuk organisasi:
  • bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll pada organisasi
  • bigquery.reservationAssignments.list pada project administrasi yang digunakan untuk membuat pemesanan
  • bigquery.capacityCommitments.list pada project administrasi yang digunakan untuk membuat pemesanan
• Sebagai pengguna on-demand, untuk melihat semua data dalam diagram pemakaian resource untuk organisasi: bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll di organisasi
• Untuk melihat data ringkasan kondisi operasional untuk penyimpanan tabel BigQuery: bigquery.tables.get or bigquery.tables.list di organisasi
• Untuk melihat diagram kondisi operasional dan pemakaian resource di level pemesanan:
  • bigquery.reservations.list pada project administrasi yang digunakan untuk membuat pemesanan
  • bigquery.reservationAssignments.list pada project administrasi yang digunakan untuk membuat pemesanan
• Untuk melihat diagram pemakaian resource di level project: bigquery.jobs.listAll pada project

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Catatan: Melihat semua data dalam diagram kondisi operasional dan pemakaian resource hanya tersedia jika Anda telah menentukan organisasi Google Cloud .

Memantau kondisi operasional di seluruh organisasi

Dasbor kondisi operasional menampilkan metrik utama untuk organisasi Anda dan pemesanannya di semua lokasi tempat Anda memiliki pemesanan. Anda dapat menggunakan dasbor ini untuk memantau metrik berikut:

• Penggunaan slot
• Penggunaan shuffle
• Konkurensi tugas
• Error
• Durasi tugas
• Byte yang diproses
• Total penyimpanan

Catatan: Dasbor kondisi operasional tidak memantau metrik untuk workload on-demand. Diagram lain, seperti diagram pemakaian resource, menampilkan workload on-demand dan berbasis kapasitas.

Melihat diagram kondisi operasional

Untuk melihat informasi tentang kondisi operasional organisasi Anda, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Monitoring BigQuery.

   Buka Monitoring

2. Pilih project administrasi yang Anda gunakan untuk membeli slot dan membuat pemesanan.

3. Di halaman Monitoring, buka tab Operational health untuk melihat ringkasan metrik utama organisasi Anda untuk semua lokasi dan pemesanan.

4. Opsional: Untuk melihat metrik real-time, tempat kueri dijalankan pada data baru setiap lima menit, klik tombol Live data. Secara default, setelan ini dinonaktifkan dan keusangan maksimum data adalah sekitar satu jam.

5. Untuk memfilter metrik, konfigurasikan kolom berikut:

   • Dalam daftar Select location, pilih region yang akan dipantau.
   • Dalam daftar Select reservation, pilih pemesanan.
   • Dalam daftar Select project, pilih project.
   • Dalam daftar Time range, pilih rentang waktu.

6. Opsional: Untuk melihat detail selengkapnya tentang kondisi operasional dengan diagram pemakaian resource atau penjelajah tugas, klik Jelajahi lainnya.

BigQuery mengumpulkan metrik dengan membuat kueri tampilan INFORMATION_SCHEMA berikut:

• INFORMATION_SCHEMA.JOBS
• INFORMATION_SCHEMA.JOBS_TIMELINE
• INFORMATION_SCHEMA.RESERVATIONS
• INFORMATION_SCHEMA.TABLE_STORAGE

Untuk contoh kueri yang mereplikasi diagram linimasa penggunaan slot yang ditemukan dalam diagram resource administratif, lihat Mencocokkan perilaku penggunaan slot dari diagram resource administratif.

Tampilan

Tab Kesehatan operasional menampilkan tampilan ringkasan dan detail berikut.

Tampilan ringkasan

Tampilan ringkasan menunjukkan kondisi subsistem organisasi Anda, termasuk pemesanan dan region, dalam 30 menit terakhir.

Untuk melihat tampilan ringkasan, lakukan hal berikut:

• Di tab Operational health, di daftar Select location, pilih All locations.

Tampilan mendetail

Tampilan mendetail menampilkan diagram linimasa mendetail dari berbagai metrik di tingkat lokasi atau pemesanan.

Untuk melihat tampilan mendetail, lakukan hal berikut:

• Di tab Operational health, dalam daftar Select location, pilih region atau edisi.

Anda dapat menyaring data yang ditampilkan dalam tampilan mendetail menggunakan filter opsional berikut:

• Dalam daftar Select reservation, pilih nama pemesanan.
• Dalam daftar Select project, pilih project.

Diagram

BigQuery menyediakan opsi tabel dan diagram berikut, yang memungkinkan Anda mempelajari metrik kondisi operasional secara mendetail.

Tabel ringkasan

Tabel ringkasan menampilkan metrik berikut:

• Penggunaan slot. Penggunaan slot rata-rata. Total kapasitas slot sama dengan kapasitas dasar pengukuran dan kapasitas maksimum yang diskalakan otomatis.
• Penggunaan shuffle. Maksimum dari semua rasio penggunaan shuffle pemesanan rata-rata.
• Konkurensi. Jumlah maksimum tugas yang berjalan secara bersamaan.
• Byte yang diproses. Total byte yang diproses oleh tugas yang telah selesai.
• Durasi tugas. Runtime rata-rata tugas yang diselesaikan, yang dihitung dari waktu pembuatan tugas hingga waktu berakhir tugas.
• Total penyimpanan. Total byte logis aktif pada waktu terakhir diperbarui.

Ada dua tabel ringkasan yang ditampilkan dalam tampilan: Location summary dan Reservation summary. Setiap baris tabel mewakili penggunaan untuk satu lokasi atau satu pemesanan.

Tabel menampilkan metrik untuk 30 menit sebelum update terakhir. Jika Data langsung diaktifkan, data yang dikueri akan diperbarui setiap lima menit. Jika Data langsung dinonaktifkan, keusangan data maksimum adalah sekitar satu jam.

Sel tabel diberi kode warna jika metrik lebih besar dari nilai minimum yang telah ditentukan dan jika ada peningkatan jumlah insight performa untuk tugas berulang:

• Jika nilai metrik selama 30 menit sebelum update terakhir lebih besar dari nilai P99 penggunaan minggu lalu untuk hari yang sama, sel tabel akan ditandai dengan latar belakang biru tua.
• Jika nilai metrik selama 30 menit berada di antara nilai P95 - P99 dari penggunaan minggu lalu untuk hari yang sama, sel tabel akan ditandai dengan latar belakang biru muda.

Semua nilai minimum telah ditentukan dan tidak dapat disesuaikan. Anda dapat memeriksa nilai minimum dengan mengklik info Info.

Catatan: Kolom Total penyimpanan tidak mendukung anotasi warna.

Memfilter data

Anda dapat memfilter data dalam diagram berdasarkan nilai berikut:

• Lokasi. Region tempat organisasi memiliki aktivitas dalam 30 hari terakhir tersedia. Tampilan ringkasan menampilkan tabel yang meringkas penggunaan di semua region aktif.
• Pemesanan. Kolom ini hanya tersedia di tampilan mendetail. Semua pemesanan yang dimiliki oleh project administrasi tersedia. Anda hanya dapat memilih satu pemesanan.
• Project. Kolom ini hanya tersedia di tampilan mendetail. Semua project yang memiliki traffic di organisasi tersedia. Anda hanya dapat memilih satu project.
• Rentang waktu. Kolom ini hanya tersedia di tampilan mendetail. Filter ini memengaruhi Diagram linimasa metrik dan Diagram donat error dalam tampilan mendetail. Skala data dalam diagram linimasa Metrik disesuaikan secara otomatis sesuai dengan rentang waktu yang dipilih.

Diagram kueri aktif teratas

Diagram ini menunjukkan sepuluh tugas teratas dengan resource aktif yang diurutkan dalam urutan menurun. Di menu drop-down, Anda dapat memilih opsi pengurutan berdasarkan penggunaan slot atau durasi tugas. ID pekerjaan dan nomor penggunaan resource yang relevan ditampilkan dalam diagram batang. Pilih Jelajahi lainnya atau ID pekerjaan di diagram kueri aktif teratas untuk melihat detail selengkapnya di jobs explorer. Untuk mempelajari lebih lanjut detail eksekusi dan mendiagnosis masalah performa untuk tugas BigQuery Anda, lihat Mendapatkan insight performa kueri.

Diagram donat error

Diagram ini menunjukkan proporsi penyebab utama kegagalan dalam jangka waktu yang dipilih. Di tampilan ringkasan, setelan defaultnya mencakup 30 menit terakhir. Dalam tampilan mendetail, pemilih rentang waktu mengontrol cakupannya. Anda dapat mengelompokkan error berdasarkan jenis, project pemilik, atau pemesanan. Jumlah tugas yang gagal ditampilkan dalam diagram donat.

Diagram linimasa metrik

Diagram menampilkan ringkasan metrik yang didukung selama maksimum 30 hari. Jangka waktu default adalah satu jam. Saat jangka waktu yang dipilih berubah, perincian setiap titik data dalam diagram akan diskalakan secara otomatis.

Diagram ini menampilkan nilai gabungan di seluruh region atau pemesanan. Menampilkan data untuk beberapa region atau beberapa pemesanan tidak didukung.

Diagram linimasa Metrik mendukung metrik berikut:

• Penggunaan slot. Penggunaan slot rata-rata dalam jangka waktu yang dipilih. Dasbor ini menampilkan penggunaan slot keseluruhan dari semua tugas dan tugas yang gagal secara terpisah.
• Konkurensi tugas. Jumlah maksimum tugas yang berjalan bersamaan dalam jangka waktu yang dipilih. Diagram ini menampilkan jumlah tugas yang berjalan dan tugas yang tertunda secara terpisah dan ditampilkan sebagai diagram batang bertumpuk.
• Byte yang dipindai. Total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih.
• Acak. Rasio penggunaan shuffle rata-rata maksimum dari semua pemesanan dalam jangka waktu yang dipilih.
• Durasi tugas. Runtime rata-rata tugas yang diselesaikan dalam jangka waktu yang dipilih, yang dihitung dari waktu pembuatan tugas hingga waktu berakhir tugas.
• Error menurut jenis. Diagram donat error menunjukkan proporsi berbagai penyebab kegagalan dalam jangka waktu yang dipilih.

Selain tren metrik, diagram menampilkan garis referensi nilai metrik P95 dan P99 dari penggunaan minggu lalu untuk hari yang sama. Diagram Konkurensi tugas menunjukkan batas untuk jumlah tugas yang tertunda dan berjalan. Nilai yang direferensikan tersebut digunakan sebagai nilai minimum kode warna dalam tabel ringkasan.

Untuk mempelajari diagram lebih lanjut, klik Jelajahi lebih lanjut. Anda akan dialihkan ke tab Resource utilization.

Tabel insight

Tabel ini menggabungkan error kuota, error akses ditolak, dan insight performa yang dikumpulkan selama eksekusi tugas dalam jangka waktu yang dipilih. Insight digabungkan di tingkat pemesanan. Setiap baris memberikan informasi tentang jenis insight, lokasi, pemesanan, detail insight, dan contoh ID tugas. Klik ID pekerjaan untuk melihat detail pekerjaan selengkapnya di penjelajah pekerjaan. Dalam tampilan ringkasan, jangka waktu pengamatan default mencakup 30 menit terakhir. Dalam tampilan mendetail, pemilih rentang waktu mengontrol jangka waktu tertentu yang menampilkan data pengamatan.

Memantau kondisi operasional untuk satu project

Dasbor kondisi operasional project adalah tampilan default yang Anda dapatkan jika tidak memiliki akses ke seluruh organisasi, atau project Anda tidak memiliki pemesanan apa pun. Tampilan ini dapat membantu analis project memantau kondisi sistem untuk project mereka, mirip dengan dasbor kondisi operasional di tingkat organisasi, tetapi hanya menampilkan data tingkat project dalam diagram dan filternya.

Catatan: Jika project Anda ditetapkan ke pemesanan yang dimiliki oleh project lain, diagram ringkasan kapasitas slot akan menampilkan kapasitas 0. Untuk melihat total kapasitas slot, lihat diagram untuk project yang memiliki pemesanan.

Melihat pemanfaatan resource BigQuery

Diagram resource BigQuery membantu Anda melacak penggunaan resource sebelumnya untuk merencanakan kebutuhan mendatang dan memecahkan masalah performa.

Diagram mengumpulkan metrik dengan membuat kueri tabel virtual INFORMATION_SCHEMA berikut:

• INFORMATION_SCHEMA.JOBS
• INFORMATION_SCHEMA.JOBS_TIMELINE
• INFORMATION_SCHEMA.RESERVATION_CHANGES

Data dapat diperbarui secara real time, yaitu maksimum 30 hari.

Untuk contoh kueri yang mereplikasi diagram linimasa penggunaan slot yang ditemukan dalam diagram resource administratif, lihat Mencocokkan perilaku penggunaan slot dari diagram resource administratif.

Saat melihat pemakaian resource, Anda dapat mengonfigurasi hal berikut:

• Diagram linimasa peristiwa menampilkan ringkasan data selama maksimum 30 hari. Nilai defaultnya adalah 6 jam.

• Diagram utama menampilkan metrik yang dipilih, seperti penggunaan slot atau byte yang diproses, dari waktu ke waktu untuk organisasi atau project administrasi Anda. Legenda untuk diagram memberikan detail selengkapnya tentang data yang ditampilkan.

• Panel Chart configuration memungkinkan Anda memilih tampilan metrik yang telah ditetapkan atau menyesuaikan metrik Anda sendiri untuk tampilan tersebut.

Diagram pemakaian resource memiliki elemen berikut:

• Di tab pemakaian resource, arahkan kursor ke chip status di bagian atas diagram untuk menampilkan informasi selengkapnya tentang metrik.

• Chip status juga menampilkan hal berikut:

  • Jika metrik masih dimuat, ikon pemuatan akan ditampilkan.
  • Jika metrik menggunakan data usang, ikon jam akan ditampilkan.
  • Jika metrik tidak dapat dimuat karena filter tingkat halaman yang tidak didukung, metrik tersebut akan dicoret.
  • Jika metrik gagal dimuat, chip status akan ditandai.

Melihat dan mengonfigurasi diagram pemanfaatan resource

Untuk melihat dan mengonfigurasi diagram pemakaian resource, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , buka halaman Monitoring BigQuery.

   Buka Monitoring

2. Pilih project. Sebagai administrator yang memantau penggunaan resource pemesanan, pilih project administrasi yang digunakan untuk membeli slot dan membuat pemesanan. Sebagai analis data yang memantau penggunaan resource tugas, pilih project yang sesuai.

3. Di halaman Monitoring, buka tab Resource utilization untuk melihat ringkasan penggunaan resource, yang dikelompokkan berdasarkan lokasi.

4. Pilih jangka waktu untuk metrik dalam tampilan ini, seperti 1 day. Untuk melihat metrik real-time, tempat kueri dijalankan pada data terbaru, klik tombol Live data. Setelan ini dinonaktifkan secara default untuk meningkatkan performa, dan keusangan maksimum data adalah sekitar satu jam.

5. Di panel Chart configuration, konfigurasi kolom berikut:

   • Di kolom Metric view, pilih salah satu tampilan.
   • Di kolom Metrik, pilih metrik yang akan dilihat. Anda dapat menambahkan atau mengedit metrik.
   • Di kolom Kelompokkan menurut, pilih cara mengelompokkan data.
   • Di kolom Filters, pilih cara memfilter data.

6. Untuk menyimpan perubahan yang telah Anda buat pada konfigurasi diagram, klik Terapkan.

Tampilan metrik

BigQuery menyediakan tampilan metrik pemanfaatan resource yang telah dikonfigurasi sebelumnya. Bagian berikut menjelaskan metrik yang dapat Anda konfigurasi dalam tampilan tersebut.

Penggunaan slot pemesanan

Tampilan ini menunjukkan metrik tentang perincian penggunaan slot untuk pemesanan dalam project administratif. Setiap metrik memiliki setelan default berikut, yang dapat Anda edit di panel Chart configuration dengan mengklik nama metrik:

• Data penggunaan default berasal dari resource pemesanan.
• Cakupan default-nya adalah project.
• Agregasi default adalah berdasarkan penggunaan rata-rata dalam jangka waktu yang dipilih.

Nama metrik	Deskripsi
Reservasi - Penggunaan slot	Memantau total penggunaan slot untuk jangka waktu yang dipilih.
Pemesanan - Penggunaan slot tidak ada aktivitas	Memantau penggunaan slot yang melebihi kapasitas pemesanan dalam jangka waktu yang dipilih. Metrik ini memungkinkan Anda memantau slot tidak ada aktivitas yang dipinjam dari pemesanan dan komitmen lain, atau ketidakakuratan pembulatan dalam data penggunaan. Hal ini dapat menyebabkan metrik ini menjadi nilai bukan nol, meskipun jika berbagi slot tidak ada aktivitas dinonaktifkan. Penggunaan slot tidak ada aktivitas adalah nilai perkiraan dan dihitung berdasarkan Penggunaan Slot, Slot yang Di-commit, dan Slot yang Diskala Otomatis. Jika nilai penggunaan slot melebihi Kapasitas Komitmen dan Slot yang Diskala Otomatis, diagram akan mengelompokkan sisanya sebagai slot tidak ada aktivitas.
Reservation - Baseline used slots	Memantau slot yang digunakan dari dasar pengukuran pemesanan.
Reservation - Autoscaled used slots	Memantau slot yang digunakan dari slot yang diskalakan otomatis dalam pemesanan.

Ringkasan pemanfaatan edisi

Tampilan ini menunjukkan metrik tentang penggunaan dan kapasitas slot untuk resource edisi dalam project administratif. Setiap metrik memiliki setelan default berikut, yang dapat Anda edit di panel Chart configuration dengan mengklik nama metrik:

• Data penggunaan default berasal dari resource pemesanan dan data kapasitas berasal dari resource edisi.
• Cakupan default-nya adalah project.

Nama metrik	Deskripsi
Reservasi - Penggunaan slot	Memantau penggunaan slot untuk jangka waktu yang dipilih. Agregasi default adalah berdasarkan penggunaan slot p99 dalam jangka waktu yang dipilih.
Pemesanan - Penggunaan slot tidak ada aktivitas	Memantau penggunaan slot yang melebihi kapasitas pemesanan dalam jangka waktu yang dipilih. Metrik ini memungkinkan Anda memantau slot tidak ada aktivitas yang dipinjam dari pemesanan dan komitmen lain, atau ketidakakuratan pembulatan dalam data penggunaan. Hal ini dapat menyebabkan metrik ini memiliki nilai bukan nol, meskipun jika pembagian slot tidak ada aktivitas dinonaktifkan. Penggunaan slot tidak ada aktivitas adalah nilai perkiraan dan dihitung berdasarkan Penggunaan Slot, Slot yang Di-commit, dan Slot yang Diskala Otomatis. Jika nilai penggunaan slot melebihi Kapasitas Komitmen dan Slot yang Diskala Otomatis, diagram akan mengelompokkan sisanya sebagai slot tidak ada aktivitas. Agregasi default adalah berdasarkan penggunaan resource p99 dalam jangka waktu yang dipilih.
Edisi - Kapasitas dasar pengukuran	Memantau ukuran dasar pengukuran pemesanan dalam project administrasi ini.
Edisi - Kapasitas maksimum	Memantau jumlah maksimum slot yang tersedia dalam jangka waktu yang dipilih. Metrik ini adalah jumlah kapasitas komitmen, kapasitas dasar pengukuran, dan kapasitas yang diskalakan otomatis. Agregasi default adalah berdasarkan penggunaan resource maksimum dalam jangka waktu yang dipilih.
Edisi - Kapasitas yang ditetapkan	Memantau jumlah slot sebenarnya yang ditetapkan ke resource edisi Anda dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan penggunaan resource maksimum dalam jangka waktu yang dipilih.

Ringkasan project saat ini

Tampilan ini menunjukkan metrik tentang resource tugas dalam project tempat Anda menjalankan kueri. Setiap metrik memiliki setelan default berikut, yang dapat Anda edit di panel Chart configuration dengan mengklik nama metrik:

• Resource default adalah resource tugas.
• Cakupan default-nya adalah project.

Nama metrik	Deskripsi
Tugas - Project - Penggunaan slot	Memantau penggunaan slot untuk jangka waktu yang dipilih. Agregasi default didasarkan pada penggunaan resource maksimum dalam jangka waktu yang dipilih.
Tugas - Project - Byte yang diproses	Memantau total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan jumlah byte yang diproses dalam jangka waktu yang dipilih.
Tugas - Project - Konkurensi tugas	Memantau jumlah tugas yang berjalan secara bersamaan dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan penggunaan resource maksimum dalam jangka waktu yang dipilih.
Tugas - Project - Durasi tugas	Memantau runtime tugas yang telah selesai dalam jangka waktu yang dipilih. Runtime mengukur waktu antara pembuatan tugas hingga penyelesaian tugas. Agregasi defaultnya adalah berdasarkan runtime rata-rata dalam jangka waktu yang dipilih.

Ringkasan pemesanan yang dimiliki

Tampilan ini menunjukkan metrik tentang aktivitas tugas dengan resource pemesanan di project administratif. Setiap metrik memiliki setelan default berikut, yang dapat Anda edit di panel Konfigurasi diagram dengan mengklik nama metrik:

• Resource default adalah resource pemesanan.
• Cakupan default-nya adalah project.

Nama metrik	Deskripsi
Reservasi - Penggunaan slot	Memantau penggunaan slot untuk jangka waktu yang dipilih. Agregasi default didasarkan pada penggunaan resource maksimum dalam jangka waktu yang dipilih.
Pemesanan - Byte yang diproses	Memantau total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan jumlah byte yang diproses dalam jangka waktu yang dipilih.
Reservasi - Konkurensi tugas	Memantau jumlah tugas yang berjalan secara bersamaan dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan penggunaan resource maksimum dalam jangka waktu yang dipilih.
Pemesanan - Durasi tugas	Memantau runtime tugas yang telah selesai dalam jangka waktu yang dipilih. Runtime mengukur waktu antara pembuatan tugas hingga penyelesaian tugas. Hal ini mencakup antrean dan percobaan ulang. Agregasi default adalah berdasarkan runtime rata-rata dalam jangka waktu yang dipilih.
Pemesanan - Penggunaan shuffle	Memantau rasio penggunaan shuffle dalam jangka waktu yang dipilih. Agregasi default adalah berdasarkan penggunaan rata-rata dalam jangka waktu yang dipilih.

Catatan: BigQuery mungkin mengalokasikan slot tambahan untuk menjalankan tugas, sehingga menghasilkan nilai penggunaan slot yang melebihi nilai kapasitas maksimum total dan nilai bukan nol untuk penggunaan slot yang dipinjam dalam pemesanan yang mengabaikan slot tidak ada aktivitas. Dalam hal ini, tidak ada biaya tambahan yang ditagih untuk penggunaan di atas kapasitas maksimum.

Tampilan khusus

Untuk membuat tampilan metrik kustom, Anda dapat menambahkan metrik dari awal, atau memulai dengan salah satu tampilan metrik yang telah ditetapkan (misalnya, tampilan metrik Reservation overview) dan menyesuaikan metrik di dalamnya.

Anda dapat menyimpan tampilan kustom untuk digunakan pada masa mendatang. Tampilan tersimpan mempertahankan konfigurasi metrik, kelompokkan menurut, dan filter, kecuali filter email pengguna. Tampilan tersimpan disimpan di tingkat pengguna. Anda dapat membuat, memperbarui, mengganti nama, dan menghapus tampilan tersimpan.

Metrik

Saat mengonfigurasi diagram, Anda dapat menambahkan, mengedit, atau menghapus metrik pemakaian resource yang dipantaunya.

Untuk mengonfigurasi metrik diagram pemakaian resource, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , lihat chart pemanfaatan resource BigQuery.

2. Di panel Chart configuration, konfigurasikan kolom Metrics:

   1. Klik Tambahkan item > Pilih metrik.

   2. Dalam dialog Select a metric, pilih opsi berikut:

      1. Jenis resource yang akan dipantau: Job, Reservation, atau Edition.
      2. Cakupan yang akan dipantau. Misalnya, untuk memantau metrik tugas di project saat ini, pilih cakupan Project.
      3. Pilih metrik yang akan dipantau. Misalnya, untuk memantau penggunaan slot tugas, pilih Slot usage.

   3. Klik Terapkan.

   4. Dalam dialog New item, pilih agregasi. Misalnya, untuk memantau penggunaan slot maksimum yang melebihi kapasitas pemesanan dalam jangka waktu yang dipilih, pilih Max.

   5. Simpan metrik dengan mengklik Done.

3. Opsional: Untuk mengubah metrik yang ada, klik nama metrik dan edit setelannya atau hapus metrik tersebut.

Jenis dan cakupan resource yang didukung untuk metrik

Metrik pemanfaatan resource dikategorikan berdasarkan jenis dan cakupan resource.

Jenis resource

Anda dapat memantau jenis resource berikut:

Resource	Deskripsi
Tugas	Metrik tentang detail tugas BigQuery untuk cakupan dan jangka waktu tertentu.
Reservasi	Metrik tentang penggunaan pemesanan BigQuery untuk cakupan dan jangka waktu tertentu. Metrik ini menggabungkan detail tugas berdasarkan pemesanan. Jika Anda hanya memiliki akses data parsial di tingkat pemesanan, metrik penggunaan pemesanan gabungan akan tersedia, tanpa akses ke detail tingkat tugas.
Edisi	Metrik tentang kapasitas edisi BigQuery untuk cakupan dan jangka waktu tertentu.

Jenis cakupan

Setelah memilih resource untuk metrik, Anda memilih cakupan.

• Resource pemesanan dan edisi ditetapkan secara default ke cakupan level project.
• Resource tugas dapat ditetapkan ke cakupan level project, folder, atau organisasi. Cakupan yang lebih besar memerlukan izin tambahan.

Kelompokkan menurut

Untuk mengelompokkan data dalam diagram pemakaian resource, ikuti langkah-langkah berikut:

1. Di konsol Google Cloud , lihat chart pemanfaatan resource BigQuery.

2. Di panel Chart configuration, konfigurasikan kolom Group by dengan memilih salah satu opsi berikut:

   • Tidak ada: Opsi ini memberi Anda ringkasan level tinggi metrik yang dipilih, dari waktu ke waktu, di seluruh organisasi.
   • Project: Opsi ini mengelompokkan metrik yang dipilih menurut project. Jika tersedia lebih dari 50 project, hanya 50 project teratas dengan penggunaan slot tertinggi yang akan ditampilkan.
   • Semua opsi kelompokkan menurut lainnya: Opsi ini serupa dengan tampilan project, dengan data yang dikelompokkan menurut dimensi masing-masing. Jika opsi kelompokkan menurut tidak didukung untuk semua metrik yang dipilih, opsi tersebut tidak dapat dipilih.

Filter

Saat mengonfigurasi diagram pemakaian resource, Anda dapat menerapkan filter ke data, seperti menampilkan penggunaan resource untuk resource edisi Enterprise, atau berdasarkan ID resource.

Untuk memfilter data diagram, terapkan filter di panel filter. Anda hanya dapat memilih filter jika filter tersebut didukung untuk metrik yang Anda pilih. Untuk melihat izin yang diperlukan, klik menu Filter.

Melihat data pemanfaatan resource level project

Anda dapat menganalisis pemakaian resource tingkat project menggunakan langkah-langkah konfigurasi yang sama seperti yang Anda lakukan untuk melihat data tingkat organisasi. Diagram hanya menampilkan data level project dan opsi konfigurasi (opsi tingkat organisasi berwarna abu-abu). Cakupan tingkat project ini menunjukkan pemakaian resource secara keseluruhan, terlepas dari mode penagihan dalam project kontekstual.

Batasan diagram pemakaian resource

• Diagram dan tabel di tengah halaman menampilkan metrik yang relevan dengan jangka waktu dan perincian yang dipilih.
• Metrik dengan unit yang sama memiliki skala yang sama. Diagram ini mendukung hingga dua skala yang berbeda.

Beralih ke UI lama

Secara default, Anda memiliki akses ke diagram resource Edition saat membuka project administrasi pemesanan. Anda dapat beralih antara diagram resource on-demand dan diagram resource Edition dari project administrasi pemesanan (Pratinjau).

Untuk melihat diagram resource, ikuti langkah-langkah berikut:

1. Buka halaman BigQuery.
   Buka BigQuery
2. Di menu project, pilih project administrasi yang Anda gunakan untuk membeli slot dan membuat pemesanan.
3. Di menu navigasi, klik Monitoring.
4. Di bagian Chart options > Scope, Anda dapat memilih model penagihan dari daftar, yang mencakup tiga jenis Edisi dan on-demand. Secara default, model penagihan ditetapkan ke edisi Enterprise.
5. Di bagian Chart options > Chart Configurations, lakukan tindakan berikut:
   1. Dari daftar Chart, pilih jenis chart. Untuk informasi tentang berbagai opsi chart, lihat Opsi chart.
   2. Dari daftar Metrik, pilih jenis metrik yang tersedia.
   3. Dari daftar Kelompokkan menurut, pilih dimensi yang ingin Anda gunakan untuk mengelompokkan data dalam diagram. Untuk informasi tentang berbagai dimensi, lihat Mengelompokkan menurut opsi.
   4. Dari daftar Filter, pilih opsi filter yang tersedia. Untuk mengetahui informasi tentang berbagai filter, lihat Filter dan penelusuran.
   5. Tetapkan jangka waktu yang ingin Anda gunakan untuk melihat data dalam diagram.

Konfigurasi chart

Anda dapat menyesuaikan tampilan diagram resource dengan mengubah opsi konfigurasi diagram berikut.

Opsi chart

BigQuery menyediakan jenis metrik berikut untuk ditampilkan dalam chart:

• Penggunaan Slot. Penggunaan slot rata-rata. Jika opsi Kelompokkan menurut ditetapkan ke Overall, atau jika Filter adalah None atau satu pemesanan, metrik penggunaan kapasitas dan slot yang dipinjam juga akan ditampilkan.
  • Total Penggunaan. Penggunaan slot rata-rata dalam jangka waktu yang dipilih.
  • Penggunaan Slot yang Dipinjam. Penggunaan rata-rata yang melebihi kapasitas reservasi. Ini biasanya merupakan slot tidak ada aktivitas yang dipinjam dari pemesanan dan komitmen lain, atau ketidakakuratan pembulatan dalam data penggunaan. Slot tidak ada aktivitas tambahan akan muncul di diagram pemakaian resource, meskipun berbagi slot tidak ada aktivitas dinonaktifkan. Penggunaan slot tidak ada aktivitas adalah nilai perkiraan dan dihitung berdasarkan Penggunaan Slot, Slot yang Di-commit, dan Slot yang Diskala Otomatis. Jika nilai penggunaan slot melebihi Commitment Capacity, diagram akan mengelompokkannya sebagai slot tidak ada aktivitas.
  • Kapasitas Komitmen. Ukuran komitmen edisi.
  • Kapasitas Dasar Pengukuran. Ukuran dasar pengukuran pemesanan.
  • Kapasitas Skala Otomatis. Ukuran slot yang diskalakan otomatis.
  • Kapasitas Maksimum. Jumlah slot maksimum yang dapat diakses pengguna.

Catatan: BigQuery terkadang mengalokasikan slot tambahan untuk menjalankan tugas, sehingga menghasilkan nilai Total Penggunaan yang melebihi nilai Kapasitas maksimum dan nilai bukan nol untuk Penggunaan Slot yang Dipinjam dalam pemesanan yang mengabaikan slot tidak ada aktivitas. Dalam hal ini, tidak ada biaya tambahan yang ditagih untuk penggunaan di atas Kapasitas Maksimum pemesanan.

• Konkurensi Tugas. Jumlah maksimum tugas yang berjalan bersamaan dalam jangka waktu yang dipilih.
• Performa Tugas. Waktu berjalannya tugas rata-rata untuk tugas yang diselesaikan, yang dihitung dari waktu pembuatan tugas hingga waktu berakhir tugas.
• Tugas yang Gagal. Penggunaan slot rata-rata dalam jangka waktu yang dipilih dari tugas yang gagal.
• Byte yang Diproses. Total byte yang diproses oleh tugas yang diselesaikan dalam jangka waktu yang dipilih.
• Penggunaan Shuffle. Rasio penggunaan shuffle rata-rata dalam jangka waktu yang dipilih (pratinjau).

Komponen tabel

Tabel ini menampilkan metrik yang relevan dengan jangka waktu dan dimensi yang Anda pilih di diagram resource.

Diagram Penggunaan Slot menampilkan Penggunaan slot rata-rata untuk semua tugas yang berjalan selama jangka waktu yang dipilih. Tugas yang tidak selesai dalam jangka waktu yang dipilih hanya mencakup slot yang digunakan dalam jangka waktu tersebut.

Untuk chart Performa Tugas, komponen tabel akan menampilkan metrik berikut:

• Jumlah tugas. Jumlah tugas yang telah selesai dan berjalan atau dijalankan sebagian dalam jangka waktu yang dipilih.
• Durasi tugas rata-rata. Durasi tugas rata-rata untuk tugas yang telah selesai, yang setidaknya berjalan sebagian dalam jangka waktu yang dipilih.
• Durasi tugas median. Durasi tugas median untuk tugas yang telah selesai, yang setidaknya berjalan sebagian dalam jangka waktu yang dipilih.
• Durasi tugas minimum. Durasi tugas minimum untuk tugas yang telah selesai, yang setidaknya dijalankan sebagian dalam jangka waktu yang dipilih. Kolom ini disembunyikan secara default, tetapi Anda dapat mengaktifkannya di Opsi tampilan kolom.
• Durasi tugas maksimum. Durasi tugas maksimum untuk tugas yang telah selesai, yang setidaknya dijalankan sebagian dalam jangka waktu yang dipilih. Kolom ini disembunyikan secara default, tetapi Anda dapat mengaktifkannya di Opsi tampilan kolom.

Untuk diagram Failed Jobs, komponen tabel menampilkan data berikut:

• Penggunaan slot rata-rata. Sama seperti diagram Slot Usage, tetapi hanya untuk tugas yang gagal.
• Total tugas yang gagal. Jumlah tugas yang gagal dalam jangka waktu yang dipilih.

Catatan: Selain chart resource, Anda dapat menulis kueri atau dasbor Anda sendiri. Untuk contoh kueri dan template Data Studio, lihat tampilan INFORMATION_SCHEMA.

Mengelompokkan menurut opsi

Berdasarkan jenis diagram, Anda dapat mengelompokkan data dalam tampilan diagram menurut beberapa dimensi:

• Keseluruhan. Tampilan keseluruhan merupakan ringkasan level tinggi metrik yang dipilih, dari waktu ke waktu, di seluruh organisasi. Untuk penggunaan slot, kapasitas dan penggunaan ditampilkan pada diagram yang sama untuk memberikan gambaran penggunaan slot secara keseluruhan dari waktu ke waktu.
• Project. Tampilan project menampilkan metrik yang dipilih dan dikelompokkan menurut project. Jika organisasi memiliki lebih dari 10 project, hanya 10 project teratas dengan penggunaan slot, konkurensi tugas, durasi tugas, atau tugas gagal tertinggi dalam jangka waktu yang dipilih yang akan ditampilkan. Untuk penggunaan slot, semua project lainnya dikelompokkan ke dalam kategori Lainnya di bagian bawah diagram untuk perbandingan yang lebih mudah dengan kapasitas keseluruhan.
• Semua tampilan kelompokkan menurut lainnya serupa dengan tampilan project, dengan data yang dikelompokkan menurut dimensi masing-masing.

Opsi jangka waktu

Anda dapat mengubah jangka waktu dengan cara berikut:

• Pilih dan tarik jangka waktu ke diagram linimasa peristiwa.
• Pilih dan tarik jangka waktu ke chart utama.

Periode penyelarasan diupdate secara otomatis saat jangka waktu yang dipilih berubah. Makin kecil periode penyelarasan, makin mendetail tampilan. Agar dapat melihat resource yang sering berubah dengan lebih baik, misalnya opsi Penggunaan Slot, kurangi periode penyelarasan.

Catatan: Untuk periode penyelarasan yang lebih terperinci pada diagram penggunaan slot, penggunaan yang ditampilkan mungkin melebihi kapasitas secara sekilas karena adanya sampling data dan penyelarasan data.

Memfilter dan menelusuri

Untuk mempersempit data diagram, terapkan filter di panel filter. Beberapa filter hanya tersedia untuk diagram tertentu. Filter Pemesanan, Folder, Project, dan Pengguna akan diisi dengan resource masing-masing yang telah menggunakan slot dalam jangka waktu yang dipilih. Misalnya, jika sebuah project tidak digunakan dalam 30 hari terakhir, project tersebut tidak akan muncul di daftar filter project.

Diagram akan diperbarui setelah Anda menerapkan filter untuk menampilkan data dalam parameter yang dipilih.

Catatan: Untuk memfilter menurut ID pekerjaan tertentu, masukkan ID pekerjaan di kolom teks tanpa awalan project.

Memantau penskalaan otomatis

Saat memantau penggunaan slot dengan diagram resource administratif, Anda mungkin melihat lebih banyak slot yang diskalakan secara signifikan daripada penggunaan slot Anda karena diagram memperlancar jumlah slot yang digunakan selama periode penyelarasan singkat ini. Untuk melihat penggunaan slot penskalaan otomatis dengan detail yang lebih akurat, kurangi opsi jangka waktu. Tindakan ini otomatis memperbarui periode penyelarasan ke peningkatan yang lebih kecil.

Pada contoh berikut, diagram menampilkan lebih banyak slot yang diskalakan secara signifikan daripada permintaan workload.

Namun, jika Anda mempersingkat opsi jangka waktu sehingga periode penyelarasan menjadi dua detik, Anda dapat melihat bahwa autoscaler dapat diskalakan sesuai dengan permintaan workload dan menampilkan data yang lebih akurat. Anda dapat menyesuaikan opsi jangka waktu dengan menarik rentang awal dan akhir dari opsi jangka waktu tersebut. Untuk menampilkan data permintaan workload yang paling akurat, pilih p99 dari daftar Metric.

Untuk tampilan penggunaan penskalaan otomatis yang paling akurat, gunakan periode penyelarasan antara 1 dan 15 detik.

Untuk mengetahui informasi tentang cara melihat penggunaan slot, lihat Melihat diagram resource administratif.

Memantau performa tugas

Anda mungkin perlu menyesuaikan max_slots penskalaan otomatis untuk menghindari biaya yang lebih tinggi. Kueri berikut memberikan konteks tentang performa tugas Anda, sehingga Anda dapat memilih jumlah slot penskalaan otomatis yang tepat untuk workload Anda.

Kueri berikut memberikan detail tentang performa tugas reservasi Anda sebelumnya:

SELECT
    AVG(TIMESTAMP_DIFF(end_time, creation_time, MILLISECOND)) as avg_latency_ms,
    SUM(total_bytes_processed) as total_bytes,
    COUNT(*) as query_numbers,
FROM
    `PROJECT_ID.region-REGION_NAME`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
WHERE creation_time >= START_TIME
    AND creation_time < END_TIME
    AND (statement_type != "SCRIPT" OR statement_type IS NULL)
    AND reservation_id = RESERVATION_ID

Ganti kode berikut:

• PROJECT_ID: ID project
• REGION_NAME: region untuk project Anda
• START_TIME: waktu pembuatan saat Anda ingin mulai melihat data
• END_TIME: waktu pembuatan saat Anda ingin berhenti melihat data
• RESERVATION_ID: ID pemesanan

Contoh berikut mendapatkan detail tugas selama periode lima hari:

SELECT
    AVG(TIMESTAMP_DIFF(end_time, creation_time, MILLISECOND)) as avg_latency_ms,
    SUM(total_bytes_processed) as total_bytes,
    COUNT(*) as query_numbers,
FROM
    `myproject.region-us`.INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION
WHERE creation_time >= '2024-06-25 00:00:00-07'
    AND creation_time < '2024-06-30 00:00:00-07'
    AND (statement_type != "SCRIPT" OR statement_type IS NULL)
    AND reservation_id = reservationID

Memecahkan masalah pertentangan slot

Pertentangan slot dapat terjadi jika slot tidak cukup untuk menjalankan semua tugas Anda, sehingga menyebabkan masalah performa. Untuk menganalisis apakah penurunan performa disebabkan oleh peningkatan workload atau perubahan konfigurasi lingkungan, Anda dapat membandingkan dua interval sistem di seluruh pemesanan dan project.

Untuk memecahkan masalah pertentangan slot, gunakan langkah-langkah dan praktik terbaik berikut.

Jika Anda telah mencoba praktik terbaik ini, tetapi masih mengalami masalah performa tugas, Anda dapat meminta dukungan.

Lonjakan konkurensi tugas

Gunakan tampilan mendetail di diagram resource administratif untuk memeriksa lonjakan mendadak dalam eksekusi tugas dengan lonjakan penggunaan slot secara bersamaan. Lonjakan ini dapat mengindikasikan bahwa terlalu banyak tugas yang bersaing untuk mendapatkan slot yang tersedia dalam pemesanan Anda.

Praktik terbaik: Pertimbangkan untuk mengoptimalkan kueri yang menggunakan banyak resource atau meningkatkan kapasitas slot pemesanan Anda. Untuk mengetahui informasi selengkapnya tentang cara mengoptimalkan performa kueri, lihat Mengoptimalkan komputasi kueri.

Penggunaan slot yang tinggi

Gunakan tampilan mendetail untuk memeriksa peningkatan durasi tugas, terutama jika ada tugas yang melebihi kapasitas maksimum pemesanan Anda. Penggunaan slot yang tinggi secara konsisten dapat mengindikasikan pertentangan slot yang sedang berlangsung.

Praktik terbaik: Periksa kueri menggunakan filter pertentangan slot jobs explorer untuk mengidentifikasi kueri yang menggunakan slot terbanyak dan mengoptimalkannya.

Durasi tugas yang lama

Jika tugas memerlukan waktu yang jauh lebih lama untuk diselesaikan, periksa tampilan mendetail. Konkurensi tugas yang tinggi dan lonjakan penggunaan slot dapat mengindikasikan pertentangan slot.

Praktik terbaik: Isolasi tugas penting dengan menjeda sementara tugas yang kurang penting atau mengurangi keseluruhan tingkat pengiriman tugas.

Pesan persaingan slot

Tabel insight dapat menampilkan pesan seperti There were NUMBER jobs detected with slot_contention in the reservation. yang menunjukkan masalah pertentangan slot. Periksa penjelajah tugas untuk meninjau detail tentang tugas tertentu yang ditandai dalam pesan ini.

Praktik terbaik: Optimalkan kueri yang diidentifikasi atau sesuaikan alokasi slot pemesanan Anda.

Catatan: Untuk mengetahui informasi selengkapnya tentang alasan pemanfaatan aktual yang ditampilkan dalam diagram ini mungkin berbeda dari penggunaan kuota Anda, lihat Memahami metrik slot.

Langkah berikutnya

• Pelajari pemesanan.
• Pelajari pembelian slot.
• Pelajari cara memperkirakan persyaratan kapasitas slot.
• Pelajari cara melihat insight dan rekomendasi slot.