Memantau tugas

Sebagai administrator BigQuery, Anda dapat memantau tugas di seluruh organisasi melalui penjelajah tugas administratif di konsol Google Cloud . Penjelajah tugas menyediakan filter dan opsi pengurutan untuk mengidentifikasi, membandingkan, dan memecahkan masalah tugas yang bermasalah. Anda tidak perlu menulis kueri INFORMATION_SCHEMA untuk melihat detail tugas, seperti pemilik, project, penggunaan slot, durasi, dan lainnya.

Untuk memantau kapasitas, komitmen slot, dan pemanfaatan pemesanan jangka panjang di seluruh organisasi Anda, lihat Memantau kondisi dan pemanfaatan resource.

Dengan penjelajah tugas, Anda dapat melakukan hal berikut:

  • Memfilter dan mengidentifikasi tugas. Telusuri kueri tertentu di seluruh organisasi Anda dengan menerapkan filter berdasarkan kriteria seperti status tugas, durasi, pemilik, atau penggunaan slot.
  • Menganalisis metrik linimasa. Lacak tren eksekusi tugas dan konkurensi dari waktu ke waktu dengan diagram metrik.
  • Menggabungkan tugas berdasarkan resource. Kelompokkan tugas berdasarkan pemilik, project, atau pemesanan untuk melihat statistik ringkasan dan melihat perincian tabel yang difilter.
  • Memecahkan masalah tugas. Pilih setiap tugas untuk melihat grafik eksekusi kueri, teks SQL, dan histori eksekusinya di halaman Job details (Pratinjau).
  • Bandingkan performa. Bandingkan tugas (Pratinjau) untuk menyoroti perbedaan metrik yang signifikan dan mengatasi potensi masalah performa.
  • Dapatkan bantuan AI. Gunakan Gemini Code Assist langsung dari penjelajah tugas (Pratinjau) untuk menganalisis statistik tugas atau menjelaskan kueri yang berjalan lambat.

BigQuery menyediakan detail dan insight tugas dari tampilan INFORMATION_SCHEMA berikut:

Sebelum memulai

Untuk menggunakan Gemini Code Assist guna memecahkan masalah tugas di BigQuery (Pratinjau), lihat Menyiapkan Gemini Code Assist untuk mengaktifkan API dan memberikan peran yang diperlukan untuknya.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menggunakan penjelajah tugas guna memantau tugas, minta administrator untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menggunakan penjelajah tugas guna memantau tugas. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menggunakan penjelajah tugas guna memantau tugas:

  • Melihat tugas di level project: bigquery.jobs.listAll di project
  • Melihat tugas di tingkat organisasi: bigquery.jobs.listAll di organisasi

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk menggunakan Gemini Code Assist dalam memecahkan masalah tugas, lihat persyaratan IAM tambahan untuk menggunakan Gemini Code Assist.

Filter tugas

Guna memfilter tugas untuk kueri yang ada dalam tampilan INFORMATION_SCHEMA.JOBS*, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Jobs explorer.

  3. Di halaman Penjelajah tugas, di kolom Lokasi, pilih lokasi tempat Anda ingin melihat tugas.

  4. Di panel Filters, terapkan filter opsional, sesuai kebutuhan. Jika panel ini tidak terlihat, klik insert_chart Show filters.

    Filter berikut tersedia:

    • Cakupan tugas: memfilter tugas berdasarkan tingkat visibilitasnya—misalnya, project saat ini, organisasi, dan tugas Anda. Anda dapat memilih untuk melihat tugas dari project saat ini, di seluruh organisasi, atau hanya tugas yang Anda mulai.
    • Tampilan diagram:
      • Tugas yang selesai: menampilkan data linimasa untuk kueri yang telah selesai, membedakan antara tugas yang berhasil diselesaikan dan tugas yang mengalami error.
      • Concurrency: menampilkan data linimasa untuk konkurensi kueri, yang membedakan antara tugas aktif dan tugas dalam antrean.
    • Kelompokkan menurut: mengelompokkan tugas yang ditampilkan berdasarkan resource tertentu, seperti Pemilik, project, atau pemesanan. Untuk mengetahui informasi selengkapnya, lihat Mengelompokkan tugas berdasarkan resource.
    • Status: memfilter tugas berdasarkan status eksekusi saat ini—misalnya, selesai, error, aktif, dan dalam antrean. Jumlah ringkasan muncul langsung di samping setiap opsi filter status faset untuk menunjukkan jumlah tugas dalam status tersebut.
    • Project ID: memfilter tugas yang berjalan di project tertentu.
    • Reservation ID: memfilter tugas yang menggunakan slot dari pemesanan tertentu. Hal ini membantu Anda memantau cara berbagai workload menggunakan kapasitas yang dipesan.
    • Owner: memfilter tugas berdasarkan alamat email pengguna atau akun layanan yang memulai tugas.
    • ID pekerjaan: memfilter tugas tertentu berdasarkan ID alfanumerik uniknya.
    • Query hash: memfilter tugas dengan hash kueri tertentu. Hash kueri mengidentifikasi logika kueri, mengabaikan perbedaan dalam komentar, parameter value, UDF, dan literal, yang membantu Anda menemukan semua eksekusi logika kueri yang sama. Kolom ini muncul untuk kueri GoogleSQL yang berhasil dan tidak ditemukan dalam cache.
    • Label: memfilter tugas berdasarkan label metadata kustom yang telah Anda atau organisasi Anda lampirkan ke tugas tersebut. Dengan begitu, Anda dapat mengategorikan dan melacak tugas berdasarkan departemen atau aplikasi.
    • Query insights: memfilter tugas yang telah diidentifikasi oleh BigQuery sebagai memiliki masalah performa tertentu, seperti pertentangan slot, kapasitas shuffle memori terlampaui, dan perubahan skala input data.
    • Slot time more than: memfilter tugas yang menggunakan lebih dari jumlah slot-milidetik yang ditentukan. Ini adalah metrik utama untuk mengidentifikasi kueri yang menggunakan banyak resource.
    • Duration more than: memfilter tugas yang memerlukan waktu lebih lama daripada jumlah waktu yang ditentukan untuk diselesaikan. Gunakan ini untuk menemukan kueri yang berjalan lebih lambat dari yang diharapkan.
    • Bytes processed more than: memfilter tugas yang memindai lebih dari jumlah data yang ditentukan. Hal ini membantu Anda mengidentifikasi kueri yang mungkin berkontribusi pada biaya pemrosesan data yang tinggi.
    • Kategori tugas: memfilter tugas berdasarkan jenis operasi yang dilakukan, seperti kueri SQL standar atau kueri berkelanjutan yang digunakan untuk pemrosesan data real-time.
    • Job creation reason: memfilter tugas berdasarkan alasan BigQuery membuatnya, seperti saat kueri melebihi waktu tunggu atau menghasilkan hasil yang terlalu besar untuk satu respons.
    • Prioritas tugas: memfilter tugas berdasarkan prioritas eksekusinya, seperti tugas interaktif atau batch.

Melihat metrik linimasa tugas

Penjelajah tugas menyertakan diagram metrik interaktif yang menampilkan data linimasa untuk kueri yang cocok dengan kriteria filter Anda. Anda dapat menggunakan diagram ini untuk mengevaluasi pola workload dan mengidentifikasi peningkatan mendadak dalam tugas yang selesai, aktif, atau dalam antrean. Untuk tren konkurensi historis di seluruh organisasi dalam jangka waktu yang lebih lama, lihat Diagram linimasa metrik.

Untuk mengonfigurasi diagram metrik di penjelajah tugas, lakukan hal berikut:

  1. Buka halaman Jobs explorer.

    Buka Jobs explorer

  2. Buka panel Filter. Jika panel ini tidak terlihat, klik insert_chart Show filters.

  3. Pilih metrik yang ingin Anda tampilkan dalam diagram:

    • Tugas yang selesai: menampilkan data linimasa untuk kueri yang telah selesai, membedakan antara tugas yang berhasil diselesaikan dan tugas yang mengalami error.
    • Concurrency: menampilkan data linimasa untuk konkurensi kueri, yang membedakan antara tugas aktif dan tugas dalam antrean.

Mengelompokkan tugas berdasarkan resource

Untuk menggabungkan statistik tugas dan membandingkan konsumsi di seluruh organisasi, Anda dapat mengelompokkan tugas berdasarkan pemilik, project, atau pemesanan, bukan melihat tugas individual dalam tabel yang tidak digabungkan.

Untuk mengelompokkan tugas, lakukan hal berikut:

  1. Buka halaman Jobs explorer.

    Buka Jobs explorer

  2. Buka panel Filters. Jika panel ini tidak terlihat, klik insert_chart Show filters.

  3. Klik Kelompokkan menurut, lalu pilih salah satu opsi berikut:

    • None (default): menampilkan tabel tugas individual yang tidak digabungkan.
    • Owner: mengelompokkan tugas berdasarkan alamat email pengguna atau akun layanan yang menjalankan tugas.
    • Project: mengelompokkan tugas berdasarkan project ID.
    • Reservation: mengelompokkan tugas berdasarkan ID pemesanan.

Saat Anda menetapkan Group by ke Owner, Project, atau Reservation, BigQuery akan menampilkan tampilan gabungan dengan panel ringkasan untuk setiap resource. Setiap panel menampilkan statistik ringkasan berikut:

  • Tugas aktif: jumlah tugas yang berjalan.
  • Tugas dalam antrean: jumlah tugas yang menunggu dalam antrean kueri.
  • Tugas yang mengalami error: jumlah tugas yang gagal diselesaikan.
  • Tugas yang selesai: jumlah tugas yang berhasil diselesaikan.
  • Waktu slot: total slot milidetik yang digunakan oleh tugas untuk resource tersebut.
  • Byte yang diproses: total volume data yang dipindai oleh tugas untuk resource tersebut.

Untuk memeriksa setiap tugas yang terkait dengan resource tertentu, klik panel untuk resource tersebut guna meluaskannya dan menampilkan tabel tugas yang difilter.

Memecahkan masalah performa tugas

Untuk mendiagnosis dan memecahkan masalah kueri, Anda dapat melihat metrik eksekusi, teks SQL, dan histori performa di halaman Job details.

Melihat detail tugas

Untuk melihat detail tugas dan menganalisis eksekusi kuerinya, lakukan hal berikut:

  1. Buka halaman Jobs explorer.

    Buka Jobs explorer

  2. Opsional: Untuk mempersempit tugas yang ditampilkan, filter tugas.

  3. Klik ID tugas yang ingin Anda selidiki. Untuk kueri yang tidak membuat tugas, ID kueri akan muncul dan link akan dinonaktifkan. Mengklik ID pekerjaan yang valid akan membuka halaman Job details dengan tab Performance ditampilkan secara default.

Informasi kueri yang tersedia

Untuk membantu Anda mendiagnosis performa kueri, tab Performance dalam detail tugas mengompilasi informasi dan metrik berikut, jika berlaku:

  • Detail pekerjaan: informasi tentang pekerjaan, termasuk ID pekerjaan, waktu pembuatan, byte yang diproses, dan penggunaan slot. Untuk informasi selengkapnya, baca Melihat detail lowongan.
  • Execution history: daftar eksekusi historis kueri, yang dikelompokkan berdasarkan hash kueri. Anda dapat memilih pekerjaan dari daftar ini untuk dibandingkan langsung dengan pekerjaan Anda saat ini. Untuk mengetahui informasi selengkapnya, lihat Membandingkan tugas.

  • Execution graph: representasi visual dari tahap eksekusi kueri. Luaskan bagian Execution graph untuk memeriksa pertentangan slot, kapasitas shuffle, dan skala input data. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan insight performa kueri.

    Contoh berikut menunjukkan grafik eksekusi dengan pemetaan teks SQL diaktifkan:

    Grafik eksekusi untuk tugas.

  • Beban sistem selama eksekusi: ringkasan resource komputasi dan setelan pemesanan yang dialokasikan selama eksekusi tugas.

Mendiagnosis regresi performa dengan membandingkan tugas dan sistem

Alat perbandingan performa memungkinkan Anda menganalisis perbedaan performa antara dua tugas kueri atau di dua interval sistem. Analisis ini menunjukkan detail kueri, perubahan pemanfaatan resource, dan setelan lingkungan sistem yang berbeda secara signifikan antara lingkungan dasar pengukuran dan lingkungan target Anda.

Memahami analisis perbandingan

Alat perbandingan mengevaluasi performa di seluruh metrik tingkat kueri dan faktor tingkat sistem. Anda dapat mengaktifkan tombol Hanya tampilkan perbedaan signifikan untuk membatasi tampilan ke metrik dengan varians lebih besar dari 20%.

Perbedaan signifikan diberi kode warna untuk membantu Anda memindai masalah:

  • Hijau: metrik meningkat (misalnya, durasi kueri yang lebih singkat dalam operasi target).
  • Kuning: metrik menurun kurang dari 20%.
  • Merah: metrik menurun lebih dari 20%.

Membandingkan dua tugas

Untuk membandingkan tugas dasar pengukuran dengan eksekusi tugas target, lakukan hal berikut:

  1. Buka halaman Penjelajah tugas.

    Buka Jobs explorer

  2. Opsional: Untuk mempersempit tugas yang ditampilkan, filter tugas.

  3. Klik ID pekerjaan dari tugas dasar pengukuran Anda untuk membuka halaman Job details, dan pilih tab Performance.

  4. Di menu Actions, klik Compare Job.

  5. Di kolom Job one (baseline job), klik Browse untuk membuka panel Similar comparable jobs.

  6. Pilih tugas target yang ingin Anda bandingkan dengan dasar pengukuran, lalu klik Compare.

  7. Opsional: Untuk berfokus pada regresi performa utama, aktifkan Show only significant differences. Tindakan ini akan membatasi tampilan ke metrik dengan varians lebih besar dari 20%.

Untuk mengubah tugas yang dibandingkan kapan saja, klik Browse di kolom tugas dasar pengukuran atau target, lalu pilih tugas baru dari daftar tugas yang sebanding.

Analisis tingkat kueri

Setelah membandingkan dua tugas, Anda dapat melihat bagian Analisis tingkat kueri, yang membandingkan dua eksekusi tugas di tiga tab:

  • Metrik: membandingkan metrik kueri inti, seperti durasi tugas, waktu slot, byte yang diproses, dan akselerator yang tidak digunakan.
  • Teks SQL: menampilkan pernyataan SQL untuk kedua tugas dan menandai perbedaan teks.
  • Execution graph: membandingkan grafik eksekusi kedua tugas tahap demi tahap untuk menentukan dengan tepat di mana bottleneck terjadi.

Membandingkan dua interval sistem

Administrator dan analis dapat menganalisis metrik lingkungan yang lebih luas dengan menjalankan perbandingan performa sistem. Alat ini memungkinkan Anda membandingkan interval historis di seluruh pemesanan dan project tertentu untuk memahami pergeseran pemanfaatan dan mengisolasi apakah penurunan performa berasal dari internal atau eksternal workload Anda.

Anda dapat membuka tampilan perbandingan performa sistem dengan salah satu cara berikut:

  • Di halaman Detail tugas, setelah Anda membandingkan dua tugas, klik Lihat lainnya di bagian Output tingkat sistem untuk melihat detail perbandingan sistem.
  • Jika Anda menggunakan Gemini Cloud Assist untuk melakukan perbandingan sistem, Gemini Cloud Assist akan membuat link yang membuka hasil perbandingan sistem.

Untuk melakukan perbandingan tingkat sistem selama jangka waktu yang berbeda, lakukan hal berikut:

  1. Dari tampilan System performance comparison, klik System.
  2. Pilih sistem tempat Anda ingin menganalisis performa dengan mengklik Browse dan memilih cakupan pemesanan atau project.
  3. Tentukan jangka waktu perbandingan:
    • Target Interval: pilih jendela tanggal dan waktu untuk periode yang mengalami masalah performa, lalu klik Apply.
    • Interval Dasar Pengukuran: pilih tanggal referensi dan periode waktu untuk dijadikan tolok ukur performa, lalu klik Terapkan.

Analisis tingkat sistem

Setelah membandingkan interval, tampilan akan memetakan pergeseran pemanfaatan, variasi konkurensi, dan perbedaan setelan di seluruh lingkungan yang dipilih terhadap grup induknya. Hal ini membantu Anda menentukan apakah pertentangan slot atau regresi konfigurasi memengaruhi workload Anda. Data dibuat dalam tiga blok:

  • Project: membandingkan konkurensi tugas, konkurensi dalam antrean, dan total penggunaan slot di level project.
  • Reservation: membandingkan pemakaian pemesanan, berbagi slot tidak ada aktivitas, dan konkurensi project di seluruh pemesanan bersama.
  • Analisis konfigurasi: membandingkan setelan pengelolaan workload antara dua operasi, seperti batas ukuran pemesanan maksimum dan aturan peminjaman slot tidak ada aktivitas.

Menggunakan insight pemecahan masalah performa agentic

Untuk memberikan masukan atau meminta dukungan terkait fitur ini, kirim email ke bq-performance-troubleshooting+feedback@google.com.

Saat Anda memantau tugas administrasi atau mengevaluasi perbandingan performa, BigQuery mengintegrasikan diagnostik kemampuan observasi yang mendasarinya dengan Gemini Cloud Assist untuk mengubah panel chat menjadi asisten pemecahan masalah aktif saat Anda memecahkan masalah anomali tingkat tugas dan tingkat sistem.

Insight dikontrol aksesnya; tanpa izin yang memadai, insight yang Anda terima mungkin terbatas. Untuk mengetahui informasi selengkapnya tentang izin, lihat Mengontrol akses ke resource dengan IAM.

Memecahkan masalah performa dalam chat

Untuk melakukan inisialisasi pemecahan masalah kontekstual dan menindaklanjuti insight performa, lakukan hal berikut:

  1. Untuk membuka panel chat Gemini Cloud Assist dan otomatis memuat konteks tugas atau sistem yang relevan, lakukan salah satu hal berikut:
    • Di halaman Jobs explorer atau Job history, arahkan kursor ke tugas dan klik astrophotography_mode Gemini di baris tabel tersebut.
    • Di halaman Workload management, arahkan kursor ke pemesanan, lalu klik astrophotography_mode Gemini di baris tabel tersebut.
    • Di Studio, Monitoring, atau Jobs explorer, klik astrophotography_mode Gemini.
  2. Kirimkan perintah dalam bahasa alami. Misalnya, minta Gemini untuk menjelaskan alasan tugas berjalan lambat, menganalisis statistik tugas tertentu, menganalisis performa pemesanan tertentu, memecahkan masalah performa sistem, atau membandingkan varians performa antara dua tugas historis yang serupa.
  3. Jika batas level organisasi atau level pemesanan dilanggar, seperti antrean slot yang parah karena lonjakan konkurensi project aktif yang tidak terduga, tinjau laporan Insight Performa yang dihasilkan. Laporan ini menjelaskan bottleneck penting seperti berikut:
    • Peningkatan Konkurensi dalam Antrean: lonjakan permintaan kueri serentak yang melebihi batas konkurensi ringan atau alokasi slot pemesanan.
    • Peningkatan Konkurensi Project: melacak project dengan konkurensi tinggi yang tepat atau akun pengguna teratas yang mendorong beban sistem di seluruh pemesanan bersama atau kuota on-demand.
  4. Amati tabel Key Metrics Comparison untuk melacak perbedaan numerik yang tepat, seperti pergeseran dalam konkurensi project rata-rata, slot antrean, atau batas slot pemesanan maksimum.

  5. Jalankan solusi inline secara langsung melalui link serah terima yang dapat ditindaklanjuti yang dibuat oleh Gemini Cloud Assist. Pintasan ini mengalihkan Anda ke alat dalam produk tertentu dengan konteks yang telah diisi otomatis untuk menjawab pertanyaan dan menyelesaikan masalah Anda:

    • Edit reservation: membuka panel samping pengelolaan Workload Manager untuk menyesuaikan ukuran pemesanan maksimum atau mengaktifkan kapabilitas penskalaan lanjutan.
    • View job performance in Job explorer: membuka tab detail performa untuk tugas tertentu.
    • Membandingkan performa tugas di Job explorer: bandingkan performa dua tugas secara berdampingan.

Harga

Penjelajah tugas tersedia tanpa biaya tambahan. Kueri yang digunakan untuk mengisi diagram ini tidak ditagih dan tidak menggunakan slot di pemesanan milik pengguna. Waktu kueri yang memproses terlalu banyak data akan habis.

Langkah berikutnya