Memantau tugas

Sebagai administrator BigQuery, Anda dapat memantau tugas di seluruh organisasi melalui penjelajah tugas administratif di konsol Google Cloud . Penjelajah tugas menyediakan opsi pemfilteran dan pengurutan untuk mengidentifikasi, membandingkan, dan memecahkan masalah tugas yang bermasalah. Anda tidak perlu menulis kueri INFORMATION_SCHEMA untuk melihat detail tugas, seperti pemilik, project, penggunaan slot, durasi, dan lainnya.

Dengan penjelajah tugas, Anda dapat melakukan hal berikut:

  • Memfilter dan mengidentifikasi tugas. Telusuri kueri tertentu di seluruh organisasi Anda dengan menerapkan filter berdasarkan kriteria seperti status tugas, durasi, pemilik, atau penggunaan slot.
  • Memecahkan masalah tugas. Pilih setiap tugas untuk melihat grafik eksekusi kueri, teks SQL, dan histori eksekusinya di halaman Detail tugas (Pratinjau).
  • Bandingkan performa. Membandingkan tugas (Pratinjau) untuk menyoroti perbedaan metrik yang signifikan dan mengatasi potensi masalah performa.
  • Dapatkan bantuan AI. Gunakan Gemini Code Assist langsung dari penjelajah tugas (Pratinjau) untuk menganalisis statistik tugas atau menjelaskan kueri yang berjalan lambat.

BigQuery menyediakan detail dan insight tugas dari tampilan INFORMATION_SCHEMA berikut:

Sebelum memulai

Untuk menggunakan Gemini Code Assist guna memecahkan masalah tugas di BigQuery (Pratinjau), lihat Menyiapkan Gemini Code Assist untuk mengaktifkan API dan memberikan peran yang diperlukan untuknya.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menggunakan penjelajah tugas guna memantau tugas, minta administrator untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk menggunakan penjelajah tugas guna memantau tugas. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menggunakan penjelajah tugas guna memantau tugas:

  • Melihat tugas di tingkat project: bigquery.jobs.listAll di project
  • Melihat tugas di tingkat organisasi: bigquery.jobs.listAll di organisasi
  • Memfilter menurut reservasi di organisasi Anda: bigquery.reservations.list pada organisasi

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk menggunakan Gemini Code Assist dalam memecahkan masalah tugas, lihat persyaratan IAM tambahan untuk menggunakan Gemini Code Assist.

Filter tugas

Guna memfilter tugas untuk kueri yang ada dalam tampilan INFORMATION_SCHEMA.JOBS*, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Penjelajah tugas.

  3. Dari daftar Lokasi, pilih lokasi tempat Anda ingin melihat tugas.

  4. Terapkan Filter opsional sesuai kebutuhan:

    • Cakupan tugas: memfilter tugas berdasarkan tingkat visibilitasnya—misalnya, project saat ini, organisasi, dan tugas Anda. Anda dapat memilih untuk melihat tugas dari project saat ini, di seluruh organisasi, atau hanya tugas yang Anda mulai.
    • Status: memfilter tugas menurut status eksekusinya saat ini—misalnya, selesai, error, aktif, dan dalam antrean. Hal ini membantu Anda mengidentifikasi tugas yang aktif atau gagal.
    • Kategori tugas: memfilter tugas menurut jenis operasi yang dilakukan, seperti kueri SQL standar atau kueri berkelanjutan yang digunakan untuk pemrosesan data real-time.
    • Alasan pembuatan tugas: memfilter tugas berdasarkan alasan BigQuery membuatnya, seperti saat kueri melampaui waktu tunggu atau menghasilkan hasil yang terlalu besar untuk satu respons.
    • Prioritas tugas: memfilter tugas berdasarkan prioritas eksekusinya, seperti tugas interaktif atau batch.
    • ID pekerjaan: memfilter tugas tertentu berdasarkan ID alfanumerik uniknya.
    • Pemilik: memfilter tugas menurut alamat email pengguna atau akun layanan yang memulai tugas.
    • Project ID: memfilter tugas yang berjalan di project tertentu. Filter ini hanya tersedia jika Cakupan tugas disetel ke Organisasi.
    • ID Pemesanan: memfilter tugas yang menggunakan slot dari pemesanan tertentu. Hal ini membantu Anda memantau cara berbagai workload menggunakan kapasitas yang dicadangkan.
    • Waktu slot lebih dari: memfilter tugas yang menggunakan lebih dari jumlah slot-milidetik yang ditentukan. Ini adalah metrik utama untuk mengidentifikasi kueri yang menggunakan banyak resource.
    • Durasi lebih dari: memfilter tugas yang memerlukan waktu lebih lama dari jumlah waktu yang ditentukan untuk diselesaikan. Gunakan ini untuk menemukan kueri yang berjalan lebih lambat dari yang diharapkan.
    • Byte yang diproses lebih dari: memfilter tugas yang memindai lebih dari jumlah data yang ditentukan. Hal ini membantu Anda mengidentifikasi kueri yang mungkin berkontribusi terhadap biaya pemrosesan data yang tinggi.
    • Insight kueri: memfilter tugas yang telah diidentifikasi BigQuery sebagai memiliki masalah performa tertentu, seperti pertentangan slot, kapasitas shuffle memori terlampaui, dan perubahan skala input data.
    • Hash kueri: memfilter tugas dengan hash kueri tertentu. Hash kueri mengidentifikasi logika kueri, dengan mengabaikan perbedaan dalam komentar, nilai parameter, UDF, dan literal, yang membantu Anda menemukan semua eksekusi dari logika kueri yang sama. Kolom ini muncul untuk kueri GoogleSQL yang berhasil dan tidak ditemukan dalam cache.
    • Label: memfilter tugas berdasarkan label metadata kustom yang telah dilampirkan oleh Anda atau organisasi Anda. Dengan demikian, Anda dapat mengategorikan dan melacak tugas berdasarkan departemen atau aplikasi.

Memecahkan masalah performa tugas

Untuk mendiagnosis dan memecahkan masalah kueri, Anda dapat melihat metrik eksekusi, teks SQL, dan varians histori performa di halaman Detail tugas.

Melihat detail tugas

Untuk melihat detail tugas dan menganalisis eksekusi kuerinya, lakukan langkah-langkah berikut:

  1. Buka halaman Jobs explorer.

    Buka Jobs Explorer

  2. Opsional: Untuk mempersempit tugas yang ditampilkan, filter tugas.

  3. Klik ID tugas dari tugas yang ingin Anda selidiki. Untuk kueri yang tidak membuat tugas, ID kueri akan muncul dan link dinonaktifkan. Mengklik ID tugas yang valid akan membuka halaman Detail tugas dengan tab Performa ditampilkan secara default.

Informasi kueri yang tersedia

Untuk membantu Anda mendiagnosis performa kueri, tab Performa di detail tugas mengompilasi informasi dan metrik berikut, jika berlaku:

  • Detail tugas: informasi tentang tugas, termasuk ID tugas, waktu pembuatan, byte yang diproses, dan penggunaan slot. Untuk mengetahui informasi selengkapnya, lihat Melihat detail tugas.
  • Histori eksekusi: daftar eksekusi historis kueri, yang dikelompokkan berdasarkan hash kueri. Anda dapat memilih tugas dari daftar ini untuk dibandingkan langsung dengan tugas saat ini. Untuk mengetahui informasi selengkapnya, lihat Membandingkan tugas.

  • Grafik eksekusi: representasi visual dari tahap eksekusi kueri. Luaskan bagian Execution graph untuk memeriksa pertentangan slot, kapasitas shuffle, dan skala input data. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan insight performa kueri.

    Contoh berikut menunjukkan grafik eksekusi dengan pemetaan teks SQL diaktifkan:

    Grafik eksekusi untuk tugas.

  • Beban sistem selama eksekusi: ringkasan resource komputasi dan setelan reservasi yang dialokasikan selama eksekusi tugas.

Mendiagnosis regresi performa dengan membandingkan tugas dan sistem

Alat perbandingan performa memungkinkan Anda menganalisis perbedaan performa antara dua tugas kueri atau di dua interval sistem. Analisis ini menunjukkan detail kueri, perubahan pemanfaatan resource, dan setelan lingkungan sistem yang berbeda secara signifikan antara lingkungan dasar dan target Anda.

Memahami analisis perbandingan

Alat perbandingan mengevaluasi performa di seluruh metrik tingkat kueri dan faktor tingkat sistem. Anda dapat mengaktifkan tombol Tampilkan hanya perbedaan signifikan untuk membatasi tampilan ke metrik dengan varians lebih besar dari 20%.

Perbedaan signifikan diberi kode warna untuk membantu Anda memindai masalah:

  • Hijau: metrik meningkat (misalnya, durasi kueri yang lebih pendek dalam target run).
  • Kuning: metrik menurun kurang dari 20%.
  • Merah: metrik menurun lebih dari 20%.

Membandingkan dua tugas

Untuk membandingkan tugas dasar dengan eksekusi tugas target, lakukan hal berikut:

  1. Buka halaman Jobs explorer.

    Buka Jobs Explorer

  2. Opsional: Untuk mempersempit tugas yang ditampilkan, filter tugas.

  3. Klik ID tugas dasar untuk membuka halaman Detail tugas, lalu pilih tab Performa.

  4. Di menu Tindakan, klik Bandingkan Tugas.

  5. Di kolom Job one (baseline job), klik Browse untuk membuka panel Similar comparable jobs.

  6. Pilih tugas target yang ingin Anda bandingkan dengan dasar, lalu klik Bandingkan.

  7. Opsional: Untuk berfokus pada regresi performa utama, aktifkan Tampilkan hanya perbedaan signifikan. Hal ini membatasi tampilan ke metrik dengan varians lebih besar dari 20%.

Untuk mengubah pekerjaan yang dibandingkan kapan saja, klik Jelajahi di kolom pekerjaan dasar atau target dan pilih pekerjaan baru dari daftar pekerjaan yang sebanding.

Analisis tingkat kueri

Setelah membandingkan dua pekerjaan, Anda dapat melihat bagian Analisis tingkat kueri, yang membandingkan dua eksekusi pekerjaan di tiga tab:

  • Metrik: membandingkan metrik kueri inti, seperti durasi tugas, waktu slot, byte yang diproses, dan akselerator yang tidak digunakan.
  • Teks SQL: menampilkan pernyataan SQL untuk kedua tugas dan menandai perbedaan teks.
  • Grafik eksekusi: membandingkan grafik eksekusi kedua tugas tahap demi tahap untuk menentukan lokasi terjadinya hambatan.

Membandingkan dua interval sistem

Administrator dan analis dapat menganalisis metrik lingkungan yang lebih luas dengan menjalankan perbandingan performa sistem. Alat ini memungkinkan Anda membandingkan interval historis di seluruh reservasi dan project tertentu untuk memahami perubahan penggunaan dan mengisolasi apakah penurunan performa berasal dari internal atau eksternal workload Anda.

Anda dapat membuka tampilan perbandingan performa sistem dengan salah satu cara berikut:

  • Di halaman Detail tugas, setelah Anda membandingkan dua tugas, klik Lihat lainnya di bagian Output tingkat sistem untuk melihat detail perbandingan sistem.
  • Jika Anda menggunakan Gemini Cloud Assist untuk melakukan perbandingan sistem, Gemini Cloud Assist akan membuat link yang membuka hasil perbandingan sistem.

Untuk melakukan perbandingan tingkat sistem selama periode waktu terpisah, lakukan hal berikut:

  1. Dari tampilan Perbandingan performa sistem, klik Sistem.
  2. Pilih sistem tempat Anda ingin menganalisis performa dengan mengklik Jelajahi dan memilih cakupan project atau reservasi.
  3. Tentukan jangka waktu perbandingan:
    • Interval Target: pilih jendela tanggal dan waktu untuk periode yang mengalami masalah performa, lalu klik Terapkan.
    • Interval Dasar: pilih tanggal dan jangka waktu rujukan yang akan berfungsi sebagai tolok ukur performa Anda, lalu klik Terapkan.

Analisis tingkat sistem

Setelah membandingkan interval, tampilan memetakan perubahan pemanfaatan, variasi serentak, dan perbedaan setelan di seluruh lingkungan yang dipilih dengan grup induknya. Hal ini membantu Anda menentukan apakah pertentangan slot atau regresi konfigurasi memengaruhi beban kerja Anda. Data dihasilkan dalam tiga blok:

  • Project: membandingkan konkurensi tugas, konkurensi dalam antrean, dan total penggunaan slot di tingkat project.
  • Reservasi: membandingkan penggunaan reservasi, berbagi slot tidak ada aktivitas, dan serentak project di seluruh reservasi bersama.
  • Analisis konfigurasi: membandingkan setelan pengelolaan workload antara dua run, seperti batas ukuran reservasi maksimum dan aturan peminjaman slot tidak aktif.

Menggunakan insight pemecahan masalah performa agentik

Untuk memberikan masukan atau meminta dukungan terkait fitur ini, kirim email ke bq-performance-troubleshooting+feedback@google.com.

Saat Anda memantau tugas administrasi atau mengevaluasi perbandingan performa, BigQuery mengintegrasikan diagnostik kemampuan pengamatan yang mendasarinya dengan Gemini Cloud Assist untuk mengubah panel chat menjadi asisten pemecahan masalah yang aktif saat Anda memecahkan masalah anomali tingkat tugas dan tingkat sistem.

Insight dikontrol aksesnya; tanpa izin yang memadai, insight yang Anda terima mungkin terbatas. Untuk mengetahui informasi selengkapnya tentang izin, lihat Mengontrol akses ke resource dengan IAM.

Memecahkan masalah performa dalam chat

Untuk menginisialisasi pemecahan masalah kontekstual dan mengambil tindakan berdasarkan analisis performa, lakukan hal berikut:

  1. Untuk membuka panel chat Gemini Cloud Assist dan memuat konteks tugas atau sistem yang relevan secara otomatis, lakukan salah satu hal berikut:
    • Di halaman Jobs explorer atau Job history, arahkan kursor ke tugas, lalu klik spark Gemini di baris tabel tersebut.
    • Di halaman Pengelolaan kapasitas, arahkan kursor ke reservasi, lalu klik spark Gemini di baris tabel tersebut.
    • Di Studio, Monitoring, atau Penjelajah tugas, klik spark Gemini.
  2. Kirimkan perintah dalam bahasa alami. Misalnya, minta Gemini untuk menjelaskan mengapa suatu tugas berjalan lambat, menganalisis statistik tugas tertentu, menganalisis performa reservasi tertentu, memecahkan masalah performa sistem, atau membandingkan variasi performa antara dua tugas historis yang serupa.
  3. Jika batas level organisasi atau level reservasi dilanggar, seperti antrean slot yang parah karena lonjakan tak terduga dalam konkurensi project aktif, tinjau laporan Insight Performa yang dihasilkan. Laporan ini menjelaskan bottleneck penting seperti berikut:
    • Peningkatan Konkurensi dalam Antrean: lonjakan permintaan kueri serentak yang melampaui batas konkurensi ringan atau alokasi slot reservasi.
    • Peningkatan Konkurensi Project: melacak project dengan konkurensi tinggi yang tepat atau akun pengguna teratas yang mendorong beban sistem di seluruh pemesanan bersama atau kuota on-demand.
  4. Amati tabel Perbandingan Metrik Utama untuk melacak perbedaan numerik yang tepat, seperti perubahan pada konkurensi project rata-rata, slot antrean, atau batas slot reservasi maksimum.

  5. Jalankan solusi inline secara langsung melalui link pengalihan yang dapat ditindaklanjuti yang dihasilkan oleh Gemini Cloud Assist. Pintasan ini akan mengarahkan Anda ke alat dalam produk tertentu dengan konteks yang telah diisi sebelumnya untuk menjawab pertanyaan Anda dan menyelesaikan masalah:

    • Edit reservasi: membuka panel samping pengelolaan beban kerja untuk menyesuaikan ukuran reservasi maksimum atau mengaktifkan kemampuan penskalaan lanjutan.
    • Melihat performa tugas di Penjelajah tugas: membuka tab detail performa untuk tugas tertentu.
    • Membandingkan performa pekerjaan di Penjelajah pekerjaan: bandingkan performa dua pekerjaan secara berdampingan.

Harga

Penjelajah tugas tersedia tanpa biaya tambahan. Kueri yang digunakan untuk mengisi diagram ini tidak ditagih dan tidak menggunakan slot di pemesanan milik pengguna. Waktu kueri yang memproses terlalu banyak data akan habis.

Langkah berikutnya