Memantau tugas

Sebagai administrator BigQuery, Anda dapat memantau tugas di seluruh organisasi melalui penjelajah tugas administratif di Google Cloud konsol. Penjelajah tugas menyediakan filter dan opsi pengurutan untuk mengidentifikasi, membandingkan, dan memecahkan masalah tugas. Anda tidak perlu menulis kueri INFORMATION_SCHEMA untuk melihat detail tugas, seperti pemilik, project, penggunaan slot, durasi, dan lainnya.

Dengan penjelajah tugas, Anda dapat melakukan hal berikut:

  • Memfilter dan mengidentifikasi tugas. Telusuri kueri tertentu di seluruh organisasi Anda dengan menerapkan filter berdasarkan kriteria seperti status tugas, durasi, pemilik, atau penggunaan slot.
  • Memecahkan masalah tugas. Pilih tugas satu per satu untuk melihat grafik eksekusi kueri, teks SQL, dan histori eksekusi di halaman Detail tugas (Pratinjau).
  • Membandingkan performa. Bandingkan tugas (Pratinjau) untuk menandai perbedaan metrik yang signifikan dan mengatasi potensi masalah performa
  • Mendapatkan bantuan AI. Gunakan Gemini Code Assist langsung dari penjelajah tugas (Pratinjau) untuk menganalisis statistik tugas atau menjelaskan kueri yang berjalan lambat.

BigQuery menyediakan detail dan insight tugas dari tampilan INFORMATION_SCHEMA berikut:

Sebelum memulai

Untuk menggunakan Gemini Code Assist guna memecahkan masalah tugas di BigQuery (Pratinjau), lihat Menyiapkan Gemini Code Assist untuk mengaktifkan API dan memberikan peran yang diperlukan.

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk menggunakan penjelajah tugas guna memantau tugas, minta administrator untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menggunakan penjelajah tugas guna memantau tugas. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menggunakan penjelajah tugas guna memantau tugas:

  • Melihat tugas di tingkat project: bigquery.jobs.listAll di project
  • Melihat tugas di tingkat organisasi: bigquery.jobs.listAll di organisasi
  • Memfilter menurut reservasi di organisasi Anda: bigquery.reservations.list di organisasi

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk menggunakan Gemini Code Assist guna memecahkan masalah tugas, lihat persyaratan IAM tambahan untuk menggunakan Gemini Code Assist.

Filter tugas

Guna memfilter tugas untuk kueri yang ada dalam tampilan INFORMATION_SCHEMA.JOBS*, lakukan hal berikut:

  1. Di Google Cloud konsol, buka halaman BigQuery.

    Buka BigQuery

  2. Di menu navigasi, klik Penjelajah tugas.

  3. Dari daftar Lokasi, pilih lokasi tempat Anda ingin melihat tugas.

  4. Terapkan Filter opsional sesuai kebutuhan:

    • Cakupan tugas: memfilter tugas berdasarkan tingkat visibilitasnya—misalnya, project saat ini, organisasi, dan tugas Anda. Anda dapat memilih untuk melihat tugas dari project saat ini, di seluruh organisasi, atau hanya tugas yang Anda mulai.
    • Status: memfilter tugas berdasarkan status eksekusi saat ini—misalnya, selesai, error, aktif, dan dalam antrean. Hal ini membantu Anda mengidentifikasi tugas yang aktif atau gagal.
    • Kategori tugas: memfilter tugas berdasarkan jenis operasi yang dilakukan, seperti kueri SQL standar atau kueri berkelanjutan yang digunakan untuk pemrosesan data real-time.
    • Alasan pembuatan tugas: memfilter tugas berdasarkan alasan BigQuery membuatnya, seperti saat kueri melebihi waktu tunggu atau menghasilkan hasil yang terlalu besar untuk satu respons.
    • Prioritas tugas: memfilter tugas berdasarkan prioritas eksekusinya, seperti tugas interaktif atau batch.
    • ID tugas: memfilter tugas tertentu berdasarkan ID alfanumerik uniknya.
    • Pemilik: memfilter tugas berdasarkan alamat email pengguna atau akun layanan yang memulai tugas.
    • Project ID: memfilter tugas yang berjalan di project tertentu. Filter ini hanya tersedia jika Cakupan tugas ditetapkan ke Organisasi.
    • ID Reservasi: memfilter tugas yang menggunakan slot dari reservasi tertentu. Hal ini membantu Anda memantau cara berbagai workload menggunakan kapasitas yang dicadangkan.
    • Slot time more than: memfilter tugas yang menggunakan lebih dari jumlah slot-milidetik yang ditentukan. Ini adalah metrik utama untuk mengidentifikasi kueri yang menggunakan banyak resource.
    • Durasi lebih dari: memfilter tugas yang memerlukan waktu lebih lama dari jumlah waktu yang ditentukan untuk diselesaikan. Gunakan ini untuk menemukan kueri yang berjalan lebih lambat dari yang diharapkan.
    • Bytes processed more than: memfilter tugas yang memindai lebih dari jumlah data yang ditentukan. Hal ini membantu Anda mengidentifikasi kueri yang mungkin berkontribusi pada biaya pemrosesan data yang tinggi.
    • Query insights: memfilter tugas yang diidentifikasi BigQuery memiliki masalah performa tertentu, seperti pertentangan slot, kapasitas shuffle memori terlampaui, dan perubahan skala input data.
    • Hash kueri: memfilter tugas dengan hash kueri tertentu. Hash kueri mengidentifikasi logika kueri, mengabaikan perbedaan dalam komentar, nilai parameter, UDF, dan literal, yang membantu Anda menemukan semua eksekusi logika kueri yang sama. Kolom ini muncul untuk kueri GoogleSQL yang berhasil dan tidak ditemukan dalam cache.
    • Label: memfilter tugas berdasarkan label metadata kustom yang Anda atau organisasi Anda lampirkan. Hal ini memungkinkan Anda mengategorikan dan melacak tugas menurut departemen atau aplikasi.

Memecahkan masalah performa tugas

Untuk mendiagnosis dan memecahkan masalah kueri, Anda dapat melihat metrik eksekusi, teks SQL, dan varian performa historis di halaman Detail tugas.

Melihat detail tugas

Untuk melihat detail tugas dan menganalisis eksekusi kuerinya, lakukan hal berikut:

  1. Buka halaman Penjelajah tugas.

    Buka Penjelajah tugas

  2. Opsional: Untuk mempersempit tugas yang ditampilkan, filter tugas.

  3. Klik ID tugas yang ingin Anda selidiki. Untuk kueri yang tidak membuat tugas, ID kueri akan muncul dan link akan dinonaktifkan. Mengklik ID tugas yang valid akan membuka halaman Detail tugas dengan tab Performa yang ditampilkan secara default.

Informasi kueri yang tersedia

Untuk membantu Anda mendiagnosis performa kueri, tab Performa di detail tugas mengumpulkan informasi dan metrik berikut, jika berlaku:

  • Detail tugas: informasi tentang tugas, termasuk ID tugas, waktu pembuatan, byte yang diproses, dan penggunaan slot. Untuk mengetahui informasi selengkapnya, lihat Melihat detail tugas.
  • Histori eksekusi: daftar eksekusi historis kueri, yang dikelompokkan menurut hash kueri. Anda dapat memilih tugas dari daftar ini untuk dibandingkan langsung dengan tugas Anda saat ini. Untuk mengetahui informasi selengkapnya, lihat Membandingkan tugas.

  • Grafik eksekusi: representasi visual dari tahap eksekusi kueri. Luaskan bagian Grafik eksekusi untuk memeriksa pertentangan slot, kapasitas shuffle, dan skala input data. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan insight performa kueri.

    Contoh berikut menunjukkan grafik eksekusi dengan pemetaan teks SQL diaktifkan:

    Grafik eksekusi untuk tugas.

  • Beban sistem selama eksekusi: ringkasan resource komputasi dan setelan reservasi yang dialokasikan selama eksekusi tugas.

Mendiagnosis regresi performa dengan membandingkan tugas dan sistem

Alat perbandingan performa memungkinkan Anda menganalisis perbedaan performa antara dua tugas kueri atau di dua interval sistem. Analisis ini menunjukkan detail kueri, perubahan penggunaan resource, dan setelan lingkungan sistem yang berbeda secara signifikan antara lingkungan dasar dan target Anda.

Memahami analisis perbandingan

Alat perbandingan mengevaluasi performa di seluruh metrik tingkat kueri dan faktor tingkat sistem. Anda dapat mengaktifkan tombol Tampilkan hanya perbedaan signifikan untuk membatasi tampilan ke metrik dengan varian yang lebih besar dari 20%.

Perbedaan signifikan diberi kode warna untuk membantu Anda memindai masalah:

  • Hijau: metrik meningkat (misalnya, durasi kueri yang lebih singkat dalam operasi target).
  • Kuning: metrik menurun kurang dari 20%.
  • Merah: metrik menurun lebih dari 20%.

Membandingkan dua tugas

Untuk membandingkan tugas dasar dengan eksekusi tugas target, lakukan hal berikut:

  1. Buka halaman Penjelajah tugas.

    Buka Penjelajah tugas

  2. Opsional: Untuk mempersempit tugas yang ditampilkan, filter tugas.

  3. Klik ID tugas dasar Anda untuk membuka halaman Detail tugas, lalu pilih tab Performa.

  4. Di menu Tindakan, klik Bandingkan Tugas.

  5. Di kolom Tugas satu (tugas dasar), klik Jelajahi untuk membuka panel Tugas sebanding serupa.

  6. Pilih tugas target yang ingin Anda bandingkan dengan dasar Anda, lalu klik Bandingkan.

  7. Opsional: Untuk berfokus pada regresi performa utama, aktifkan Tampilkan hanya perbedaan signifikan. Tindakan ini membatasi tampilan ke metrik dengan varian yang lebih besar dari 20%.

Untuk mengubah tugas yang dibandingkan kapan saja, klik Jelajahi di kolom tugas dasar atau target, lalu pilih tugas baru dari daftar tugas yang sebanding.

Analisis tingkat kueri

Setelah membandingkan dua tugas, Anda dapat melihat bagian Analisis tingkat kueri , yang membandingkan dua eksekusi tugas di tiga tab:

  • Metrik: membandingkan metrik kueri inti, seperti durasi tugas, waktu slot, byte yang diproses, dan akselerator yang tidak digunakan.
  • Teks SQL: menampilkan pernyataan SQL untuk kedua tugas dan menandai perbedaan teks.
  • Grafik eksekusi: membandingkan grafik eksekusi kedua tugas tahap demi tahap untuk menentukan lokasi terjadinya bottleneck.

Membandingkan dua interval sistem

Administrator dan analis dapat menganalisis metrik lingkungan yang lebih luas dengan menjalankan perbandingan performa sistem. Alat ini memungkinkan Anda membandingkan interval historis di seluruh reservasi dan project tertentu untuk memahami perubahan penggunaan dan mengisolasi apakah penurunan performa berasal dari internal atau eksternal workload Anda.

Anda dapat membuka tampilan perbandingan performa sistem dengan salah satu cara berikut:

  • Di halaman Detail tugas, setelah Anda membandingkan dua tugas, klik Lihat lainnya di bagian Output tingkat sistem untuk melihat detail perbandingan sistem.
  • Jika Anda menggunakan Gemini Cloud Assist untuk melakukan perbandingan sistem, Gemini Cloud Assist akan membuat link yang membuka hasil perbandingan sistem.

Untuk melakukan perbandingan tingkat sistem selama periode waktu terpisah, lakukan hal berikut:

  1. Dari tampilan Perbandingan performa sistem, klik Sistem.
  2. Pilih sistem tempat Anda ingin menganalisis performa dengan mengklik Jelajahi dan memilih cakupan reservasi atau project.
  3. Tentukan jangka waktu perbandingan:
    • Interval Target: pilih jendela tanggal dan waktu untuk periode yang mengalami masalah performa, lalu klik Terapan.
    • Interval Dasar: pilih jendela tanggal dan waktu referensi untuk bertindak sebagai tolok ukur performa Anda, lalu klik Terapkan.

Analisis tingkat sistem

Setelah membandingkan interval, tampilan akan memetakan perubahan penggunaan, variasi konkurensi, dan perbedaan setelan di seluruh lingkungan yang dipilih dengan grup induknya. Hal ini membantu Anda menentukan apakah pertentangan slot atau regresi konfigurasi memengaruhi workload Anda. Data dibuat dalam tiga blok:

  • Project: membandingkan konkurensi tugas, konkurensi dalam antrean, dan total penggunaan slot di tingkat project.
  • Reservasi: membandingkan penggunaan reservasi, berbagi slot tidak aktif, dan konkurensi project di seluruh reservasi bersama.
  • Analisis konfigurasi: membandingkan setelan pengelolaan workload antara dua operasi, seperti batas ukuran reservasi maksimum dan aturan peminjaman slot tidak aktif.

Menggunakan insight pemecahan masalah performa agentic

Untuk memberikan masukan atau meminta dukungan terkait fitur ini, kirim email ke bq-performance-troubleshooting+feedback@google.com.

Saat Anda memantau tugas administrasi atau mengevaluasi perbandingan performa, BigQuery mengintegrasikan diagnostik observabilitas yang mendasarinya dengan Gemini Cloud Assist untuk mengubah panel chat menjadi asisten pemecahan masalah aktif saat Anda memecahkan masalah anomali tingkat tugas dan tingkat sistem.

Insight dikontrol aksesnya; tanpa izin yang memadai, insight yang Anda terima mungkin terbatas. Untuk mengetahui informasi selengkapnya tentang izin, lihat Mengontrol akses ke resource dengan IAM.

Memecahkan masalah performa dalam chat

Untuk menginisialisasi pemecahan masalah yang sensitif terhadap konteks dan menindaklanjuti insight performa, lakukan hal berikut:

  1. Untuk membuka panel chat Gemini Cloud Assist dan otomatis memuat konteks tugas atau sistem yang relevan, lakukan salah satu hal berikut:
    • Di halaman Penjelajah tugas atau Histori tugas, arahkan kursor ke tugas, lalu klik astrophotography_mode Gemini di baris tabel tersebut.
    • Di halaman Pengelolaan workload, arahkan kursor ke reservasi, lalu klik astrophotography_mode Gemini di baris tabel tersebut.
    • Di Studio, Monitoring, atau Penjelajah tugas, klik astrophotography_mode Gemini.
  2. Kirim perintah dalam bahasa alami. Misalnya, minta Gemini untuk menjelaskan alasan tugas berjalan lambat, menganalisis statistik tugas tertentu, menganalisis performa reservasi tertentu, memecahkan masalah performa sistem, atau membandingkan varian performa antara dua tugas historis yang serupa.
  3. Jika nilai minimum tingkat organisasi atau tingkat reservasi dilanggar, seperti antrean slot yang parah karena lonjakan konkurensi project aktif yang tidak terduga, tinjau laporan Insight Performa yang dihasilkan. Laporan ini menjelaskan bottleneck penting seperti berikut:
    • Peningkatan Konkurensi dalam Antrean: lonjakan permintaan kueri serentak yang melebihi batas konkurensi sementara atau alokasi slot reservasi.
    • Peningkatan Konkurensi Project: melacak project konkurensi tinggi yang tepat atau akun pengguna teratas yang mendorong beban sistem di seluruh reservasi bersama atau kuota sesuai permintaan.
  4. Amati tabel Perbandingan Metrik Utama untuk melacak perbedaan numerik yang tepat, seperti perubahan konkurensi project rata-rata, slot antrean, atau batas slot reservasi maksimum.

  5. Jalankan solusi inline langsung melalui link serah terima yang dapat ditindaklanjuti yang dihasilkan oleh Gemini Cloud Assist. Pintasan ini akan mengarahkan Anda ke alat dalam produk tertentu dengan konteks yang telah diisi sebelumnya untuk menjawab pertanyaan dan menyelesaikan masalah Anda:

    • Edit reservation: membuka panel samping pengelolaan workload untuk menyesuaikan ukuran reservasi maksimum atau mengaktifkan kemampuan skala lanjutan.
    • View job performance in Job explorer: membuka tab detail performa untuk tugas tertentu.
    • Compare job performance in Job explorer: membandingkan performa dua tugas secara berdampingan.

Harga

Penjelajah tugas tersedia tanpa biaya tambahan. Kueri yang digunakan untuk mengisi diagram ini tidak ditagih dan tidak menggunakan slot di reservasi milik pengguna. Waktu kueri yang memproses terlalu banyak data akan habis.

Langkah berikutnya