Ringkasan metrik

Halaman ini menjelaskan metrik yang membantu Anda memantau kondisi dan performa instance dan pipeline Cloud Data Fusion. Gunakan Cloud Monitoring untuk memantau metrik ini. Metrik memberikan insight tentang eksekusi pipeline, detail instance, permintaan API, dan pemeriksaan otorisasi.

Metrik dikategorikan sebagai metrik pipeline atau metrik instance:

  • Metrik pipeline memberikan data tentang setiap eksekusi pipeline, seperti status eksekusi, durasi, latensi, dan throughput data.
  • Metrik instance memberikan informasi gabungan tentang pipeline dalam instance, termasuk ketersediaan layanan, jumlah pipeline yang di-deploy, dan jumlah permintaan API.

Memfilter dan menggabungkan metrik pipeline dan instance Cloud Data Fusion di Monitoring menggunakan label metrik dan monitored-resource. Saat menyesuaikan tampilan metrik, Anda dapat menggunakan satu atau kedua jenis label ini.

Label resource yang dipantau di Pipeline Cloud Data Fusion

Memfilter dan menggabungkan metrik dengan label resource yang dipantau Pipeline Cloud Data Fusion berikut:

Nama label Deskripsi
resource_container ID project pelanggan.
org_id ID organisasi tempat project pelanggan berada.
location Zona atau region tempat instance dihosting.
edition Edisi instance Cloud Data Fusion.
is_private_ip_enabled Apakah instance menggunakan alamat IP internal.
version Versi bidang data Cloud Data Fusion dari instance.
instance_id ID instance Cloud Data Fusion.
namespace Namespace pipeline.
pipeline_id ID pipeline.
run_id ID proses untuk pipeline.

Label metrik pipeline

Memfilter dan menggabungkan metrik dengan label metrik Cloud Data Fusion berikut di Monitoring:

Nama Metrik Deskripsi Label metrik
Status operasi pipeline datafusion.googleapis.com/pipeline/v2/runs_completed_count Jumlah kumulatif pipeline yang telah menyelesaikan operasi.
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Waktu operasi pipeline datafusion.googleapis.com/pipeline/v2/pipeline_duration Waktu yang diperlukan untuk menyelesaikan eksekusi pipeline.
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Latensi mulai pipeline datafusion.googleapis.com/pipeline/v2/pipeline_start_latency Waktu yang diperlukan pipeline untuk mencapai status Running.
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Latensi penyediaan datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Latensi penyediaan cluster Managed Service untuk Apache Spark.
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Permintaan Dataproc API datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Jumlah kumulatif permintaan Dataproc API.
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
Waktu operasi pratinjau pipeline datafusion.googleapis.com/pipeline/v2/preview_duration Waktu yang diperlukan untuk menyelesaikan pratinjau.
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Byte pipeline yang ditulis datafusion.googleapis.com/pipeline/v2/write_bytes_count Jumlah kumulatif byte yang ditulis oleh pipeline.
  • enable_rbac
  • private_service_connect_enabled
Byte yang dibaca pipeline datafusion.googleapis.com/pipeline/v2/read_bytes_count Jumlah kumulatif byte yang dibaca oleh pipeline.
  • enable_rbac
  • private_service_connect_enabled
Byte pipeline diacak datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count Jumlah kumulatif byte yang diacak dalam pipeline.
  • enable_rbac
  • private_service_connect_enabled
Plugin mencatat pemrosesan di datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count Jumlah kumulatif rekaman yang masuk ke plugin.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
Plugin memproses rekaman keluar datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count Jumlah kumulatif rekaman yang keluar dari plugin.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Label resource yang dipantau untuk Instance Cloud Data Fusion

Mulai dari Cloud Data Fusion versi 6.11.1.1, resource yang dipantau InstanceV3 (datafusion.googleapis.com/InstanceV3) adalah jenis resource default untuk metrik tingkat instance. Semua instance baru dan instance yang diupgrade ke versi 6.11.1.1 atau yang lebih baru akan otomatis memancarkan metrik dan log menggunakan InstanceV3. Struktur resource InstanceV3 berbeda dari versi sebelumnya dengan menghapus label org_id dan namespace.

Secara default, pelaporan metrik InstanceV2 dinonaktifkan di Cloud Data Fusion versi 6.11.1.1 dan yang lebih baru. Namun, Anda dapat mengaktifkan kembali emisi InstanceV2 bersama dengan InstanceV3 menggunakan Cloud Data Fusion REST API jika Anda memerlukan kompatibilitas mundur untuk dasbor atau kueri yang ada.

Anda dapat memfilter dan menggabungkan metrik dengan label resource yang dipantau Instance Cloud Data Fusion berikut.

Label resource yang dipantau InstanceV3

Nama label Deskripsi
resource_container ID project pelanggan.
location Zona atau region tempat instance dihosting.
edition Edisi instance.
is_private_ip_enabled Apakah instance menggunakan alamat IP internal.
version Versi bidang data Cloud Data Fusion dari instance.
instance_id ID instance Cloud Data Fusion.

Label resource yang dipantau InstanceV2

Nama label Deskripsi
resource_container ID project pelanggan.
org_id ID organisasi tempat project pelanggan berada.
location Zona atau region tempat instance dihosting.
edition Edisi instance.
is_private_ip_enabled Apakah instance menggunakan alamat IP internal.
version Versi bidang data Cloud Data Fusion dari instance.
instance_id ID instance Cloud Data Fusion.
namespace Nama namespace.

Label metrik instance

Filter dan gabungkan metrik dengan label metrik Cloud Data Fusion berikut di Monitoring.

Label metrik InstanceV3

Nama Metrik Deskripsi Label metrik
Status layanan datafusion.googleapis.com/instance/v3/service_available Ketersediaan layanan Cloud Data Fusion.
  • service
  • enable_rbac
  • private_service_connect_enabled
Jumlah pipeline yang di-deploy datafusion.googleapis.com/instance/v3/pipelines Jumlah pipeline yang di-deploy.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Jumlah pipeline yang berjalan serentak datafusion.googleapis.com/instance/v3/concurrent_pipelines_running Jumlah pipeline yang berjalan secara serentak.
  • enable_rbac
  • private_service_connect_enabled
Jumlah peluncuran pipeline serentak datafusion.googleapis.com/instance/v3/concurrent_pipelines_launched Jumlah pipeline dalam status Penyediaan atau Memulai.
  • enable_rbac
  • private_service_connect_enabled
Permintaan CDAP REST API diterima datafusion.googleapis.com/instance/v3/api_request_count Jumlah kumulatif permintaan REST API yang diterima oleh layanan di backend.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Respons CDAP REST API yang dikirim datafusion.googleapis.com/instance/v3/api_response_count Jumlah kumulatif respons REST API yang dikirim oleh layanan di backend.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Jumlah pemeriksaan otorisasi datafusion.googleapis.com/instance/v3/authorization_check_count Jumlah kumulatif pemeriksaan otorisasi yang dilakukan oleh pengelola akses.
  • enable_rbac
  • type
  • private_service_connect_enabled
Waktu pemeriksaan otorisasi datafusion.googleapis.com/instance/v3/authorization_check_time Latensi pemeriksaan otorisasi yang dilakukan oleh pengelola akses.
  • enable_rbac
  • type
  • private_service_connect_enabled
Jumlah pipeline draf datafusion.googleapis.com/instance/v3/draft_pipelines Jumlah pipeline draf.
  • enable_rbac
  • private_service_connect_enabled
Jumlah namespace datafusion.googleapis.com/instance/v3/namespaces Jumlah namespace.
  • enable_rbac
  • private_service_connect_enabled

Label metrik InstanceV2

Nama Metrik Deskripsi Label metrik
Status layanan datafusion.googleapis.com/instance/v2/service_available Ketersediaan layanan Cloud Data Fusion.
  • service
  • enable_rbac
  • private_service_connect_enabled
Jumlah pipeline yang di-deploy datafusion.googleapis.com/instance/v2/pipelines Jumlah pipeline yang di-deploy.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Jumlah pipeline yang berjalan serentak datafusion.googleapis.com/instance/v2/concurrent_pipelines_running Jumlah pipeline yang berjalan secara serentak.
  • enable_rbac
  • private_service_connect_enabled
Jumlah peluncuran pipeline serentak datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched Jumlah pipeline dalam status Penyediaan atau Memulai.
  • enable_rbac
  • private_service_connect_enabled
Permintaan CDAP REST API diterima datafusion.googleapis.com/instance/v2/api_request_count Jumlah kumulatif permintaan REST API yang diterima oleh layanan di backend.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Respons CDAP REST API yang dikirim datafusion.googleapis.com/instance/v2/api_response_count Jumlah kumulatif respons REST API yang dikirim oleh layanan di backend.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Jumlah pemeriksaan otorisasi datafusion.googleapis.com/instance/v2/authorization_check_count Jumlah kumulatif pemeriksaan otorisasi yang dilakukan oleh pengelola akses.
  • enable_rbac
  • type
  • private_service_connect_enabled
Waktu pemeriksaan otorisasi datafusion.googleapis.com/instance/v2/authorization_check_time Latensi pemeriksaan otorisasi yang dilakukan oleh pengelola akses.
  • enable_rbac
  • type
  • private_service_connect_enabled
Jumlah pipeline draf datafusion.googleapis.com/instance/v2/draft_pipelines Jumlah pipeline draf.
  • enable_rbac
  • private_service_connect_enabled
Jumlah namespace datafusion.googleapis.com/instance/v2/namespaces Jumlah namespace.
  • enable_rbac
  • private_service_connect_enabled

Mengelola pemancaran metrik InstanceV2

Untuk instance Cloud Data Fusion yang menjalankan versi 6.11.1.1 atau yang lebih baru, emisi metrik InstanceV2 dinonaktifkan secara default. Jika perlu mempertahankan kompatibilitas mundur dengan dasbor atau pemberitahuan yang menggunakan format lama, Anda dapat mengaktifkan kembali metrik InstanceV2 menggunakan Cloud Data Fusion REST API.

Aktifkan metrik InstanceV2

Untuk mengaktifkan pemancaran metrik InstanceV2, gunakan metode instances.patch dengan enable_instance_v2_metrics disetel ke true:

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": true}}'

Ganti kode berikut:

  • PROJECT_ID: Google Cloud project ID
  • LOCATION: lokasi instance Anda
  • INSTANCE_ID: ID instance Cloud Data Fusion Anda

Menonaktifkan metrik InstanceV2

Untuk menonaktifkan metrik InstanceV2 dan kembali ke perilaku default (hanya memancarkan metrik InstanceV3), gunakan metode instances.patch dengan enable_instance_v2_metrics disetel ke false:

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": false}}'

Ganti kode berikut:

  • PROJECT_ID: Google Cloud project ID
  • LOCATION: lokasi instance Anda
  • INSTANCE_ID: ID instance Cloud Data Fusion Anda

Memigrasikan kueri Cloud Monitoring dari InstanceV2 ke InstanceV3

Mulai dari Cloud Data Fusion versi 6.11.1.1, resource yang dipantau InstanceV3 (datafusion.googleapis.com/InstanceV3) adalah jenis resource default untuk metrik tingkat instance. Jika Anda memiliki dasbor, diagram, atau kebijakan pemberitahuan Monitoring yang sudah ada yang menargetkan InstanceV2, Anda dapat memperbaruinya untuk menggunakan jenis resource dan jalur metrik InstanceV3.

Untuk memigrasikan kueri Anda, ikuti langkah-langkah berikut:

  1. Ubah jenis resource: Perbarui resource.type dari datafusion.googleapis.com/InstanceV2 menjadi datafusion.googleapis.com/InstanceV3.

  2. Perbarui nama metrik: Ubah jalur metrik dari .../instance/v2/... menjadi .../instance/v3/....

  3. Hapus label: Hapus filter atau penggabungan berdasarkan resource.labels.org_id atau resource.labels.namespace, karena label ini tidak ada di InstanceV3.

Misalnya, jika kueri InstanceV2 yang ada adalah sebagai berikut:

fetch datafusion.googleapis.com/InstanceV2
| metric 'datafusion.googleapis.com/instance/v2/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

Perbarui seperti berikut:

fetch datafusion.googleapis.com/InstanceV3
| metric 'datafusion.googleapis.com/instance/v3/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

Langkah berikutnya