Messwerte – Übersicht

Auf dieser Seite werden die Messwerte beschrieben, mit denen Sie den Zustand und die Leistung Ihrer Cloud Data Fusion-Instanzen und ‑Pipelines überwachen können. Verwenden Sie Cloud Monitoring, um diese Messwerte zu überwachen. Die Messwerte liefern Informationen zu Pipeline-Ausführungen, Instanzdetails, API-Anfragen und Autorisierungsprüfungen.

Die Messwerte werden entweder als Pipeline-Messwerte oder als Instanzmesswerte kategorisiert:

  • Pipelinemesswerte liefern Daten zu einzelnen Pipelineausführungen, z. B. Ausführungsstatus, Dauer, Latenz und Datendurchsatz.
  • Instanzmesswerte enthalten aggregierte Informationen zu den Pipelines in einer Instanz, einschließlich der Dienstverfügbarkeit, der Anzahl der bereitgestellten Pipelines und der Anzahl der API-Anfragen.

Filtern und aggregieren Sie Cloud Data Fusion-Pipeline- und ‑Instanzmesswerte in Monitoring mit den Labels metric und monitored-resource. Wenn Sie Messwertansichten anpassen, können Sie einen oder beide dieser Labeltypen verwenden.

Labels für überwachte Ressourcen in Cloud Data Fusion-Pipelines

Filtern und aggregieren Sie die Messwerte mit den folgenden Labels für überwachte Ressourcen vom Typ Cloud Data Fusion-Pipeline:

Labelname Beschreibung
resource_container Die ID des Kundenprojekts.
org_id Die ID der Organisation, zu der das Kundenprojekt gehört.
location Die Zone oder Region, in der die Instanz gehostet wird.
edition Die Edition der Cloud Data Fusion-Instanz.
is_private_ip_enabled Gibt an, ob die Instanz eine interne IP-Adresse verwendet.
version Die Cloud Data Fusion-Datenebeneversion der Instanz.
instance_id Die Cloud Data Fusion-Instanz-ID.
namespace Der Namespace der Pipeline.
pipeline_id Die Pipeline-ID.
run_id Die Ausführungs-ID für die Pipeline.

Labels für Pipelinemesswerte

Filtern und aggregieren Sie die Messwerte mit den folgenden Cloud Data Fusion-Messwertlabels in Monitoring:

Name Messwert Beschreibung Messwertlabels
Status der Pipelineausführung datafusion.googleapis.com/pipeline/v2/runs_completed_count Die kumulative Anzahl der Pipelines, die einen Lauf abgeschlossen haben.
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Dauer der Pipelineausführung datafusion.googleapis.com/pipeline/v2/pipeline_duration Die für die Ausführung der Pipeline benötigte Zeit.
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Latenz beim Pipelinestart datafusion.googleapis.com/pipeline/v2/pipeline_start_latency Die Zeit, die die Pipeline benötigt, um den Status Wird ausgeführt zu erreichen.
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Bereitstellungslatenz datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Die Latenz bei der Bereitstellung von Managed Service for Apache Spark-Clustern.
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Dataproc API-Anfragen datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Die kumulative Anzahl der Dataproc API-Anfragen.
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
Zeit der Pipeline-Vorschauausführung datafusion.googleapis.com/pipeline/v2/preview_duration Zeitaufwand für die Vorschau.
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Geschriebene Pipelinebytes datafusion.googleapis.com/pipeline/v2/write_bytes_count Die kumulative Anzahl der von einer Pipeline geschriebenen Byte.
  • enable_rbac
  • private_service_connect_enabled
Gelesene Pipelinebytes datafusion.googleapis.com/pipeline/v2/read_bytes_count Die kumulative Anzahl der von einer Pipeline gelesenen Byte.
  • enable_rbac
  • private_service_connect_enabled
Nach Zufallsprinzip umverteilte Pipelinebytes datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count Die kumulative Anzahl der in einer Pipeline gemischten Byte.
  • enable_rbac
  • private_service_connect_enabled
Verarbeitete eingehende Plug‑in-Datensätze datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count Kumulative Anzahl der Datensätze, die in ein Plug-in eingehen.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
Verarbeitete ausgehende Plug‑in-Datensätze datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count Die kumulative Anzahl der Datensätze, die ein Plug-in verlassen.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Labels für überwachte Ressourcen für Cloud Data Fusion-Instanzen

Ab Cloud Data Fusion-Version 6.11.1.1 ist die überwachte Ressource InstanceV3(datafusion.googleapis.com/InstanceV3) der Standardressourcentyp für Messwerte auf Instanzebene. Alle neuen Instanzen und Instanzen, die auf Version 6.11.1.1 oder höher aktualisiert wurden, geben automatisch Messwerte und Logs mit InstanceV3 aus. Die Ressourcenstruktur von InstanceV3 unterscheidet sich von der vorherigen Version, da die Labels org_id und namespace entfernt wurden.

Standardmäßig ist die Ausgabe von InstanceV2-Messwerten in Cloud Data Fusion Version 6.11.1.1 und höher deaktiviert. Sie können die Ausgabe von InstanceV2 zusammen mit InstanceV3 jedoch mit der Cloud Data Fusion REST API wieder aktivieren, wenn Sie Abwärtskompatibilität für vorhandene Dashboards oder Abfragen benötigen.

Sie können die Messwerte mit den folgenden Labels für überwachte Ressourcen vom Typ Cloud Data Fusion-Instanz filtern und aggregieren.

Labels für überwachte InstanceV3-Ressourcen

Labelname Beschreibung
resource_container Die ID des Kundenprojekts.
location Die Zone oder Region, in der die Instanz gehostet wird.
edition Die Edition der Instanz.
is_private_ip_enabled Gibt an, ob die Instanz eine interne IP-Adresse verwendet.
version Die Cloud Data Fusion-Datenebeneversion der Instanz.
instance_id Die Cloud Data Fusion-Instanz-ID.

Labels für überwachte Ressourcen vom Typ „InstanceV2“

Labelname Beschreibung
resource_container Die ID des Kundenprojekts.
org_id Die ID der Organisation, zu der das Kundenprojekt gehört.
location Die Zone oder Region, in der die Instanz gehostet wird.
edition Die Edition der Instanz.
is_private_ip_enabled Gibt an, ob die Instanz eine interne IP-Adresse verwendet.
version Die Cloud Data Fusion-Datenebeneversion der Instanz.
instance_id Die Cloud Data Fusion-Instanz-ID.
namespace Namespace-Name

Instanzmesswertlabels

Filtern und aggregieren Sie die Messwerte mit den folgenden Cloud Data Fusion-Messwertlabels in Monitoring.

Messwertlabels für InstanceV3

Name Messwert Beschreibung Messwertlabels
Dienststatus datafusion.googleapis.com/instance/v3/service_available Die Verfügbarkeit von Cloud Data Fusion-Diensten.
  • service
  • enable_rbac
  • private_service_connect_enabled
Anzahl der bereitgestellten Pipelines datafusion.googleapis.com/instance/v3/pipelines Anzahl der bereitgestellten Pipelines.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Anzahl der gleichzeitig ausgeführten Pipelines datafusion.googleapis.com/instance/v3/concurrent_pipelines_running Die Anzahl der Pipelines, die gleichzeitig ausgeführt werden.
  • enable_rbac
  • private_service_connect_enabled
Anzahl der gleichzeitig gestarteten Pipelines datafusion.googleapis.com/instance/v3/concurrent_pipelines_launched Die Anzahl der Pipelines im Status Provisioning (Bereitstellung) oder Starting (Wird gestartet).
  • enable_rbac
  • private_service_connect_enabled
Empfangene CDAP REST API-Anfragen datafusion.googleapis.com/instance/v3/api_request_count Die kumulative Anzahl der REST API-Anfragen, die von einem Dienst im Backend empfangen wurden.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Gesendete CDAP REST API-Antworten datafusion.googleapis.com/instance/v3/api_response_count Die kumulative Anzahl der REST API-Antworten, die von einem Dienst im Backend gesendet werden.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Anzahl der Autorisierungsprüfungen datafusion.googleapis.com/instance/v3/authorization_check_count Die kumulative Anzahl der Autorisierungsprüfungen, die vom Zugriffs-Enforcer durchgeführt wurden.
  • enable_rbac
  • type
  • private_service_connect_enabled
Zeit der Autorisierungsprüfungen datafusion.googleapis.com/instance/v3/authorization_check_time Die Latenz von Autorisierungsprüfungen, die vom Access Enforcer durchgeführt werden.
  • enable_rbac
  • type
  • private_service_connect_enabled
Anzahl der Pipelineentwürfe datafusion.googleapis.com/instance/v3/draft_pipelines Die Anzahl der Pipelineentwürfe.
  • enable_rbac
  • private_service_connect_enabled
Anzahl der Namespaces datafusion.googleapis.com/instance/v3/namespaces Die Anzahl der Namespaces.
  • enable_rbac
  • private_service_connect_enabled

Messwertlabels für InstanceV2

Name Messwert Beschreibung Messwertlabels
Dienststatus datafusion.googleapis.com/instance/v2/service_available Die Verfügbarkeit von Cloud Data Fusion-Diensten.
  • service
  • enable_rbac
  • private_service_connect_enabled
Anzahl der bereitgestellten Pipelines datafusion.googleapis.com/instance/v2/pipelines Anzahl der bereitgestellten Pipelines.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Anzahl der gleichzeitig ausgeführten Pipelines datafusion.googleapis.com/instance/v2/concurrent_pipelines_running Die Anzahl der Pipelines, die gleichzeitig ausgeführt werden.
  • enable_rbac
  • private_service_connect_enabled
Anzahl der gleichzeitig gestarteten Pipelines datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched Die Anzahl der Pipelines im Status Provisioning (Bereitstellung) oder Starting (Wird gestartet).
  • enable_rbac
  • private_service_connect_enabled
Empfangene CDAP REST API-Anfragen datafusion.googleapis.com/instance/v2/api_request_count Die kumulative Anzahl der REST API-Anfragen, die von einem Dienst im Backend empfangen wurden.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Gesendete CDAP REST API-Antworten datafusion.googleapis.com/instance/v2/api_response_count Die kumulative Anzahl der REST API-Antworten, die von einem Dienst im Backend gesendet werden.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Anzahl der Autorisierungsprüfungen datafusion.googleapis.com/instance/v2/authorization_check_count Die kumulative Anzahl der Autorisierungsprüfungen, die vom Zugriffs-Enforcer durchgeführt wurden.
  • enable_rbac
  • type
  • private_service_connect_enabled
Zeit der Autorisierungsprüfungen datafusion.googleapis.com/instance/v2/authorization_check_time Die Latenz von Autorisierungsprüfungen, die vom Access Enforcer durchgeführt werden.
  • enable_rbac
  • type
  • private_service_connect_enabled
Anzahl der Pipelineentwürfe datafusion.googleapis.com/instance/v2/draft_pipelines Die Anzahl der Pipelineentwürfe.
  • enable_rbac
  • private_service_connect_enabled
Anzahl der Namespaces datafusion.googleapis.com/instance/v2/namespaces Die Anzahl der Namespaces.
  • enable_rbac
  • private_service_connect_enabled

Ausgabe von InstanceV2-Messwerten verwalten

Für Cloud Data Fusion-Instanzen mit Version 6.11.1.1 oder höher ist die Ausgabe von InstanceV2-Messwerten standardmäßig deaktiviert. Wenn Sie die Abwärtskompatibilität mit Dashboards oder Benachrichtigungen im alten Format aufrechterhalten müssen, können Sie InstanceV2-Messwerte mit der Cloud Data Fusion REST API wieder aktivieren.

InstanceV2-Messwerte aktivieren

Wenn Sie die Ausgabe von InstanceV2-Messwerten aktivieren möchten, verwenden Sie die Methode instances.patch mit enable_instance_v2_metrics auf true gesetzt:

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": true}}'

Ersetzen Sie Folgendes:

  • PROJECT_ID: die Google Cloud Projekt-ID
  • LOCATION: der Standort Ihrer Instanz
  • INSTANCE_ID: die ID Ihrer Cloud Data Fusion-Instanz

InstanceV2-Messwerte deaktivieren

Wenn Sie InstanceV2-Messwerte deaktivieren und zum Standardverhalten zurückkehren möchten (nur InstanceV3-Messwerte werden ausgegeben), verwenden Sie die Methode instances.patch mit enable_instance_v2_metrics auf false festgelegt:

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": false}}'

Ersetzen Sie Folgendes:

  • PROJECT_ID: die Google Cloud Projekt-ID
  • LOCATION: der Standort Ihrer Instanz
  • INSTANCE_ID: die ID Ihrer Cloud Data Fusion-Instanz

Cloud Monitoring-Abfragen von InstanceV2 zu InstanceV3 migrieren

Ab Cloud Data Fusion-Version 6.11.1.1 ist die überwachte Ressource InstanceV3(datafusion.googleapis.com/InstanceV3) der Standardressourcentyp für Messwerte auf Instanzebene. Wenn Sie vorhandene Monitoring-Dashboards, ‑Diagramme oder ‑Benachrichtigungsrichtlinien haben, die auf InstanceV2 ausgerichtet sind, können Sie sie so aktualisieren, dass der Ressourcentyp InstanceV3 und die Messwertpfade verwendet werden.

So migrieren Sie Ihre Abfragen:

  1. Ressourcentyp ändern: Aktualisieren Sie resource.type von datafusion.googleapis.com/InstanceV2 zu datafusion.googleapis.com/InstanceV3.

  2. Messwertnamen aktualisieren: Ändern Sie die Messwertpfade von .../instance/v2/... in .../instance/v3/....

  3. Labels entfernen: Entfernen Sie alle Filter oder Aggregationen, die auf resource.labels.org_id oder resource.labels.namespace basieren, da diese Labels in InstanceV3 nicht vorhanden sind.

Angenommen, Ihre vorhandene InstanceV2-Abfrage sieht so aus:

fetch datafusion.googleapis.com/InstanceV2
| metric 'datafusion.googleapis.com/instance/v2/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

Aktualisieren Sie die Datei so:

fetch datafusion.googleapis.com/InstanceV3
| metric 'datafusion.googleapis.com/instance/v3/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

Nächste Schritte