Présentation des métriques

Cette page décrit les métriques qui vous aident à surveiller l'état et les performances de vos instances et pipelines Cloud Data Fusion. Utilisez Cloud Monitoring pour surveiller ces métriques. Les métriques fournissent des informations sur les exécutions de pipelines, les détails des instances, les requêtes API et les vérifications d'autorisation.

Les métriques sont classées dans les catégories Métriques du pipeline ou Métriques de l'instance :

  • Les métriques de pipeline fournissent des données sur les exécutions de pipeline individuelles, telles que l'état de l'exécution, la durée, la latence et le débit de données.
  • Les métriques d'instance fournissent des informations agrégées sur les pipelines d'une instance, y compris la disponibilité du service, le nombre de pipelines déployés et le nombre de requêtes d'API.

Filtrez et agrégez les métriques des pipelines et des instances Cloud Data Fusion dans Monitoring à l'aide des libellés metric et monitored-resource. Lorsque vous personnalisez vos vues de métriques, vous pouvez utiliser l'un ou l'autre de ces types de libellés, ou les deux.

Libellés de ressources surveillées pour les pipelines Cloud Data Fusion

Filtrez et agrégez les métriques avec les libellés de ressources surveillées Cloud Data Fusion Pipeline suivants :

Nom du libellé Description
resource_container ID du projet client.
org_id ID de l'organisation à laquelle appartient le projet client.
location Zone ou région où l'instance est hébergée.
edition Édition de l'instance Cloud Data Fusion.
is_private_ip_enabled Indique si l'instance utilise une adresse IP interne.
version Version du plan de données Cloud Data Fusion de l'instance.
instance_id ID de l'instance Cloud Data Fusion.
namespace Espace de noms du pipeline.
pipeline_id ID du pipeline.
run_id ID d'exécution du pipeline.

Libellés des métriques de pipeline

Filtrez et agrégez les métriques avec les libellés de métriques Cloud Data Fusion suivants dans Monitoring :

Nom Métrique Description Étiquettes de métriques
État d'exécution du pipeline datafusion.googleapis.com/pipeline/v2/runs_completed_count Nombre cumulé de pipelines ayant terminé une exécution.
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Durée d'exécution du pipeline datafusion.googleapis.com/pipeline/v2/pipeline_duration Temps nécessaire pour exécuter le pipeline.
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Latence de démarrage du pipeline datafusion.googleapis.com/pipeline/v2/pipeline_start_latency Temps nécessaire au pipeline pour atteindre l'état En cours d'exécution.
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Latence de provisionnement datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Latence de provisionnement des clusters Managed Service pour Apache Spark.
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Requêtes de l'API Dataproc datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Nombre cumulé de requêtes API Dataproc.
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
Durée d'exécution de l'aperçu du pipeline datafusion.googleapis.com/pipeline/v2/preview_duration Temps nécessaire pour terminer l'aperçu.
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Octets écrits par le pipeline datafusion.googleapis.com/pipeline/v2/write_bytes_count Nombre cumulé d'octets écrits par un pipeline.
  • enable_rbac
  • private_service_connect_enabled
Octets lus par le pipeline datafusion.googleapis.com/pipeline/v2/read_bytes_count Nombre cumulé d'octets lus par un pipeline.
  • enable_rbac
  • private_service_connect_enabled
Octets brassés par le pipeline datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count Nombre cumulé d'octets mélangés dans un pipeline.
  • enable_rbac
  • private_service_connect_enabled
Enregistrements de plug-ins traités en entrée datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count Nombre cumulé d'enregistrements entrant dans un plug-in.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
Enregistrements de plug-in traités en sortie datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count Nombre cumulé d'enregistrements quittant un plug-in.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Libellés de ressources surveillées des instances Cloud Data Fusion

À partir de la version 6.11.1.1 de Cloud Data Fusion, la ressource surveillée InstanceV3 (datafusion.googleapis.com/InstanceV3) est le type de ressource par défaut pour les métriques au niveau de l'instance. Toutes les nouvelles instances et celles mises à niveau vers la version 6.11.1.1 ou ultérieure émettent automatiquement des métriques et des journaux à l'aide de InstanceV3. La structure de la ressource InstanceV3 diffère de la version précédente, car les libellés org_id et namespace ont été supprimés.

Par défaut, l'émission des métriques InstanceV2 est désactivée dans Cloud Data Fusion version 6.11.1.1 et ultérieure. Toutefois, vous pouvez réactiver l'émission de InstanceV2 en même temps que InstanceV3 à l'aide de l'API REST Cloud Data Fusion si vous avez besoin d'une compatibilité ascendante pour les tableaux de bord ou les requêtes existants.

Vous pouvez filtrer et agréger les métriques avec les libellés de ressources surveillées Instance Cloud Data Fusion suivants.

Libellés de ressources surveillées InstanceV3

Nom du libellé Description
resource_container ID du projet client.
location Zone ou région où l'instance est hébergée.
edition Édition de l'instance.
is_private_ip_enabled Indique si l'instance utilise une adresse IP interne.
version Version du plan de données Cloud Data Fusion de l'instance.
instance_id ID de l'instance Cloud Data Fusion.

Libellés de ressources surveillées InstanceV2

Nom du libellé Description
resource_container ID du projet client.
org_id ID de l'organisation à laquelle appartient le projet client.
location Zone ou région où l'instance est hébergée.
edition Édition de l'instance.
is_private_ip_enabled Indique si l'instance utilise une adresse IP interne.
version Version du plan de données Cloud Data Fusion de l'instance.
instance_id ID de l'instance Cloud Data Fusion.
namespace Nom de l'espace de noms.

Libellés des métriques d'instance

Filtrez et agrégez les métriques avec les libellés de métriques Cloud Data Fusion suivants dans Monitoring.

Libellés de métriques InstanceV3

Nom Métrique Description Étiquettes de métriques
État du service datafusion.googleapis.com/instance/v3/service_available Disponibilité des services Cloud Data Fusion.
  • service
  • enable_rbac
  • private_service_connect_enabled
Nombre de pipelines déployés datafusion.googleapis.com/instance/v3/pipelines Nombre de pipelines déployés.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Nombre de pipelines en cours d'exécution datafusion.googleapis.com/instance/v3/concurrent_pipelines_running Nombre de pipelines exécutés simultanément.
  • enable_rbac
  • private_service_connect_enabled
Nombre de lancements de pipelines simultanés datafusion.googleapis.com/instance/v3/concurrent_pipelines_launched Nombre de pipelines à l'état Provisionnement ou Démarrage.
  • enable_rbac
  • private_service_connect_enabled
Requêtes API REST CDAP reçues datafusion.googleapis.com/instance/v3/api_request_count Nombre cumulé de requêtes d'API REST reçues par un service dans le backend.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Réponses de l'API REST CDAP envoyées datafusion.googleapis.com/instance/v3/api_response_count Nombre cumulé de réponses d'API REST envoyées par un service dans le backend.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Nombre de vérifications d'autorisation datafusion.googleapis.com/instance/v3/authorization_check_count Nombre cumulé de vérifications d'autorisation effectuées par l'application des règles d'accès.
  • enable_rbac
  • type
  • private_service_connect_enabled
Heure de vérification de l'autorisation datafusion.googleapis.com/instance/v3/authorization_check_time Latence des vérifications d'autorisation effectuées par l'application des règles d'accès.
  • enable_rbac
  • type
  • private_service_connect_enabled
Nombre de pipelines à l'état de brouillon datafusion.googleapis.com/instance/v3/draft_pipelines Nombre de pipelines brouillons.
  • enable_rbac
  • private_service_connect_enabled
Nombre d'espaces de noms datafusion.googleapis.com/instance/v3/namespaces Nombre d'espaces de noms.
  • enable_rbac
  • private_service_connect_enabled

Libellés de métriques InstanceV2

Nom Métrique Description Étiquettes de métriques
État du service datafusion.googleapis.com/instance/v2/service_available Disponibilité des services Cloud Data Fusion.
  • service
  • enable_rbac
  • private_service_connect_enabled
Nombre de pipelines déployés datafusion.googleapis.com/instance/v2/pipelines Nombre de pipelines déployés.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Nombre de pipelines en cours d'exécution datafusion.googleapis.com/instance/v2/concurrent_pipelines_running Nombre de pipelines exécutés simultanément.
  • enable_rbac
  • private_service_connect_enabled
Nombre de lancements de pipelines simultanés datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched Nombre de pipelines à l'état Provisionnement ou Démarrage.
  • enable_rbac
  • private_service_connect_enabled
Requêtes API REST CDAP reçues datafusion.googleapis.com/instance/v2/api_request_count Nombre cumulé de requêtes d'API REST reçues par un service dans le backend.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Réponses de l'API REST CDAP envoyées datafusion.googleapis.com/instance/v2/api_response_count Nombre cumulé de réponses d'API REST envoyées par un service dans le backend.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Nombre de vérifications d'autorisation datafusion.googleapis.com/instance/v2/authorization_check_count Nombre cumulé de vérifications d'autorisation effectuées par l'application des règles d'accès.
  • enable_rbac
  • type
  • private_service_connect_enabled
Heure de vérification de l'autorisation datafusion.googleapis.com/instance/v2/authorization_check_time Latence des vérifications d'autorisation effectuées par l'application des règles d'accès.
  • enable_rbac
  • type
  • private_service_connect_enabled
Nombre de pipelines à l'état de brouillon datafusion.googleapis.com/instance/v2/draft_pipelines Nombre de pipelines brouillons.
  • enable_rbac
  • private_service_connect_enabled
Nombre d'espaces de noms datafusion.googleapis.com/instance/v2/namespaces Nombre d'espaces de noms.
  • enable_rbac
  • private_service_connect_enabled

Gérer l'émission de métriques InstanceV2

Pour les instances Cloud Data Fusion exécutant la version 6.11.1.1 ou ultérieure, l'émission de métriques InstanceV2 est désactivée par défaut. Si vous devez maintenir la rétrocompatibilité avec les tableaux de bord ou les alertes utilisant l'ancien format, vous pouvez réactiver les métriques InstanceV2 à l'aide de l'API REST Cloud Data Fusion.

Activer les métriques InstanceV2

Pour activer l'émission de métriques InstanceV2, utilisez la méthode instances.patch avec enable_instance_v2_metrics défini sur true :

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": true}}'

Remplacez les éléments suivants :

  • PROJECT_ID : ID du projet Google Cloud
  • LOCATION : emplacement de votre instance
  • INSTANCE_ID : ID de votre instance Cloud Data Fusion

Désactiver les métriques InstanceV2

Pour désactiver les métriques InstanceV2 et revenir au comportement par défaut (n'émettre que les métriques InstanceV3), utilisez la méthode instances.patch avec enable_instance_v2_metrics défini sur false :

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": false}}'

Remplacez les éléments suivants :

  • PROJECT_ID : ID du projet Google Cloud
  • LOCATION : emplacement de votre instance
  • INSTANCE_ID : ID de votre instance Cloud Data Fusion

Migrer les requêtes Cloud Monitoring d'InstanceV2 vers InstanceV3

À partir de la version 6.11.1.1 de Cloud Data Fusion, la ressource surveillée InstanceV3 (datafusion.googleapis.com/InstanceV3) est le type de ressource par défaut pour les métriques au niveau de l'instance. Si vous disposez de tableaux de bord, de graphiques ou de règles d'alerte Monitoring existants qui ciblent InstanceV2, vous pouvez les mettre à jour pour utiliser le type de ressource et les chemins d'accès aux métriques InstanceV3.

Pour migrer vos requêtes, procédez comme suit :

  1. Modifier le type de ressource : mettez à jour resource.type de datafusion.googleapis.com/InstanceV2 à datafusion.googleapis.com/InstanceV3.

  2. Mettez à jour les noms des métriques : remplacez les chemins des métriques de .../instance/v2/... par .../instance/v3/....

  3. Supprimez les libellés : supprimez tous les filtres ou agrégations basés sur resource.labels.org_id ou resource.labels.namespace, car ces libellés ne sont pas présents dans InstanceV3.

Par exemple, si votre requête InstanceV2 existante est la suivante :

fetch datafusion.googleapis.com/InstanceV2
| metric 'datafusion.googleapis.com/instance/v2/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

Modifiez-le comme suit :

fetch datafusion.googleapis.com/InstanceV3
| metric 'datafusion.googleapis.com/instance/v3/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

Étapes suivantes