Descripción general de las métricas

En esta página, se describen las métricas que te ayudan a supervisar el estado y el rendimiento de tus instancias y canalizaciones de Cloud Data Fusion. Usa Cloud Monitoring para supervisar estas métricas. Las métricas proporcionan estadísticas sobre las ejecuciones de la canalización, los detalles de la instancia, las solicitudes a la API y las verificaciones de autorización.

Las métricas se clasifican como métricas de canalización o métricas de instancia:

  • Las métricas de canalización proporcionan datos sobre las ejecuciones individuales de la canalización, como el estado de ejecución, la duración, la latencia y la capacidad de procesamiento de datos.
  • Las métricas de instancias proporcionan información agregada sobre las canalizaciones dentro de una instancia, incluida la disponibilidad del servicio, la cantidad de canalizaciones implementadas y los recuentos de solicitudes a la API.

Filtra y agrega métricas de instancias y canalizaciones de Cloud Data Fusion en Monitoring con etiquetas de métrica y recurso supervisado. Cuando personalizas tus vistas de métricas, puedes usar uno o ambos tipos de etiquetas.

Etiquetas de recursos supervisados de Cloud Data Fusion Pipeline

Filtra y agrega las métricas con las siguientes etiquetas de recursos supervisados de la canalización de Cloud Data Fusion:

Nombre de la etiqueta Descripción
resource_container Es el ID del proyecto del cliente.
org_id Es el ID de la organización a la que pertenece el proyecto del cliente.
location Es la zona o región en la que se aloja la instancia.
edition Es la edición de la instancia de Cloud Data Fusion.
is_private_ip_enabled Indica si la instancia usa una dirección IP interna.
version Es la versión del plano de datos de Cloud Data Fusion de la instancia.
instance_id Es el ID de la instancia de Cloud Data Fusion.
namespace Es el espacio de nombres de la canalización.
pipeline_id Es el ID de la canalización.
run_id Es el ID de ejecución de la canalización.

Etiquetas de métricas de canalización

Filtra y agrega las métricas con las siguientes etiquetas de métricas de Cloud Data Fusion en Monitoring:

Nombre Métrica Descripción Etiquetas de métricas
Estado de ejecución de la canalización datafusion.googleapis.com/pipeline/v2/runs_completed_count Es el recuento acumulativo de las canalizaciones que completaron una ejecución.
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Tiempo de ejecución de la canalización datafusion.googleapis.com/pipeline/v2/pipeline_duration Es el tiempo que tardó en completarse la ejecución de la canalización.
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Latencia de inicio de la canalización datafusion.googleapis.com/pipeline/v2/pipeline_start_latency Es el tiempo que tarda la canalización en alcanzar el estado Running.
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Latencia de aprovisionamiento datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Es la latencia del aprovisionamiento del clúster de Managed Service para Apache Spark.
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Solicitudes a la API de Dataproc datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Es el recuento acumulativo de solicitudes a la API de Dataproc.
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
Tiempo de ejecución de la vista previa de la canalización datafusion.googleapis.com/pipeline/v2/preview_duration Tiempo que se tardó en completar la vista previa.
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Bytes de canalización escritos datafusion.googleapis.com/pipeline/v2/write_bytes_count Es el recuento acumulativo de bytes escritos por una canalización.
  • enable_rbac
  • private_service_connect_enabled
Bytes de canalización leídos datafusion.googleapis.com/pipeline/v2/read_bytes_count Es el recuento acumulativo de bytes que leyó una canalización.
  • enable_rbac
  • private_service_connect_enabled
Bytes de canalización redistribuidos datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count Es el recuento acumulativo de bytes que se mezclaron en una canalización.
  • enable_rbac
  • private_service_connect_enabled
Registros de complementos procesados entrantes datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count Es el recuento acumulativo de registros que ingresan a un complemento.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
Registros de complementos procesados salientes datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count Es el recuento acumulativo de registros que salen de un complemento.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Etiquetas de recursos supervisados de la instancia de Cloud Data Fusion

A partir de la versión 6.11.1.1 de Cloud Data Fusion, el recurso supervisado InstanceV3 (datafusion.googleapis.com/InstanceV3) es el tipo de recurso predeterminado para las métricas a nivel de la instancia. Todas las instancias nuevas y las instancias actualizadas a la versión 6.11.1.1 o posterior emiten automáticamente métricas y registros con InstanceV3. La estructura del recurso InstanceV3 difiere de la versión anterior porque se quitaron las etiquetas org_id y namespace.

De forma predeterminada, la emisión de métricas de InstanceV2 está inhabilitada en Cloud Data Fusion 6.11.1.1 y versiones posteriores. Sin embargo, puedes volver a habilitar la emisión de InstanceV2 junto con InstanceV3 con la API de REST de Cloud Data Fusion si necesitas retrocompatibilidad para los paneles o las consultas existentes.

Puedes filtrar y agregar las métricas con las siguientes etiquetas de recursos supervisados de instancia de Cloud Data Fusion.

Etiquetas de recursos supervisados de InstanceV3

Nombre de la etiqueta Descripción
resource_container Es el ID del proyecto del cliente.
location Es la zona o región en la que se aloja la instancia.
edition Es la edición de la instancia.
is_private_ip_enabled Indica si la instancia usa una dirección IP interna.
version Es la versión del plano de datos de Cloud Data Fusion de la instancia.
instance_id Es el ID de la instancia de Cloud Data Fusion.

Etiquetas de recursos supervisados InstanceV2

Nombre de la etiqueta Descripción
resource_container Es el ID del proyecto del cliente.
org_id Es el ID de la organización a la que pertenece el proyecto del cliente.
location Es la zona o región en la que se aloja la instancia.
edition Es la edición de la instancia.
is_private_ip_enabled Indica si la instancia usa una dirección IP interna.
version Es la versión del plano de datos de Cloud Data Fusion de la instancia.
instance_id Es el ID de la instancia de Cloud Data Fusion.
namespace Es el nombre del espacio de nombres.

Etiquetas de métricas de instancias

Filtra y agrega las métricas con las siguientes etiquetas de métricas de Cloud Data Fusion en Monitoring.

Etiquetas de métricas de InstanceV3

Nombre Métrica Descripción Etiquetas de métricas
Estado del servicio datafusion.googleapis.com/instance/v3/service_available Disponibilidad de los servicios de Cloud Data Fusion
  • service
  • enable_rbac
  • private_service_connect_enabled
Recuento de canalizaciones implementadas datafusion.googleapis.com/instance/v3/pipelines Es la cantidad de canalizaciones implementadas.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Recuento de canalizaciones simultáneas en ejecución datafusion.googleapis.com/instance/v3/concurrent_pipelines_running Es la cantidad de canalizaciones que se ejecutan de forma simultánea.
  • enable_rbac
  • private_service_connect_enabled
Recuento de lanzamientos de canalizaciones simultáneas datafusion.googleapis.com/instance/v3/concurrent_pipelines_launched Es la cantidad de canalizaciones en estado Provisioning o Starting.
  • enable_rbac
  • private_service_connect_enabled
Solicitudes a la API de REST de CDAP recibidas datafusion.googleapis.com/instance/v3/api_request_count Es el recuento acumulativo de las solicitudes a la API de REST que recibió un servicio en el backend.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Respuestas de la API de REST de CDAP enviadas datafusion.googleapis.com/instance/v3/api_response_count Es el recuento acumulativo de las respuestas de la API de REST que envía un servicio en el backend.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Recuento de verificaciones de autorización datafusion.googleapis.com/instance/v3/authorization_check_count Es el recuento acumulativo de las verificaciones de autorización realizadas por el agente de aplicación de acceso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Hora de verificación de la autorización datafusion.googleapis.com/instance/v3/authorization_check_time Es la latencia de las verificaciones de autorización que realiza el agente de acceso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Recuento de canalizaciones en borrador datafusion.googleapis.com/instance/v3/draft_pipelines Es la cantidad de canalizaciones en borrador.
  • enable_rbac
  • private_service_connect_enabled
Cantidad de espacios de nombres datafusion.googleapis.com/instance/v3/namespaces Es la cantidad de espacios de nombres.
  • enable_rbac
  • private_service_connect_enabled

Etiquetas de métricas de InstanceV2

Nombre Métrica Descripción Etiquetas de métricas
Estado del servicio datafusion.googleapis.com/instance/v2/service_available Disponibilidad de los servicios de Cloud Data Fusion
  • service
  • enable_rbac
  • private_service_connect_enabled
Recuento de canalizaciones implementadas datafusion.googleapis.com/instance/v2/pipelines Es la cantidad de canalizaciones implementadas.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Recuento de canalizaciones simultáneas en ejecución datafusion.googleapis.com/instance/v2/concurrent_pipelines_running Es la cantidad de canalizaciones que se ejecutan de forma simultánea.
  • enable_rbac
  • private_service_connect_enabled
Recuento de lanzamientos de canalizaciones simultáneas datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched Es la cantidad de canalizaciones en estado Provisioning o Starting.
  • enable_rbac
  • private_service_connect_enabled
Solicitudes a la API de REST de CDAP recibidas datafusion.googleapis.com/instance/v2/api_request_count Es el recuento acumulativo de las solicitudes a la API de REST que recibió un servicio en el backend.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Respuestas de la API de REST de CDAP enviadas datafusion.googleapis.com/instance/v2/api_response_count Es el recuento acumulativo de las respuestas de la API de REST que envía un servicio en el backend.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Recuento de verificaciones de autorización datafusion.googleapis.com/instance/v2/authorization_check_count Es el recuento acumulativo de las verificaciones de autorización realizadas por el agente de aplicación de acceso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Hora de verificación de la autorización datafusion.googleapis.com/instance/v2/authorization_check_time Es la latencia de las verificaciones de autorización que realiza el agente de acceso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Recuento de canalizaciones en borrador datafusion.googleapis.com/instance/v2/draft_pipelines Es la cantidad de canalizaciones en borrador.
  • enable_rbac
  • private_service_connect_enabled
Cantidad de espacios de nombres datafusion.googleapis.com/instance/v2/namespaces Es la cantidad de espacios de nombres.
  • enable_rbac
  • private_service_connect_enabled

Administra la emisión de la métrica Manage InstanceV2

Para las instancias de Cloud Data Fusion que ejecutan la versión 6.11.1.1 o posterior, la emisión de la métrica InstanceV2 está inhabilitada de forma predeterminada. Si necesitas mantener la retrocompatibilidad con los paneles o las alertas que usan el formato anterior, puedes volver a habilitar las métricas de InstanceV2 con la API de REST de Cloud Data Fusion.

Habilita las métricas de InstanceV2

Para habilitar la emisión de métricas de InstanceV2, usa el método instances.patch con enable_instance_v2_metrics establecido en true:

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": true}}'

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID del proyecto de Google Cloud .
  • LOCATION: La ubicación de tu instancia
  • INSTANCE_ID: Es el ID de tu instancia de Cloud Data Fusion.

Inhabilita las métricas de InstanceV2

Para inhabilitar las métricas de InstanceV2 y volver al comportamiento predeterminado (solo se emiten métricas de InstanceV3), usa el método instances.patch con enable_instance_v2_metrics establecido en false:

  curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=monitoring_config" \
  --data '{"monitoringConfig": {"enable_instance_v2_metrics": false}}'

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID del proyecto de Google Cloud .
  • LOCATION: La ubicación de tu instancia
  • INSTANCE_ID: Es el ID de tu instancia de Cloud Data Fusion.

Migra las consultas de Cloud Monitoring de InstanceV2 a InstanceV3

A partir de la versión 6.11.1.1 de Cloud Data Fusion, el recurso supervisado InstanceV3 (datafusion.googleapis.com/InstanceV3) es el tipo de recurso predeterminado para las métricas a nivel de la instancia. Si tienes paneles, gráficos o políticas de alertas de Monitoring existentes que segmentan InstanceV2, puedes actualizarlos para que usen el tipo de recurso y las rutas de métricas de InstanceV3.

Para migrar tus consultas, sigue estos pasos:

  1. Cambia el tipo de recurso: Actualiza resource.type de datafusion.googleapis.com/InstanceV2 a datafusion.googleapis.com/InstanceV3.

  2. Actualiza los nombres de las métricas: Cambia las rutas de las métricas de .../instance/v2/... a .../instance/v3/....

  3. Quita las etiquetas: Quita los filtros o las agregaciones basados en resource.labels.org_id o resource.labels.namespace, ya que estas etiquetas no están presentes en InstanceV3.

Por ejemplo, si la siguiente es tu consulta de InstanceV2 existente:

fetch datafusion.googleapis.com/InstanceV2
| metric 'datafusion.googleapis.com/instance/v2/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

Actualízalo de la siguiente manera:

fetch datafusion.googleapis.com/InstanceV3
| metric 'datafusion.googleapis.com/instance/v3/pipelines'
| filter resource.labels.instance_id == 'my-instance'
| group_by 1m, [value_pipelines_mean: mean(value.pipelines)]
| every 1m

¿Qué sigue?