Visualiza los registros de Cloud Data Fusion

En este documento, se describe cómo acceder a los registros de canalización y de servicio de Cloud Data Fusion y visualizarlos.

A partir de la versión 6.11 de Cloud Data Fusion, los registros de canalización y de servicio están disponibles en Cloud Logging.

Acerca de los tipos de registros

Cloud Data Fusion genera varios tipos de registros para ayudar a supervisar y solucionar problemas de los procesos de integración de datos:

Registros de canalización

Estos registros proporcionan información detallada sobre las ejecuciones de canalización individuales, incluidas las ejecuciones de vista previa. Abarcan todas las etapas de una ejecución de canalización, como la configuración previa a la ejecución, la ejecución del trabajo y las actividades posteriores a la ejecución.

Registros de servicio

Estos registros proporcionan información detallada sobre los servicios del sistema de Cloud Data Fusion, como AppFabric y el procesador de AppFabric.

Registros de auditoría

Cloud Data Fusion genera registros de auditoría, como los registros de auditoría de actividad del administrador. Para obtener más información, consulta Cloud Audit Logging de Cloud Data Fusion.

Registros de canalización avanzados

Estos registros proporcionan información detallada sobre las ejecuciones de canalización individuales. Estos registros son particularmente útiles para solucionar problemas de fallas de canalización, ya que capturan información incluso antes de que el clúster de Managed Service para Apache Spark termine de aprovisionarse, lo que puede ayudar a identificar problemas o demoras del clúster. Para obtener más información, consulta Visualiza registros de canalización avanzados en Cloud Logging.

Precios

El uso de Cloud Logging y Cloud Monitoring genera cargos. Para obtener más información, consulta los precios de Google Cloud Observability.

Opcional: Importa el panel de Cloud Data Fusion Logging

Para ver los registros de canalización y de servicio con el panel de Cloud Data Fusion Logging, importa el panel:

1. En la Google Cloud consola de, ve a la página Paneles de Cloud Monitoring.

   Ir a Paneles de control

2. Haz clic en Ver plantillas de panel.

3. Busca Cloud Data Fusion Logging y selecciona el panel.

4. Haz clic en Agrega el panel de Cloud Data Fusion Logging a tu lista.

Visualiza los registros de canalización

Puedes ver los registros de canalización con el panel de Cloud Data Fusion Logging o directamente en el Explorador de registros.

Visualiza los registros de canalización con el panel

1. Si aún no lo hiciste, importa el panel de Cloud Data Fusion Logging.

2. En la sección Mis paneles, haz clic en Cloud Data Fusion Logging.

3. En la sección Registros de canalización, consulta la lista de registros de canalización. Puedes filtrar los registros por gravedad, nombres de campos y valores.

   Para refinar tu búsqueda con consultas, usa el Explorador de registros.

Visualiza los registros de canalización en el Explorador de registros

1. En la Google Cloud consola de, accede a la página Explorador de registros.

   Ir al Explorador de registros

2. Ingresa la siguiente consulta:

   resource.type="datafusion.googleapis.com/PipelineV2"
   

   Aquí se muestra la lista de registros de canalización. Puedes usar filtros para refinar los resultados.

Filtra los registros de canalización

Puedes filtrar los registros de canalización por ID de ejecución, ID de instancia, ID de canalización, ubicación, espacio de nombres o etiquetas personalizadas.

Cada ejecución de la canalización de Cloud Data Fusion tiene un RunID único. Después de implementar y ejecutar tu canalización, puedes encontrar el RunID de tu canalización y ver los registros de canalización correspondientes.

Para filtrar los registros de canalización por RunID, sigue estos pasos:

1. Obtén el RunID de la canalización.

2. En la Google Cloud consola de, accede a la página Explorador de registros.

3. Ingresa la siguiente consulta:

   resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
   

Visualiza los registros de servicio

Puedes ver los registros de servicio con el panel de Cloud Data Fusion Logging o en el Explorador de registros.

Visualiza los registros de servicio con el panel

1. Si aún no lo hiciste, importa el panel de Cloud Data Fusion Logging.

2. En la sección Mis paneles, haz clic en Cloud Data Fusion Logging.

3. En la sección Registros de servicio, consulta la lista de registros de servicio. Puedes filtrar los registros por gravedad, nombres de campos y valores.

   Para refinar tu búsqueda con consultas, usa el Explorador de registros.

Visualiza los registros de servicio en el Explorador de registros

A partir de la versión 6.11.1.1 de Cloud Data Fusion, los registros de servicio del sistema usan el InstanceV3 recurso supervisado (datafusion.googleapis.com/InstanceV3) de forma predeterminada. Estos registros usan el sufijo de nombre de registro services-v3 y no incluyen las etiquetas org_id ni namespace que se encuentran en la versión anterior. Si bien la emisión de registros de InstanceV2 está inhabilitada de forma predeterminada para las instancias nuevas y actualizadas, puedes volver a habilitar el registro de InstanceV2 con la API de REST de Cloud Data Fusion si tus operaciones dependen de las etiquetas heredadas.

Para ver los registros de servicio en el Explorador de registros, sigue estos pasos:

1. En la Google Cloud consola de, accede a la página Explorador de registros.

   Ir al Explorador de registros

2. Para encontrar los registros de servicio, ingresa la consulta específica para ese servicio.

   Nombre del servicio	Consulta de registro para InstanceV2	Consulta de registro para InstanceV3
   Appfabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric"
   Procesador de AppFabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric.processor"
   Ejecutor de conjuntos de datos	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="dataset.executor"
   Log Saver	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="log.saver"
   Servicio de metadatos	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metadata.service"
   Métricas	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metrics"
   Pipeline Studio	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".userserviceid"="studio"
   Entorno de ejecución	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="runtime"
   Servicio de Wrangler	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".applicationId"="dataprep" labels.".userserviceid"="service"

Habilita los registros de InstanceV2

De forma predeterminada, las instancias de Cloud Data Fusion que ejecutan la versión 6.11.1.1 o versiones posteriores inhabilitan el registro de InstanceV2. Si tus operaciones requieren el formato de registro anterior (por ejemplo, si dependes de las etiquetas org_id o namespace), puedes volver a habilitar los registros de InstanceV2 con la API de REST de Cloud Data Fusion.

Para habilitar los registros de InstanceV2, usa el instances.patch método con enable_instance_v2_logs configurado como true. Esta configuración emite registros de InstanceV2 y InstanceV3.

   curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-GFE-SSL: yes" \
  -H "Host: datafusion.googleapis.com" \
  -d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"

Reemplaza lo siguiente:

• PROJECT_ID: el Google Cloud ID del proyecto
• LOCATION: la ubicación de tu instancia
• INSTANCE_ID: el ID de tu instancia de Cloud Data Fusion

Registro configurable en Cloud Data Fusion

Cloud Data Fusion 6.11.0 ofrece registros configurables, con Cloud Logging habilitado de forma predeterminada. Si bien es posible inhabilitar Cloud Logging, se recomienda mantenerlo habilitado para asegurarte de tener acceso a los registros críticos de canalización y de instancia.

Para inhabilitar Cloud Logging, ejecuta el siguiente comando:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Reemplaza lo siguiente:

• PROJECT_ID: el Google Cloud ID del proyecto
• LOCATION: la ubicación de tu instancia
• INSTANCE_ID: el ID de tu instancia de Cloud Data Fusion

¿Qué sigue?

• Obtén más información sobre Cloud Audit Logging de Cloud Data Fusion.
• Obtén información para ver los registros de canalización avanzados.