Visualiza los registros de Cloud Data Fusion

Los registros de canalización y los registros del servicio de Cloud Data Fusion te permiten supervisar el estado de la ejecución y solucionar problemas de ejecuciones de canalización con errores o problemas del servicio. A partir de la versión 6.11 de Cloud Data Fusion, estos registros están disponibles en Cloud Logging.

Acerca de los tipos de registros

Cloud Data Fusion genera varios tipos de registros para ayudar a supervisar y solucionar problemas de los procesos de integración de datos:

Registros de canalización

Estos registros proporcionan información detallada sobre las ejecuciones individuales de la canalización, incluidas las ejecuciones de vista previa. Abarcan todas las etapas de la ejecución de una canalización, como la configuración previa a la ejecución, la ejecución del trabajo y las actividades posteriores a la ejecución.

Registros de servicio

Estos registros proporcionan información detallada sobre los servicios del sistema de Cloud Data Fusion, como AppFabric y el procesador de AppFabric.

Registros de auditoría

Cloud Data Fusion genera registros de auditoría, como los registros de auditoría de actividad del administrador. Para obtener más información, consulta Registros de auditoría de Cloud Data Fusion.

Registros de canalización avanzados

Estos registros proporcionan información detallada sobre las ejecuciones de canalizaciones individuales. Estos registros son muy útiles para solucionar problemas de fallas en la canalización, ya que capturan información incluso antes de que el clúster de Managed Service para Apache Spark termine de aprovisionarse, lo que puede ayudar a identificar problemas o retrasos en el clúster. Para obtener más información, consulta Visualiza registros de canalización avanzados en Cloud Logging.

Precios

El uso de Cloud Logging y Cloud Monitoring genera cargos. Para obtener más información, consulta los precios de Google Cloud Observability.

Opcional: Importa el panel de Cloud Logging de Cloud Data Fusion

Para ver los registros de canalización y los registros del servicio con el panel de Logging de Cloud Data Fusion, importa el panel:

1. En la consola de Google Cloud , ve a la página Paneles de Cloud Monitoring.

   Ir a Paneles de control

2. Haz clic en Ver plantillas de paneles.

3. Busca Cloud Data Fusion Logging y selecciona el panel.

4. Haz clic en Agregar el panel de Cloud Data Fusion Logging a tu lista.

Visualiza los registros de la canalización

Puedes ver los registros de canalización con el panel de Logging de Cloud Data Fusion o directamente en el Explorador de registros.

Visualiza los registros de la canalización con el panel

1. Si aún no lo hiciste, importa el panel Cloud Data Fusion Logging.

2. En la sección Mis paneles, haz clic en Registro de Cloud Data Fusion.

3. En la sección Registros de canalización, consulta la lista de registros de canalización. Puedes filtrar los registros por gravedad, nombres de campos y valores.

   Para definir mejor tu búsqueda con consultas, usa el Explorador de registros.

Visualiza los registros de canalización en el Explorador de registros

1. En la consola de Google Cloud , accede a la página Explorador de registros.

   Ve al Explorador de registros

2. Ingresa la siguiente consulta:

   resource.type="datafusion.googleapis.com/PipelineV2"
   

   Se mostrará la lista de registros de la canalización. Puedes usar filtros para definir mejor los resultados.

Filtra los registros de canalización

Puedes filtrar los registros de canalización por ID de ejecución, ID de instancia, ID de canalización, ubicación, espacio de nombres o etiquetas personalizadas.

Cada ejecución de la canalización de Cloud Data Fusion tiene un RunID único. Después de implementar y ejecutar tu canalización, puedes encontrar el RunID de tu canalización y ver los registros correspondientes.

Para filtrar los registros de canalización por RunID, sigue estos pasos:

1. Obtén el RunID de la canalización.

2. En la consola de Google Cloud , accede a la página Explorador de registros.

3. Ingresa la siguiente consulta:

   resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
   

Visualiza los registros del servicio

Puedes ver los registros del servicio con el panel de Logging de Cloud Data Fusion o en el Explorador de registros.

Visualiza los registros del servicio con el panel

1. Si aún no lo hiciste, importa el panel Cloud Data Fusion Logging.

2. En la sección Mis paneles, haz clic en Registro de Cloud Data Fusion.

3. En la sección Registros del servicio, consulta la lista de registros del servicio. Puedes filtrar los registros por gravedad, nombres de campos y valores.

   Para definir mejor tu búsqueda con consultas, usa el Explorador de registros.

Visualiza los registros del servicio en el Explorador de registros

A partir de la versión 6.11.1.1 de Cloud Data Fusion, los registros del servicio del sistema usan el recurso supervisado InstanceV3 (datafusion.googleapis.com/InstanceV3) de forma predeterminada. Estos registros usan el sufijo de nombre de registro services-v3 y no incluyen las etiquetas org_id ni namespace que se encuentran en la versión anterior. Si bien la emisión de registros de InstanceV2 está inhabilitada de forma predeterminada para las instancias nuevas y actualizadas, puedes volver a habilitar el registro de InstanceV2 con la API de REST de Cloud Data Fusion si tus operaciones dependen de las etiquetas heredadas.

Para ver los registros del servicio en el Explorador de registros, sigue estos pasos:

1. En la consola de Google Cloud , accede a la página Explorador de registros.

   Ve al Explorador de registros

2. Para encontrar los registros de un servicio, ingresa la consulta específica de ese servicio.

   Nombre del servicio	Consulta de registro para InstanceV2	Consulta de registro para InstanceV3
   Appfabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric"
   Procesador de AppFabric	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric.processor"
   Ejecutor del conjunto de datos	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="dataset.executor"
   Log saver	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="log.saver"
   Servicio de metadatos	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metadata.service"
   Métricas	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metrics"
   Pipeline Studio	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".userserviceid"="studio"
   Entorno de ejecución	resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="runtime"
   Servicio de Wrangler	resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"	resource.type="datafusion.googleapis.com/InstanceV3" labels.".applicationId"="dataprep" labels.".userserviceid"="service"

Habilita los registros de InstanceV2

De forma predeterminada, las instancias de Cloud Data Fusion que ejecutan la versión 6.11.1.1 o posterior inhabilitan el registro de InstanceV2. Si tus operaciones requieren el formato de registro anterior (por ejemplo, si dependes de las etiquetas org_id o namespace), puedes volver a habilitar los registros de InstanceV2 con la API de REST de Cloud Data Fusion.

Para habilitar los registros de InstanceV2, usa el método instances.patch con enable_instance_v2_logs configurado como true. Este parámetro de configuración emite registros de InstanceV2 y InstanceV3.

   curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-GFE-SSL: yes" \
  -H "Host: datafusion.googleapis.com" \
  -d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"

Reemplaza lo siguiente:

• PROJECT_ID: Es el ID del proyecto de Google Cloud .
• LOCATION: Es la ubicación de tu instancia.
• INSTANCE_ID: Es el ID de tu instancia de Cloud Data Fusion.

Registro configurable en Cloud Data Fusion

Cloud Data Fusion 6.11.0 ofrece registro configurable, con Cloud Logging habilitado de forma predeterminada. Si bien es posible inhabilitar Cloud Logging, se recomienda mantenerlo habilitado para garantizar que tengas acceso a los registros críticos de canalizaciones y de instancias.

Para inhabilitar Cloud Logging, ejecuta el siguiente comando:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Reemplaza lo siguiente:

• PROJECT_ID: Es el ID del proyecto de Google Cloud .
• LOCATION: Es la ubicación de tu instancia.
• INSTANCE_ID: Es el ID de tu instancia de Cloud Data Fusion.

¿Qué sigue?

• Obtén más información sobre los registros de auditoría de Cloud Data Fusion.
• Obtén más información para ver los registros avanzados de la canalización.