En este documento, se describe cómo acceder a los registros de canalización y de servicio de Cloud Data Fusion, y cómo visualizarlos.
A partir de la versión 6.11 de Cloud Data Fusion, los registros de canalización y los registros de servicio están disponibles en Cloud Logging.
Acerca de los tipos de registros
Cloud Data Fusion genera varios tipos de registros para ayudar a supervisar y solucionar problemas de los procesos de integración de datos:
Precios
El uso de Cloud Logging y Cloud Monitoring genera cargos. Para obtener más información, consulta los precios de Google Cloud Observability.
Opcional: Importa el panel de Cloud Data Fusion Logging
Para ver los registros de canalización y los registros de servicio con el panel de Cloud Data Fusion Logging, importa el panel:
En la consola de Google Cloud , ve a la página Paneles de Cloud Monitoring.
Haz clic en Ver plantillas de paneles.
Busca Cloud Data Fusion Logging y selecciona el panel.
Haz clic en Agrega el panel de Cloud Data Fusion Logging a tu lista.
Visualiza los registros de la canalización
Puedes ver los registros de la canalización con el panel de Cloud Data Fusion Logging o directamente en el Explorador de registros.
Visualiza los registros de la canalización con el panel
Si aún no lo hiciste, importa el panel de Cloud Data Fusion Logging.
En la sección Mis paneles, haz clic en Registro de Cloud Data Fusion.
En la sección Registros de canalización, consulta la lista de registros de canalización. Puedes filtrar los registros por gravedad, nombres de campos y valores.
Para definir mejor tu búsqueda con consultas, usa el Explorador de registros.
Visualiza registros de canalización en el Explorador de registros
En la Google Cloud consola, ve a la página Explorador de registros.
Ingresa la siguiente consulta:
resource.type="datafusion.googleapis.com/PipelineV2"Aquí se muestra la lista de registros de la canalización. Puedes usar filtros para definir mejor los resultados.
Filtra los registros de la canalización
Puedes filtrar los registros de la canalización por ID de ejecución, ID de instancia, ID de canalización, ubicación, espacio de nombres o etiquetas personalizadas.
Cada ejecución de la canalización de Cloud Data Fusion tiene un RunID único.
Después de implementar y ejecutar tu canalización, puedes encontrar su RunID y ver los registros correspondientes.
Para filtrar los registros de la canalización por RunID, sigue estos pasos:
En la Google Cloud consola, ve a la página Explorador de registros.
Ingresa la siguiente consulta:
resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
Visualiza los registros del servicio
Puedes ver los registros del servicio en el panel de Cloud Data Fusion Logging o en el Explorador de registros.
Visualiza los registros de servicio con el panel
Si aún no lo hiciste, importa el panel de Cloud Data Fusion Logging.
En la sección Mis paneles, haz clic en Registro de Cloud Data Fusion.
En la sección Registros de servicio, consulta la lista de registros de servicio. Puedes filtrar los registros por gravedad, nombres de campos y valores.
Para definir mejor tu búsqueda con consultas, usa el Explorador de registros.
Visualiza registros de servicios en el Explorador de registros
En la Google Cloud consola, ve a la página Explorador de registros.
Para encontrar los registros del servicio, ingresa la consulta específica para ese servicio.
Nombre del servicio Consulta de registro Appfabric resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"
Procesador de AppFabric resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"
Ejecutor de conjuntos de datos resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"
Ahorro de registros resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"
Servicio de metadatos resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"
Métricas resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"
Pipeline Studio resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"
Entorno de ejecución resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"
Servicio de Wrangler resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"
Registro configurable en Cloud Data Fusion
Cloud Data Fusion 6.11.0 ofrece registros configurables, con Cloud Logging habilitado de forma predeterminada. Si bien es posible inhabilitar Cloud Logging, se recomienda encarecidamente mantenerlo habilitado para garantizar que tengas acceso a los registros críticos de la canalización y la instancia.
Para inhabilitar Cloud Logging, ejecuta el siguiente comando:
echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
--data @- \
"https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"
Reemplaza lo siguiente:
PROJECT_ID: El ID del proyecto de Google CloudLOCATION: La ubicación de tu instanciaINSTANCE_ID: Es el ID de tu instancia de Cloud Data Fusion.
¿Qué sigue?
- Obtén más información sobre el registro de auditoría de Cloud Data Fusion.
- Obtén más información para ver registros avanzados de la canalización.