Consulta registros de canalización avanzados en Cloud Logging

En esta página, se describe cómo habilitar Cloud Logging para tus clústeres de Cloud Data Fusion Managed Service for Apache Spark y acceder a registros de canalización avanzados.

Habilita Cloud Logging de Managed Service for Apache Spark

Para ver problemas de canalización y clústeres en Cloud Logging, habilita los registros avanzados en instancias de Cloud Data Fusion nuevas o existentes. Para habilitar los registros avanzados en una instancia existente, haz lo siguiente:

  1. En la Google Cloud console, ve a la página Instancias de Cloud Data Fusion.

    Ir a Instancias

  2. Haga clic en el nombre de la instancia.

  3. En la sección Supervisión y registro avanzados, para Cloud Logging de Dataproc, haz clic en Editar.

  4. En la ventana Cloud Logging, selecciona la casilla de verificación Habilitar Cloud Logging.

  5. Haz clic en Guardar.

Ver registros

Cada ejecución de la canalización de Cloud Data Fusion tiene un RunID único. Después de implementar y ejecutar tu canalización, busca su RunID. Luego, en Logging, usa RunID para ver tus registros de canalización.

Obtén el RunID de la canalización

  1. Ve a tu instancia:

    1. En la Google Cloud consola, ve a la página de Cloud Data Fusion.

    2. Para abrir la instancia en Cloud Data Fusion Studio, haz clic en Instancias y, luego, en Ver instancia.

      Ir a Instancias

  2. Haz clic en Lista.
  3. Haz clic en la canalización para la que deseas obtener el ID de ejecución.
  4. Haz clic en Resumen.
  5. En la sección Historial de ejecuciones, haz clic en Tabla.
  6. Para copiar el ID de ejecución, haz clic con el botón derecho en RunID y, luego, en Copiar.

Visualiza los registros en el Explorador de registros

  1. En la Google Cloud console, ve a la página Cloud Logging > Explorador de registros:

    Ir al Explorador de registros

  2. En el menú desplegable Todos los recursos, selecciona Clúster de Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

Opcional: Filtra los registros

Usa los menús de filtro para filtrar tus registros. Puedes filtrar por varios niveles de gravedad del registro o por componentes como datafusion-pipeline-logs.

Opcional: Descarga los registros

Haz clic en Descargar registros.

Para obtener más información, consulta Descarga entradas de registro.

¿Qué sigue?