Administrar canalizaciones

En este documento, se describe cómo administrar canalizaciones de BigQuery, incluido cómo ver, programar, implementar y borrar canalizaciones.

En este documento, también se describe cómo ver y administrar los metadatos de la canalización en Knowledge Catalog.

Las canalizaciones funcionan con Dataform. Puedes organizar y administrar las canalizaciones almacenadas en Archivos y carpetas (carpetas de usuarios y carpetas de equipos) o en repositorios de Git de BigQuery Studio (carpetas de Git) (versión preliminar).

Antes de comenzar

  1. Crea una canalización de BigQuery.
  2. Para administrar los metadatos de la canalización en Knowledge Catalog, asegúrate de que la API de Dataplex esté habilitada en tu proyecto de Google Cloud .

Roles obligatorios

Para obtener los permisos que necesitas para administrar canalizaciones, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Para obtener más información sobre la IAM de Dataform, consulta Controla el acceso con IAM. Para obtener más información sobre los roles de las carpetas, consulta Crea y administra carpetas. Para obtener más información sobre los roles de los repositorios de Git, consulta Administra código con repositorios de Git de BigQuery Studio.

Si usas una cuenta de servicio personalizada para ejecutar canalizaciones, debes otorgarle los siguientes roles:

Visualiza canalizaciones

Puedes ver e inspeccionar las canalizaciones almacenadas en carpetas o carpetas de Git en el panel Archivos. Puedes ver las canalizaciones independientes y las canalizaciones almacenadas en carpetas en el panel Explorador. Las canalizaciones almacenadas en carpetas de Git no se muestran en el panel Explorador.

Cómo ver canalizaciones en el panel de archivos

Las canalizaciones almacenadas en carpetas o en carpetas de Git aparecen directamente en el panel Archivos.

Para ver una canalización almacenada en una carpeta o carpeta de Git, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel izquierdo, haz clic en Archivos para abrir el navegador de archivos.

    Si no ves el panel izquierdo, haz clic en Expandir panel izquierdo para abrirlo.

  3. Expande tu carpeta User, una carpeta de equipo o una carpeta de repositorio de Git conectada.

    Las canalizaciones se muestran con un ícono de canalización en lugar de un ícono de carpeta estándar.

  4. Haz clic en una carpeta de canalización para abrir el Visualizador de canalizaciones.

    El Visualizador de canalizaciones muestra el grafo acíclico dirigido (DAG) compilado de las tareas de la canalización, el estado de ejecución y las pestañas de configuración.

  5. Expande el directorio de la canalización en el navegador de archivos para explorar los directorios anidados (como definitions/) y los archivos de tareas individuales.

Visualiza canalizaciones en el panel del Explorador

Para ver una lista de las canalizaciones independientes y las canalizaciones almacenadas en carpetas, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel de la izquierda, haz clic en Explorar.

    Botón destacado del panel Explorador.

    Si no ves el panel izquierdo, haz clic en Expandir panel izquierdo para abrirlo.

  3. En el panel Explorador, expande tu proyecto y haz clic en Canalizaciones.

  4. Selecciona una canalización para abrirla en el Visor de canalizaciones.

Cómo ver las ejecuciones manuales anteriores

Para ver las ejecuciones manuales anteriores de una canalización seleccionada, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel de la izquierda, haz clic en Explorar.

    Botón destacado del panel Explorador.

  3. En el panel Explorador, expande tu proyecto, haz clic en Canalizaciones y, luego, selecciona una canalización.

  4. Haz clic en Ejecuciones.

  5. Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.

Configura alertas para las ejecuciones fallidas de canalizaciones

Cada canalización tiene un ID de repositorio de Dataform correspondiente. Cada ejecución de la canalización de BigQuery se registra en Cloud Logging con el ID del repositorio de Dataform correspondiente. Puedes usar Cloud Monitoring para observar las tendencias en los registros de Cloud Logging de las ejecuciones de canalizaciones de BigQuery y para notificarte cuando se produzcan las condiciones que describas.

Para recibir alertas cuando falla una ejecución de canalización de BigQuery, puedes crear una política de alertas basada en registros para el ID del repositorio de Dataform correspondiente. Si deseas obtener instrucciones, consulta Configura alertas para las invocaciones de flujos de trabajo fallidas.

Para encontrar el ID del repositorio de Dataform de tu canalización, haz lo siguiente:

  1. En la consola de Google Cloud , ve a la página BigQuery.

    Ir a BigQuery

  2. En el panel de la izquierda, haz clic en Explorar.

    Botón destacado del panel Explorador.

  3. En el panel Explorador, expande tu proyecto, haz clic en Canalizaciones y, luego, selecciona una canalización.

  4. Haz clic en Configuración.

    El ID del repositorio de Dataform de tu canalización se muestra en la parte inferior de la pestaña Configuración.

Borra una canalización

Para borrar de forma permanente una canalización, sigue estos pasos:

  1. En la consola de Google Cloud , ve a la página BigQuery. Ir a BigQuery

  • Para borrar una canalización almacenada en una carpeta o carpeta de Git, haz lo siguiente:

    1. En el panel izquierdo, haz clic en Archivos.

    2. En el árbol de archivos, busca la carpeta de la canalización que quieras borrar.

    3. Haz clic en Ver acciones junto a la carpeta de la canalización y, luego, en Borrar.

    4. En el diálogo de confirmación, haz clic en Borrar.

      La carpeta de la canalización y todas las tareas y los archivos que contiene se borran de tu espacio de trabajo.

  • Para borrar una canalización que aparece en el panel Explorador, haz lo siguiente:

    1. En el panel de la izquierda, haz clic en Explorar.

      Botón destacado del panel Explorador.

    2. En el panel Explorador, expande tu proyecto y haz clic en Canalizaciones.

    3. Busca la canalización que quieres borrar.

    4. Haz clic en Ver acciones junto a la canalización y, luego, en Borrar.

    5. Haz clic en Borrar.

Administra metadatos en Knowledge Catalog

Knowledge Catalog te permite almacenar y administrar metadatos para las canalizaciones. Las canalizaciones están disponibles en Knowledge Catalog de forma predeterminada, sin configuración adicional.

Puedes usar Knowledge Catalog para administrar canalizaciones en todas las ubicaciones de canalizaciones. La administración de canalizaciones en Knowledge Catalog está sujeta a las cuotas y los límites de Knowledge Catalog y a los precios de Knowledge Catalog.

Knowledge Catalog recupera automáticamente los siguientes metadatos de las canalizaciones:

  • Nombre del recurso de datos
  • Recurso de datos principal
  • Ubicación del recurso de datos
  • Tipo de recurso de datos
  • Proyecto Google Cloud correspondiente

Knowledge Catalog registra las canalizaciones como entradas con los siguientes valores de entrada:

Grupo de entrada del sistema
El grupo de entrada del sistema para las canalizaciones es @dataform. Para ver los detalles de las entradas de canalización en Knowledge Catalog, debes ver el grupo de entradas del sistema dataform. Para obtener instrucciones sobre cómo ver una lista de todas las entradas de un grupo de entradas, consulta Cómo ver los detalles de un grupo de entradas en la documentación de Knowledge Catalog.
Tipo de entrada del sistema
El tipo de entrada del sistema para las canalizaciones es dataform-code-asset. Para ver los detalles de las canalizaciones, debes ver el tipo de entrada del sistema dataform-code-asset, filtrar los resultados con un filtro basado en aspectos y establecer el campo type dentro del aspecto dataform-code-asset en WORKFLOW. Luego, selecciona una entrada de la canalización seleccionada. Para obtener instrucciones sobre cómo ver los detalles de un tipo de entrada seleccionado, consulta Cómo ver los detalles de un tipo de entrada en la documentación de Knowledge Catalog. Para obtener instrucciones sobre cómo ver los detalles de una entrada seleccionada, consulta Cómo ver los detalles de una entrada en la documentación de Knowledge Catalog.
Tipo de aspecto del sistema
El tipo de aspecto del sistema para las canalizaciones es dataform-code-asset. Para proporcionar contexto adicional a las canalizaciones en Knowledge Catalog anotando las entradas de canalizaciones de datos con aspectos, consulta el tipo de aspecto dataform-code-asset, filtra los resultados con un filtro basado en aspectos y establece el campo type dentro del aspecto dataform-code-asset en WORKFLOW. Para obtener instrucciones sobre cómo anotar entradas con aspectos, consulta Administra aspectos y enriquece metadatos en la documentación de Knowledge Catalog.
Tipo
El tipo de los lienzos de datos es WORKFLOW. Este tipo te permite filtrar las canalizaciones en el tipo de entrada del sistema dataform-code-asset y el tipo de aspecto dataform-code-asset con la consulta aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW en un filtro basado en aspectos.

Para obtener instrucciones sobre cómo buscar recursos en Knowledge Catalog, consulta Cómo buscar recursos de datos en Knowledge Catalog en la documentación de Knowledge Catalog.

Integración del cuadro de evaluación de la calidad de los datos y el enriquecimiento de metadatos

Dataform puede publicar los siguientes metadatos en Knowledge Catalog:

  • Tipo de aspecto de resumen
  • Tipo de aspecto genérico
  • Tipo de aspecto del cuadro de evaluación de la calidad de los datos

Las aserciones de Dataform se integran automáticamente con el cuadro de evaluación de la calidad de los datos de Knowledge Catalog. Durante la ejecución de la canalización, los resultados de las aserciones de Dataform se publican automáticamente en Knowledge Catalog. Estos resultados completan el cuadro de evaluación de la calidad de los datos de Knowledge Catalog con un estado de aprobado o reprobado.

Para verificar el estado de una actualización de metadatos, sigue las instrucciones que se indican en Cómo ver ejecuciones manuales anteriores.

Una vez que se sincronicen los metadatos, podrás buscar y ver la entrada en Knowledge Catalog. Para obtener más información, consulta Cómo buscar recursos.

¿Qué sigue?