Administrar canalizaciones

En este documento, se describe cómo administrar canalizaciones de BigQuery, incluido cómo verlas, programarlas, implementarlas y borrarlas.

En este documento, también se describe cómo ver y administrar metadatos de canalizaciones en Knowledge Catalog.

Las canalizaciones funcionan con Dataform. Puedes organizar y administrar las canalizaciones almacenadas en Archivos y carpetas (carpetas de usuario y carpetas de equipo) o en Repositorios de Git de BigQuery Studio (carpetas de Git) (versión preliminar).

Antes de comenzar

1. Crea una canalización de BigQuery.
2. Para administrar los metadatos de la canalización en Knowledge Catalog, asegúrate de que la API de Dataplex esté habilitada en tu Google Cloud proyecto.

Roles obligatorios

Para obtener los permisos que necesitas para administrar canalizaciones, pídele a tu administrador que te otorgue los siguientes roles de IAM:

• Para ver y ejecutar canalizaciones:
  • Visualizador de Dataform (roles/dataform.Viewer) en el proyecto
  • Usuario de trabajo de BigQuery (roles/bigquery.jobUser) en el proyecto
• Para ejecutar canalizaciones con credenciales de usuario para una Cuenta de Google: Editor de datos de BigQuery (roles/bigquery.dataEditor) en el proyecto o en conjuntos de datos específicos de BigQuery
• Para borrar canalizaciones: Administrador de Dataform (roles/dataform.Admin) en la canalización
• Para administrar canalizaciones en carpetas de usuario:
  • Propietario del código (roles/dataform.codeOwner) en la carpeta
  • Editor de código (roles/dataform.codeEditor) en la carpeta
  • Visualizador de código (roles/dataform.codeViewer) en la carpeta
• Para administrar canalizaciones en carpetas de equipo:
  • Propietario de la carpeta de equipo (roles/dataform.teamFolderOwner) en la carpeta de equipo
  • Colaborador de carpetas de equipo (roles/dataform.teamFolderContributor) en la carpeta de equipo
  • Visualizador de carpetas de equipo (roles/dataform.teamFolderViewer) en la carpeta de equipo
• Para administrar canalizaciones en repositorios de Git: Usuario de OAuth de Developer Connect (roles/developerconnect.oauthUser) en el proyecto
• Para ver y administrar metadatos en Knowledge Catalog: Editor del catálogo de Dataplex (roles/dataplex.catalogEditor) en el proyecto o en el grupo de entradas @bigquery

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Para obtener más información sobre IAM de Dataform, consulta Control de acceso con IAM. Para obtener más información sobre los roles de las carpetas, consulta Crea y administra carpetas. Para obtener más información sobre los roles de los repositorios de Git, consulta Administra código con repositorios de Git de BigQuery Studio.

Nota: Cuando creas una canalización, BigQuery te otorga el rol de Administrador de Dataform (roles/dataform.admin) en esa canalización. Todos los usuarios con el rol Administrador de Dataform otorgado en el Google Cloud proyecto tienen acceso de propietario a todas las canalizaciones creadas en el proyecto.

Si usas una cuenta de servicio personalizada para ejecutar canalizaciones, debes otorgarle los siguientes roles a esa cuenta de servicio:

• Usuario de trabajo de BigQuery (roles/bigquery.jobUser) en el proyecto
• Editor de datos de BigQuery (roles/bigquery.dataEditor) en el proyecto o en conjuntos de datos específicos de BigQuery
• Editor del catálogo de Dataplex (roles/dataplex.catalogEditor) en el proyecto o en el grupo de entradas @bigquery

Ver canalizaciones

Puedes ver y revisar las canalizaciones almacenadas en carpetas o carpetas de Git en el panel Archivos. Puedes ver canalizaciones independientes y canalizaciones almacenadas en carpetas en el panel Explorador. Las canalizaciones almacenadas en carpetas de Git no se muestran en el panel Explorador.

Ver canalizaciones en el panel Archivos

Las canalizaciones almacenadas en carpetas o en carpetas de Git aparecen directamente en el panel Archivos.

Para ver una canalización almacenada en una carpeta o carpeta de Git, sigue estos pasos:

1. En la Google Cloud consola de, ve a la BigQuery.

   Ir a BigQuery

2. En el panel izquierdo, haz clic en Archivos para abrir el navegador de archivos.

   Si no ves el panel izquierdo, haz clic en Expandir panel izquierdo para abrirlo.

3. Expande tu carpeta de usuario, una carpeta de equipo o una carpeta de repositorio de Git conectada.

   Las canalizaciones se muestran con un ícono de canalización en lugar de un ícono de carpeta estándar.

4. Haz clic en una carpeta de canalización para abrir el Visualizador de canalizaciones.

   El Visualizador de canalizaciones muestra el grafo acíclico dirigido (DAG) compilado de las tareas de la canalización, el estado de ejecución y las pestañas de configuración.

5. Expande el directorio de la canalización en el navegador de archivos para explorar los directorios anidados (como definitions/) y los archivos de tareas individuales.

Nota: Si un repositorio de Git conectado contiene workflow_settings.yaml en su directorio raíz, BigQuery Studio lo reconoce como una canalización de nivel raíz. La carpeta del repositorio de Git muestra el ícono de canalización. Cuando haces clic en la carpeta del repositorio de Git, se abre el Visualizador de canalizaciones y se muestra el DAG compilado para todo el repositorio.

Ver canalizaciones en el panel Explorador

Para ver una lista de canalizaciones independientes y canalizaciones almacenadas en carpetas, haz lo siguiente:

1. En la Google Cloud consola de, ve a la BigQuery.

   Ir a BigQuery

2. En el panel izquierdo, haz clic en Explorador:

   

   Si no ves el panel izquierdo, haz clic en Expandir panel izquierdo para abrirlo.

3. En el panel Explorador, expande tu proyecto y haz clic en Canalizaciones.

4. Selecciona una canalización para abrirla en el Visualizador de canalizaciones.

Ver ejecuciones manuales anteriores

Para ver las ejecuciones manuales anteriores de una canalización seleccionada, sigue estos pasos:

1. En la Google Cloud consola de, ve a la BigQuery.

   Ir a BigQuery

2. En el panel izquierdo, haz clic en Explorador:

   

3. En el panel Explorador, expande tu proyecto, haz clic en Canalizaciones, y, luego, selecciona una canalización.

4. Haz clic en Ejecuciones.

5. Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.

Configurar alertas para ejecuciones de canalización con errores

Cada canalización tiene un ID de repositorio de Dataform correspondiente. Cada ejecución de canalización de BigQuery se registra en Cloud Logging con el ID de repositorio de Dataform correspondiente. Puedes usar Cloud Monitoring para observar las tendencias en los registros de Cloud Logging para las ejecuciones de canalización de BigQuery y notificarte cuando se producen las condiciones que describes.

Para recibir alertas cuando falla una ejecución de canalización de BigQuery, puedes crear una política de alertas basada en registros para el ID de repositorio de Dataform correspondiente. Para obtener instrucciones, consulta Configura alertas para invocaciones de flujo de trabajo con errores.

Para encontrar el ID de repositorio de Dataform de tu canalización, haz lo siguiente:

1. En la Google Cloud consola de, ve a la BigQuery.

   Ir a BigQuery

2. En el panel izquierdo, haz clic en Explorador:

   

3. En el panel Explorador, expande tu proyecto, haz clic en Canalizaciones, y, luego, selecciona una canalización.

4. Haz clic en Configuración.

   El ID de repositorio de Dataform de tu canalización se muestra en la parte inferior de la pestaña Configuración.

Borrar una canalización

Para borrar una canalización de forma permanente, sigue estos pasos:

1. En la Google Cloud consola de, ve a la BigQuery. Ir a BigQuery

• Para borrar una canalización almacenada en una carpeta o carpeta de Git, haz lo siguiente:

  1. En el panel izquierdo, haz clic en Archivos.

  2. En el árbol de archivos, busca la carpeta de canalización que deseas borrar.

  3. Haz clic en Ver acciones junto a la carpeta de canalización y, luego, en Borrar.

  4. En el diálogo de confirmación, haz clic en Borrar.

     La carpeta de canalización y todas las tareas y archivos que contiene se borran de tu espacio de trabajo.

• Para borrar una canalización que aparece en el panel Explorador, haz lo siguiente:

  1. En el panel izquierdo, haz clic en Explorador:

     

  2. En el panel Explorador, expande tu proyecto y haz clic en Canalizaciones.

  3. Busca la canalización que deseas borrar.

  4. Haz clic en Ver acciones junto a la canalización y, luego, en Borrar.

  5. Haz clic en Borrar.

Administrar metadatos en Knowledge Catalog

Knowledge Catalog te permite almacenar y administrar metadatos para canalizaciones. Las canalizaciones están disponibles en Knowledge Catalog de forma predeterminada, sin configuración adicional.

Puedes usar Knowledge Catalog para administrar canalizaciones en todas las ubicaciones de canalizaciones. La administración de canalizaciones en Knowledge Catalog está sujeta a las cuotas y los límites de Knowledge Catalog y a los precios de Knowledge Catalog.

Knowledge Catalog recupera automáticamente los siguientes metadatos de las canalizaciones:

• Nombre del recurso de datos
• Superior del recurso de datos
• Ubicación del recurso de datos
• Tipo de recurso de datos
• Proyecto correspondiente Google Cloud

Knowledge Catalog registra las canalizaciones como entradas con los siguientes valores de entrada:

Grupo de entradas del sistema

El grupo de entradas del sistema para las canalizaciones es @dataform. Para ver los detalles de las entradas de canalización en Knowledge Catalog, debes ver el grupo de entradas del sistema dataform. Para obtener instrucciones sobre cómo ver una lista de todas las entradas de un grupo de entradas, consulta Ver detalles de un grupo de entradas en la documentación de Knowledge Catalog.

Tipo de entrada del sistema

El tipo de entrada del sistema para las canalizaciones es dataform-code-asset. Para ver los detalles de las canalizaciones,debes ver el tipo de entrada del sistema dataform-code-asset, filtrar los resultados con un filtro basado en aspectos, y establecer el campo type dentro del aspecto dataform-code-asset en WORKFLOW. Luego, selecciona una entrada de la canalización seleccionada. Para obtener instrucciones sobre cómo ver los detalles de un tipo de entrada seleccionado, consulta Ver detalles de un tipo de entrada en la documentación de Knowledge Catalog. Para obtener instrucciones sobre cómo ver los detalles de una entrada seleccionada, consulta Ver detalles de una entrada en la documentación de Knowledge Catalog.

Tipo de aspecto del sistema

El tipo de aspecto del sistema para las canalizaciones es dataform-code-asset. Para proporcionar contexto adicional a las canalizaciones en Knowledge Catalog mediante la anotación de entradas de canalización de datos con aspectos, consulta el tipo de aspecto dataform-code-asset, filtra los resultados con un filtro basado en aspectos y establece el campo type dentro del aspecto dataform-code-asset en WORKFLOW. Para obtener instrucciones sobre cómo anotar entradas con aspectos, consulta Administra aspectos y enriquece metadatos en la documentación de Knowledge Catalog.

Tipo

El tipo de los lienzos de datos es WORKFLOW. Este tipo te permite filtrar canalizaciones en el dataform-code-asset tipo de entrada del sistema y el dataform-code-asset tipo de aspecto con la aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW consulta en un filtro basado en aspectos.

Para obtener instrucciones sobre cómo buscar recursos en Knowledge Catalog, consulta Busca recursos de datos en Knowledge Catalog en la documentación de Knowledge Catalog.

Enriquecimiento de metadatos y la integración del cuadro de evaluación de la calidad de los datos

Versión preliminar

Esta función está sujeta a las "Condiciones de la oferta previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles "tal como están" y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Nota: Para proporcionar comentarios o solicitar asistencia para esta función, envía un correo electrónico a [e-mail].

Dataform puede publicar los siguientes metadatos en Knowledge Catalog:

• Tipo de aspecto de resumen
• Tipo de aspecto genérico
• Tipo de aspecto del cuadro de evaluación de la calidad de los datos

Las aserciones de Dataform se integran automáticamente con el cuadro de evaluación de la calidad de los datos de Knowledge Catalog. Durante la ejecución de la canalización, los resultados de las aserciones de Dataform se publican automáticamente en Knowledge Catalog. Estos resultados propagan el cuadro de evaluación de la calidad de los datos de Knowledge Catalog con un estado de aprobado o reprobado.

Nota: Cada ejecución anula los cuadros de evaluación de la calidad de los datos existentes publicados por ejecuciones anteriores de Dataform, pero no afecta los cuadros de evaluación creados por análisis de datos de Knowledge Catalog.

Para verificar el estado de una actualización de metadatos, sigue las instrucciones en Ver ejecuciones manuales anteriores.

Una vez que se hayan sincronizado los metadatos, puedes buscar y ver la entrada en Knowledge Catalog. Para obtener más información, consulta Busca recursos.

¿Qué sigue?

• Obtén más información sobre las canalizaciones de BigQuery.
• Aprende a crear canalizaciones.
• Aprende a programar canalizaciones.
• Aprende a administrar código con repositorios de Git de BigQuery Studio.
• Aprende a organizar recursos de código con carpetas.
• Obtén más información sobre las implementaciones de Dataform.