Administrar canalizaciones

En este documento, se describe cómo administrar canalizaciones de BigQuery, incluido cómo programarlas y borrarlas.

En este documento, también se describe cómo ver y administrar metadatos de canalizaciones en Knowledge Catalog.

Las canalizaciones funcionan con Dataform.

Antes de comenzar

1. Crea una canalización de BigQuery.
2. Para administrar metadatos de canalizaciones en Knowledge Catalog, asegúrate de que la API de Dataplex esté habilitada en tu Google Cloud proyecto.

Roles obligatorios

Para obtener los permisos que necesitas para administrar canalizaciones, pídele a tu administrador que te otorgue los siguientes roles de IAM:

• Para ver y ejecutar canalizaciones:
  • Visualizador de Dataform (roles/dataform.Viewer) en el proyecto
  • Usuario de trabajo de BigQuery (roles/bigquery.jobUser) en el proyecto
• Para ejecutar canalizaciones con credenciales de usuario para una Cuenta de Google: Editor de datos de BigQuery (roles/bigquery.dataEditor) en el proyecto o en conjuntos de datos específicos de BigQuery
• Para borrar canalizaciones: Administrador de Dataform (roles/dataform.Admin) en la canalización
• Para ver y administrar metadatos en Knowledge Catalog: Editor del catálogo de Dataplex (roles/dataplex.catalogEditor) en el proyecto o en el grupo de entradas @bigquery

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Para obtener más información sobre IAM de Dataform, consulta Control de acceso con IAM.

Nota: Cuando creas una canalización, BigQuery te otorga el rol de Administrador de Dataform (roles/dataform.admin) en esa canalización. Todos los usuarios con el rol de Administrador de Dataform otorgado en el Google Cloud proyecto tienen acceso de propietario a todas las canalizaciones creadas en el proyecto.

Si usas una cuenta de servicio personalizada para ejecutar canalizaciones, debes otorgarle los siguientes roles a esa cuenta de servicio:

• Usuario de trabajo de BigQuery (roles/bigquery.jobUser) en el proyecto
• Editor de datos de BigQuery (roles/bigquery.dataEditor) en el proyecto o en conjuntos de datos específicos de BigQuery
• Editor del catálogo de Dataplex (roles/dataplex.catalogEditor) en el proyecto o en el grupo de entradas @bigquery

Ver todas las canalizaciones

Para ver una lista de todas las canalizaciones de tu proyecto, haz lo siguiente:

1. En la Google Cloud consola de, ve a la BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorador:

   

   Si no ves el panel izquierdo, haz clic en Expandir panel izquierdo para abrirlo.

3. En el panel Explorador, expande tu proyecto y haz clic en Canalizaciones.

Ver ejecuciones manuales anteriores

Para ver las ejecuciones manuales anteriores de una canalización seleccionada, sigue estos pasos:

1. En la Google Cloud consola de, ve a la BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorador:

   

3. En el panel Explorador, expande tu proyecto, haz clic en Canalizaciones, y, luego, selecciona una canalización.

4. Haz clic en Ejecuciones.

5. Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.

Configurar alertas para ejecuciones de canalización con errores

Cada canalización tiene un ID de repositorio de Dataform correspondiente. Cada ejecución de canalización de BigQuery se registra en Cloud Logging con el ID de repositorio de Dataform correspondiente. Puedes usar Cloud Monitoring para observar las tendencias en los registros de Cloud Logging para las ejecuciones de canalización de BigQuery y notificarte cuando se producen las condiciones que describes.

Para recibir alertas cuando falla una ejecución de canalización de BigQuery, puedes crear una política de alertas basada en registros para el ID de repositorio de Dataform correspondiente. Para obtener instrucciones, consulta Configura alertas para invocaciones de flujo de trabajo con errores.

Para encontrar el ID de repositorio de Dataform de tu canalización, haz lo siguiente:

1. En la Google Cloud consola de, ve a la BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorador:

   

3. En el panel Explorador, expande tu proyecto, haz clic en Canalizaciones, y, luego, selecciona una canalización.

4. Haz clic en Configuración.

   El ID de repositorio de Dataform de tu canalización se muestra en la parte inferior de la pestaña Configuración.

Borrar una canalización

Para borrar una canalización de forma permanente, sigue estos pasos:

1. En la Google Cloud consola de, ve a la BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorador:

   

3. En el panel Explorador, expande tu proyecto y haz clic en Canalizaciones.

4. Busca la canalización que deseas borrar.

5. Haz clic en Ver acciones junto a la canalización y, luego, en Borrar.

6. Haz clic en Borrar.

Administrar metadatos en Knowledge Catalog

Knowledge Catalog te permite almacenar y administrar metadatos para canalizaciones. Las canalizaciones están disponibles en Knowledge Catalog de forma predeterminada, sin configuración adicional.

Puedes usar Knowledge Catalog para administrar canalizaciones en todas las ubicaciones de canalizaciones. La administración de canalizaciones en Knowledge Catalog está sujeta a las cuotas y los límites de Knowledge Catalog y a los precios de Knowledge Catalog.

Knowledge Catalog recupera automáticamente los siguientes metadatos de las canalizaciones:

• Nombre del recurso de datos
• Superior del recurso de datos
• Ubicación del recurso de datos
• Tipo de recurso de datos
• Proyecto correspondiente Google Cloud

Knowledge Catalog registra las canalizaciones como entradas con los siguientes valores de entrada:

Grupo de entradas del sistema

El grupo de entradas del sistema para canalizaciones es @dataform. Para ver los detalles de las entradas de canalización en Knowledge Catalog, debes ver el grupo de entradas del sistema dataform. Para obtener instrucciones sobre cómo ver una lista de todas las entradas de un grupo de entradas, consulta Ver detalles de un grupo de entradas en la documentación de Knowledge Catalog.

Tipo de entrada del sistema

El tipo de entrada del sistema para canalizaciones es dataform-code-asset. Para ver los detalles de las canalizaciones,debes ver el tipo de entrada del sistema dataform-code-asset, filtrar los resultados con un filtro basado en aspectos, y establecer el campo type dentro del aspecto dataform-code-asset en WORKFLOW. Luego, selecciona una entrada de la canalización seleccionada. Para obtener instrucciones sobre cómo ver los detalles de un tipo de entrada seleccionado, consulta Ver detalles de un tipo de entrada en la documentación de Knowledge Catalog. Para obtener instrucciones sobre cómo ver los detalles de una entrada seleccionada, consulta Ver detalles de una entrada en la documentación de Knowledge Catalog.

Tipo de aspecto del sistema

El tipo de aspecto del sistema para canalizaciones es dataform-code-asset. Para proporcionar contexto adicional a las canalizaciones en Knowledge Catalog mediante la anotación de entradas de canalización de datos con aspectos, consulta el tipo de aspecto dataform-code-asset, filtra los resultados con un filtro basado en aspectos y establece el campo type dentro del aspecto dataform-code-asset en WORKFLOW. Para obtener instrucciones sobre cómo anotar entradas con aspectos, consulta Administra aspectos y enriquece metadatos en la documentación de Knowledge Catalog.

Tipo

El tipo para los lienzos de datos es WORKFLOW. Este tipo te permite filtrar canalizaciones en el dataform-code-asset tipo de entrada del sistema y el dataform-code-asset tipo de aspecto con la aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW consulta en un filtro basado en aspectos.

Para obtener instrucciones sobre cómo buscar recursos en Knowledge Catalog, consulta Busca recursos de datos en Knowledge Catalog en la documentación de Knowledge Catalog.

Enriquecimiento de metadatos y calidad de los datos

Vista previa

Esta función está sujeta a las "Condiciones de la oferta previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles "tal como están" y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Nota: Para proporcionar comentarios o solicitar asistencia para esta función, envía un correo electrónico a [e-mail].

Dataform puede publicar los siguientes metadatos en Knowledge Catalog:

• Tipo de aspecto de descripción general
• Tipo de aspecto genérico
• Tipo de aspecto de cuadro de evaluación de la calidad de los datos

Las aserciones de Dataform se integran automáticamente con el cuadro de evaluación de la calidad de los datos de Knowledge Catalog. Durante la ejecución de la canalización, los resultados de las aserciones de Dataform se publican automáticamente en Knowledge Catalog. Estos resultados propagan el cuadro de evaluación de la calidad de los datos de Knowledge Catalog con un estado de aprobado o reprobado.

Nota: Cada ejecución reemplaza los cuadros de evaluación de la calidad de los datos existentes publicados por ejecuciones anteriores de Dataform, pero no afecta los cuadros de evaluación creados por análisis de datos de Knowledge Catalog.

Para verificar el estado de una actualización de metadatos, sigue las instrucciones en Ver ejecuciones manuales anteriores.

Una vez que se sincronizan los metadatos, puedes buscar y ver la entrada en Knowledge Catalog. Para obtener más información, consulta Busca recursos.

¿Qué sigue?

• Obtén más información sobre las canalizaciones de BigQuery.
• Aprende a crear canalizaciones.
• Aprende a programar canalizaciones.