Programa canalizaciones

En este documento, se describe cómo programar canalizaciones de BigQuery, incluida la programación de canalizaciones y la inspección de ejecuciones de canalizaciones programadas.

Las canalizaciones se basan en Dataform. Cada programa de canalización se ejecuta con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio personalizada que seleccionas cuando configuras el programa.

Los cambios que realices en una canalización se guardarán automáticamente, pero solo estarán disponibles para ti y para los usuarios a los que se les otorgue el rol de administrador de Dataform en el proyecto. Para actualizar el programa con una versión nueva de la canalización, debes implementar la canalización. La implementación actualiza el programa para que use la versión actual de la canalización. Las programaciones siempre ejecutan la versión implementada más reciente.

Los programas de las canalizaciones que contienen notebooks usan una especificación de entorno de ejecución predeterminada. Durante una ejecución programada de una canalización que contiene notebooks, BigQuery escribe el resultado del notebook en el bucket de Cloud Storage seleccionado durante la creación de la programación.

Antes de comenzar

Antes de comenzar, crea una canalización.

Habilita la programación de canalizaciones

Para programar canalizaciones, debes otorgar el siguiente rol a las cuentas de servicio personalizadas que planeas usar en las programaciones de canalizaciones:

Usuario de cuenta de servicio (roles/iam.serviceAccountUser)

Sigue los pasos de Otorga un solo rol en una cuenta de servicio para agregar tu cuenta de servicio como principal a sí misma. En otras palabras, agrega la cuenta de servicio como principal a la misma cuenta de servicio. Luego, otorga el rol de usuario de cuenta de servicio a esta principal.

Si tu canalización contiene consultas en SQL, debes otorgar los siguientes roles a las cuentas de servicio personalizadas o a las Cuentas de Google que planeas usar para los programas de canalización:

Usuario de trabajo de BigQuery (roles/bigquery.jobUser)

Sigue los pasos de Cómo otorgar un solo rol en un proyecto para otorgar el rol de usuario de BigQuery Job a las cuentas de servicio personalizadas o las Cuentas de Google en los proyectos de los que tus canalizaciones leen datos.

Visualizador de datos de BigQuery (roles/bigquery.dataViewer)

Sigue los pasos de Cómo otorgar un solo rol en un proyecto para otorgar el rol de visualizador de datos de BigQuery a las cuentas de servicio personalizadas o a las Cuentas de Google en los proyectos desde los que tus canalizaciones leen datos.

Editor de datos de BigQuery (roles/bigquery.dataEditor)

Sigue los pasos de Cómo otorgar un solo rol en un proyecto para otorgar el rol de editor de datos de BigQuery a las cuentas de servicio personalizadas o a las Cuentas de Google en los proyectos en los que tus canalizaciones escriben datos.

Si tu canalización contiene notebooks, debes otorgar los siguientes roles a las cuentas de servicio personalizadas o las Cuentas de Google que planeas usar para las programaciones de canalizaciones:

Usuario del ejecutor de notebooks (roles/aiplatform.notebookExecutorUser)

Sigue los pasos de Cómo otorgar un solo rol en un proyecto para otorgar el rol de usuario de ejecutor de notebooks a las cuentas de servicio personalizadas o a las Cuentas de Google en el proyecto seleccionado.

Administrador de almacenamiento (roles/storage.admin)

Sigue las instrucciones de Agrega una principal a una política a nivel de bucket para agregar las cuentas de servicio personalizadas o las Cuentas de Google como principales al bucket de Cloud Storage que planeas usar para almacenar el resultado de los notebooks ejecutados en ejecuciones de canalización programadas y, luego, otorga el rol de administrador de almacenamiento a estas principales.

Además, debes otorgar los siguientes roles al agente de servicio predeterminado de Dataform:

Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator)

Sigue los pasos de Otorga acceso de creación de tokens a una cuenta de servicio para agregar el agente de servicio predeterminado de Dataform como principal a tu cuenta de servicio y otorgar el rol de creador de tokens de cuentas de servicio a esta principal.

Usuario de cuenta de servicio (roles/iam.serviceAccountUser)

Sigue las instrucciones para otorgar o revocar varios roles de IAM con la Google Cloud consola y otorgar el rol de usuario de cuenta de servicio al agente de servicio predeterminado de Dataform en la cuenta de servicio personalizada.

Para habilitar el enriquecimiento de metadatos en Knowledge Catalog, debes habilitar la API de Dataplex. Además, debes otorgar el siguiente rol en el proyecto o en el grupo de entradas @bigquery a las cuentas de servicio personalizadas o a las Cuentas de Google que planeas usar para las programaciones de canalizaciones:

Rol de editor del catálogo de Dataplex (roles/dataplex.catalogEditor)

Sigue los pasos de Otorga un solo rol en un proyecto para otorgar el rol de editor del catálogo de Dataplex a las cuentas de servicio personalizadas o a las Cuentas de Google en el proyecto o el grupo de entradas de @bigquery.

Para obtener más información sobre las cuentas de servicio en Dataform, consulta Acerca de las cuentas de servicio en Dataform.

Requisitos de los Controles del servicio de VPC

Si usas los Controles del servicio de VPC para proteger tus canalizaciones, debes tener en cuenta que Dataform potencia las ejecuciones programadas. Cuando configures los Controles del servicio de VPC para las ejecuciones programadas, asegúrate de que se cumplan los siguientes requisitos:

• Debes configurar el servicio de políticas de la organización de dataform.restrictGitRemotes.
• Dataform y BigQuery deben estar restringidos por el mismo perímetro de servicio de los Controles del servicio de VPC.
• Para permitir que los usuarios se autentiquen con las credenciales de usuario de su Cuenta de Google cuando programen o activen ejecuciones de forma manual, debes agregar sus identidades de usuario a tus reglas de entrada. Para obtener más información, consulta Actualiza las políticas de entrada y salida de un perímetro de servicio y Referencia de las reglas de entrada.

Para conocer los pasos de configuración detallados y las consideraciones de seguridad, consulta Configura los Controles del servicio de VPC para Dataform.

Roles obligatorios

Para obtener los permisos que necesitas para administrar canalizaciones, pídele a tu administrador que te otorgue los siguientes roles de IAM:

• Consulta y administra las agendas:
  • Administrador de Dataform (roles/dataform.admin) en la canalización
  • Editor de Dataform (roles/dataform.editor) en el proyecto
• Visualiza y ejecuta canalizaciones:
  • Visualizador de Dataform (roles/dataform.viewer) en el proyecto
  • Usuario de trabajo de BigQuery (roles/bigquery.jobUser) en el proyecto
• Ejecutar un programa de canalización con credenciales de usuario para una Cuenta de Google: Usuario de trabajo de BigQuery (roles/bigquery.jobUser) en el proyecto
• Ejecuta un programa de canalización con una cuenta de servicio personalizada: Usuario de cuenta de servicio (roles/iam.serviceAccountUser) en la cuenta de servicio personalizada
• Administra las programaciones de canalizaciones en las carpetas de los usuarios:
  • Propietario del código (roles/dataform.codeOwner) en la carpeta
  • Editor de código (roles/dataform.codeEditor) en la carpeta
• Administra las programaciones de canalizaciones en las carpetas de equipo:
  • Propietario de la carpeta de equipo (roles/dataform.teamFolderOwner) en la carpeta de equipo
  • Colaborador de carpetas de equipo (roles/dataform.teamFolderContributor) en la carpeta de equipo
• Administra canalizaciones en repositorios de Git: Usuario de OAuth de Developer Connect (roles/developerconnect.oauthUser) en el proyecto
• Habilita el enriquecimiento de metadatos: Editor de Dataplex Catalog (roles/dataplex.catalogEditor) en el proyecto o grupo de entradas de @bigquery

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Para mejorar la seguridad de la programación, consulta Implementa permisos de programación mejorados.

Para obtener más información sobre la IAM de Dataform, consulta Controla el acceso con la IAM.

Para obtener más información sobre los roles de las carpetas, consulta Crea y administra carpetas.

Para obtener más información sobre los roles de los repositorios de Git, consulta Administra código con repositorios de Git de BigQuery Studio.

Para usar las plantillas de entorno de ejecución de notebooks de Colab cuando programes canalizaciones, necesitas el rol de usuario del entorno de ejecución de notebooks (roles/aiplatform.notebookRuntimeUser).

Crea un programa de canalización

También puedes usar la página Canalizaciones y conexiones para programar una canalización de Dataform con un flujo de trabajo optimizado específico de BigQuery. Esta función está en vista previa.

Nota: En el caso de las canalizaciones almacenadas en carpetas de Git de BigQuery Studio, la programación se administra a través de las implementaciones de Dataform.

Para crear un programa de canalización, sigue estos pasos:

Panel Archivos

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel izquierdo, haz clic en Archivos para abrir el navegador de archivos.

   Si no ves el panel izquierdo, haz clic en Expandir panel izquierdo para abrirlo.

3. En el panel Archivos, expande la carpeta Usuario o una Carpeta de equipo y, luego, selecciona una canalización.

4. En la barra de herramientas de Pipeline Viewer, haz clic en Programar o Activar.

5. En el panel Programar canalización, en el campo Nombre de la programación, ingresa un nombre para la programación.

6. En la sección Autenticación, autoriza la canalización con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.

   • Para usar las credenciales de usuario de tu Cuenta de Google (versión preliminar), selecciona Ejecutar con mis credenciales de usuario.

     Opcional: En la sección Opciones de acceso extendido, selecciona los servicios adicionales que requiere tu canalización:

     • Knowledge Catalog: Permite actualizaciones de metadatos de Google Cloud Knowledge Catalog.
     • Google Drive: Permite el acceso de solo lectura a los archivos de Google Drive.
     • Bigtable: Permite el acceso de solo lectura a los datos de Google Bigtable.

   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, elige una cuenta de servicio.

7. Si tu canalización contiene un notebook, en la sección Opciones de notebook, en el campo Plantilla de entorno de ejecución, selecciona una plantilla de entorno de ejecución de notebook de Colaboratory o las especificaciones de entorno de ejecución predeterminadas. Para obtener detalles sobre cómo crear una plantilla de entorno de ejecución de notebook de Colab, consulta Crea una plantilla de entorno de ejecución.

   Nota: Una plantilla de entorno de ejecución de notebook debe estar en la misma región que la canalización.
   Nota: Si no tienes el rol requerido para usar plantillas de entorno de ejecución de notebooks de Colab, puedes ejecutar y programar canalizaciones con las especificaciones de entorno de ejecución predeterminadas.

8. Si tu canalización contiene un notebook, en la sección Opciones de notebook, en el campo Bucket de Cloud Storage, haz clic en Explorar y selecciona o crea un bucket de Cloud Storage para almacenar el resultado de los notebooks en tu canalización.

   A la cuenta de servicio que seleccionaste se le debe otorgar el rol de IAM de administrador de almacenamiento en el bucket seleccionado. Para obtener más información, consulta Habilita la programación de canalizaciones.

9. En Tipo de configuración, selecciona Programación (recurrencia basada en el tiempo).

10. En Frecuencia de programación, haz lo siguiente:

    1. En el menú Repeticiones, selecciona la frecuencia de las ejecuciones de canalización programadas.
    2. En el campo A la hora, ingresa la hora de las ejecuciones de canalización programadas.
    3. En el menú Zona horaria, selecciona la zona horaria de la programación.

11. Establece la prioridad del trabajo de consulta de BigQuery con la opción Ejecutar como trabajo interactivo con alta prioridad (predeterminada). De forma predeterminada, BigQuery ejecuta las consultas como trabajos de consulta interactivos, que están diseñados para comenzar a ejecutarse lo más rápido posible. Si desmarcas esta opción, las consultas se ejecutarán como trabajos de consulta por lotes, que tienen una prioridad más baja.

12. Haz clic en Crear programación. Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google (versión preliminar).

Cuando creas el programa, la versión actual de la canalización se implementa automáticamente. Para actualizar el programa con una versión nueva de la canalización, implementa la canalización.

La versión implementada más reciente de la canalización se ejecuta en la hora y la frecuencia seleccionadas.

Nota: Si una ejecución de canalización programada no finaliza antes del inicio de la siguiente ejecución programada, esta se omite y se marca con un error.

Panel Explorador

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorar.

   

   Si no ves el panel izquierdo, haz clic en Expandir panel izquierdo para abrirlo.

3. En el panel Explorador, expande tu proyecto, haz clic en Canalizaciones y, luego, selecciona una canalización.

4. Haga clic en Programar (Schedule).

5. En el panel Programar canalización, en el campo Nombre de la programación, ingresa un nombre para la programación.

6. En la sección Autenticación, autoriza la canalización con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.

   • Para usar las credenciales de usuario de tu Cuenta de Google, selecciona Ejecutar con mis credenciales de usuario.

     Opcional: En la sección Opciones de acceso extendido, selecciona los servicios adicionales que requiere tu canalización:

     • Knowledge Catalog: Permite actualizaciones de metadatos de Google Cloud Knowledge Catalog.
     • Google Drive: Permite el acceso de solo lectura a los archivos de Google Drive.
     • Bigtable: Permite el acceso de solo lectura a los datos de Google Bigtable.

   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, elige una cuenta de servicio.

7. Si tu canalización contiene un notebook, en la sección Opciones de notebook, en el campo Plantilla de entorno de ejecución, selecciona una plantilla de entorno de ejecución de notebook de Colaboratory o las especificaciones de entorno de ejecución predeterminadas. Para obtener detalles sobre cómo crear una plantilla de entorno de ejecución de notebook de Colab, consulta Crea una plantilla de entorno de ejecución.

   Nota: Una plantilla de entorno de ejecución de notebook debe estar en la misma región que la canalización.
   Nota: Si no tienes el rol requerido para usar plantillas de entorno de ejecución de notebooks de Colab, puedes ejecutar y programar canalizaciones con las especificaciones de entorno de ejecución predeterminadas.

8. Si tu canalización contiene un notebook, en la sección Opciones de notebook, en el campo Bucket de Cloud Storage, haz clic en Explorar y selecciona o crea un bucket de Cloud Storage para almacenar el resultado de los notebooks en tu canalización.

   A la cuenta de servicio que seleccionaste se le debe otorgar el rol de IAM de administrador de almacenamiento en el bucket seleccionado. Para obtener más información, consulta Habilita la programación de canalizaciones.

9. En Tipo de configuración, selecciona Programación (recurrencia basada en el tiempo).

10. En Frecuencia de programación, haz lo siguiente:

    1. En el menú Repeticiones, selecciona la frecuencia de las ejecuciones de canalización programadas.
    2. En el campo A la hora, ingresa la hora de las ejecuciones de canalización programadas.
    3. En el menú Zona horaria, selecciona la zona horaria de la programación.

11. Establece la prioridad del trabajo de consulta de BigQuery con la opción Ejecutar como trabajo interactivo con alta prioridad (predeterminada). De forma predeterminada, BigQuery ejecuta las consultas como trabajos de consulta interactivos, que están diseñados para comenzar a ejecutarse lo más rápido posible. Si desmarcas esta opción, las consultas se ejecutarán como trabajos de consulta por lotes, que tienen una prioridad más baja.

12. Haz clic en Crear programación. Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google.

Cuando creas el programa, la versión actual de la canalización se implementa automáticamente. Para actualizar el programa con una versión nueva de la canalización, implementa la canalización.

La versión implementada más reciente de la canalización se ejecuta en la hora y la frecuencia seleccionadas.

Nota: Si una ejecución de canalización programada no finaliza antes del inicio de la siguiente ejecución programada, esta se omite y se marca con un error.

Página Programación

1. En la consola de Google Cloud , ve a la página Programación.

   Ir a Programación

2. Haz clic en Crear y, luego, selecciona Programa de canalización en el menú.

3. En el panel Programar canalización, selecciona una canalización para programar.

4. En el campo Nombre de la programación, ingresa un nombre para la programación.

5. En la sección Autenticación, autoriza la canalización con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.

   • Para usar las credenciales de usuario de tu Cuenta de Google, selecciona Ejecutar con mis credenciales de usuario.

     Opcional: En la sección Opciones de acceso extendido, selecciona los servicios adicionales que requiere tu canalización:

     • Knowledge Catalog: Permite actualizaciones de metadatos de Google Cloud Knowledge Catalog.
     • Google Drive: Permite el acceso de solo lectura a los archivos de Google Drive.
     • Bigtable: Permite el acceso de solo lectura a los datos de Google Bigtable.

   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, elige una cuenta de servicio.

6. Si tu canalización contiene un notebook, en la sección Opciones de notebook, en el campo Plantilla de entorno de ejecución, selecciona una plantilla de entorno de ejecución de notebook de Colab o las especificaciones de entorno de ejecución predeterminadas. Para obtener detalles sobre cómo crear una plantilla de entorno de ejecución de notebook de Colab, consulta Crea una plantilla de entorno de ejecución.

   Nota: Una plantilla de entorno de ejecución de notebook debe estar en la misma región que la canalización.
   Nota: Si no tienes el rol requerido para usar plantillas de entorno de ejecución de notebooks de Colab, puedes ejecutar y programar canalizaciones con las especificaciones de entorno de ejecución predeterminadas.

7. Si tu canalización contiene un notebook, en el campo Bucket de Cloud Storage, haz clic en Explorar y selecciona o crea un bucket de Cloud Storage para almacenar el resultado de los notebooks en tu canalización.

   A la cuenta de servicio que seleccionaste se le debe otorgar el rol de IAM de administrador de almacenamiento en el bucket seleccionado. Para obtener más información, consulta Habilita la programación de canalizaciones.

8. En Tipo de configuración, selecciona Programación (recurrencia basada en el tiempo).

9. En Frecuencia de programación, haz lo siguiente:

   1. En el menú Repeticiones, selecciona la frecuencia de las ejecuciones de canalización programadas.
   2. En el campo A la hora, ingresa la hora de las ejecuciones de canalización programadas.
   3. En el menú Zona horaria, selecciona la zona horaria de la programación.

10. Establece la prioridad del trabajo de consulta de BigQuery con la opción Ejecutar como trabajo interactivo con alta prioridad (predeterminada). De forma predeterminada, BigQuery ejecuta las consultas como trabajos de consulta interactivos, que están diseñados para comenzar a ejecutarse lo más rápido posible. Si desmarcas esta opción, las consultas se ejecutarán como trabajos de consulta por lotes, que tienen una prioridad más baja.

11. Haz clic en Crear programación. Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google.

Nota: Si una ejecución de canalización programada no finaliza antes del inicio de la siguiente ejecución programada, esta se omite y se marca con un error.

Autoriza tu Cuenta de Google

Para autenticar el recurso con las credenciales de usuario de tu Cuenta de Google, debes otorgar permiso de forma manual para que las canalizaciones de BigQuery obtengan el token de acceso de tu Cuenta de Google y accedan a los datos de origen en tu nombre. Puedes otorgar la aprobación manual con la interfaz del diálogo de OAuth. Si seleccionas alguna opción de acceso extendido, debes otorgar acceso a esos servicios, por ejemplo, Google Drive o Knowledge Catalog.

Nota: Las políticas de acceso adaptado al contexto (CAA), incluidas las políticas de cumplimiento basadas en IP, ubicación geográfica y dispositivos, no se admiten cuando se ejecutan o programan canalizaciones de BigQuery con credenciales de usuario para una Cuenta de Google, ya que las solicitudes de tokens se originan en la infraestructura de Google. Las políticas de CAA bloquean estas ejecuciones, a menos que el ID de cliente de OAuth de Dataform esté exento de las políticas.

Solo debes otorgar permiso a las canalizaciones de BigQuery una vez.

Para revocar el permiso que otorgaste, sigue estos pasos:

1. Ve a la página de tu Cuenta de Google.
2. Haz clic en Canalizaciones de BigQuery.
3. Haga clic en Quitar acceso.

Advertencia: Si revocas los permisos de acceso, se evitarán las ejecuciones futuras de la canalización que pertenezcan a esta Cuenta de Google en todas las regiones.

Cambiar el propietario del programa de la canalización mediante la actualización de las credenciales también requiere aprobación manual si el nuevo propietario de la Cuenta de Google nunca antes creó un programa.

Si tu canalización contiene un notebook, también debes otorgar permiso de forma manual para que Colab Enterprise obtenga el token de acceso de tu Cuenta de Google y acceda a los datos de origen en tu nombre. Solo debes otorgar el permiso una vez. Puedes revocar este permiso en la página de la Cuenta de Google.

Programación basada en activadores

Vista previa

Esta función está sujeta a las "Condiciones de la oferta previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles “sin modificaciones” y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Nota: Para obtener asistencia o enviar comentarios sobre esta función, comunícate con [e-mail].

Puedes configurar las canalizaciones de BigQuery para que activen ejecuciones de forma automática en función de las actualizaciones de las tablas de BigQuery especificadas. Puedes crear programas basados en activadores para automatizar las ejecuciones de canalizaciones en respuesta a los cambios en tus datos de BigQuery, en lugar de un programa fijo.

Cuando la canalización detecta cambios en la tabla o las tablas especificadas, activa una nueva ejecución del flujo de trabajo asociado. Puedes definir condiciones basadas en actualizaciones de una sola tabla, de todo un conjunto de tablas o de cualquiera de un conjunto de tablas.

También puedes ajustar la configuración opcional de tus programas basados en activadores para controlar el intervalo mínimo entre los activadores de canalización. Por ejemplo, ajusta el valor de Duración mínima de la ejecución para asegurarte de que los programas basados en activadores no se activen con más frecuencia de la prevista. También puedes ajustar el valor de Duración máxima de espera para asegurarte de que la programación basada en activadores se vea obligada a activarse una vez dentro de esa duración, incluso si no se detectaron actualizaciones de la tabla.

Limitaciones

Las programaciones basadas en activadores están sujetas a las siguientes limitaciones:

• Las programaciones basadas en activadores no son instantáneas. Cuando configuras un programa basado en activadores, la canalización verifica el estado de la tabla de BigQuery aproximadamente una vez cada 3 minutos. Este período se denomina intervalo de sondeo y puede provocar un retraso entre la modificación de una tabla y la activación del activador.
• Cada tabla supervisada genera llamadas a la API de BigQuery durante cada intervalo de sondeo. Supervisar una gran cantidad de tablas puede contribuir al consumo de la cuota de la API de BigQuery.

Crear un activador

Para crear un activador, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. Abre tu canalización en el visualizador de canalizaciones con una de las siguientes opciones:

   • En el panel izquierdo, haz clic en Archivos, expande tu carpeta Usuario o una Carpeta de equipo y, luego, selecciona una canalización.
   • En el panel izquierdo, haz clic en Explorador, expande tu proyecto, haz clic en Canalizaciones y, luego, selecciona una canalización.

3. En la barra de herramientas del visualizador de canalizaciones, haz clic en Activador.

4. En el campo Activador, ingresa un nombre para el activador.

5. En la sección Autenticación, autoriza la canalización con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.

   • Para usar las credenciales de usuario de tu Cuenta de Google, selecciona Ejecutar con mis credenciales de usuario.

     Opcional: En la sección Opciones de acceso extendido, selecciona los servicios adicionales que requiere tu canalización:

     • Knowledge Catalog: Permite actualizaciones de metadatos de Google Cloud Knowledge Catalog.
     • Google Drive: Permite el acceso de solo lectura a los archivos de Google Drive.
     • Bigtable: Permite el acceso de solo lectura a los datos de Google Bigtable.

   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, elige una cuenta de servicio.

6. Si tu canalización contiene un notebook, en la sección Opciones de notebook, en el campo Plantilla de entorno de ejecución, selecciona una plantilla de entorno de ejecución de notebook de Colaboratory o las especificaciones de entorno de ejecución predeterminadas. Para obtener detalles sobre cómo crear una plantilla de entorno de ejecución de notebook de Colab, consulta Crea una plantilla de entorno de ejecución.

   Nota: Una plantilla de entorno de ejecución de notebook debe estar en la misma región que la canalización.
   Nota: Si no tienes el rol requerido para usar plantillas de entorno de ejecución de notebooks de Colab, puedes ejecutar y programar canalizaciones con las especificaciones de entorno de ejecución predeterminadas.

7. Si tu canalización contiene un notebook, en la sección Opciones de notebook, en el campo Bucket de Cloud Storage, haz clic en Explorar y selecciona o crea un bucket de Cloud Storage para almacenar el resultado de los notebooks en tu canalización.

   A la cuenta de servicio que seleccionaste se le debe otorgar el rol de IAM de administrador de almacenamiento en el bucket seleccionado. Para obtener más información, consulta Habilita la programación de canalizaciones.

8. En Tipo de configuración, selecciona Activador (ejecución basada en eventos).

9. En el campo Buscar tablas, agrega una o más tablas que se supervisarán para el activador.

10. En Condición de activación, selecciona una de las siguientes opciones:

    • Esperar a que se actualicen TODAS las tablas: Activa el flujo de trabajo solo cuando se hayan actualizado todas las tablas de la lista desde la última verificación.
    • Activar si se actualiza CUALQUIER tabla: Activa este flujo de trabajo si alguna de las tablas de la lista se actualiza desde la última verificación.

11. En Duración máxima de espera, ingresa una duración para forzar la activación de un activador si no se detectan actualizaciones de la tabla dentro de esta duración (opcional). Admite valores admitidos entre 1 segundo y 7 días. Si no se especifica, el flujo de trabajo solo se ejecutará si se actualiza la tabla supervisada y se cumple la duración mínima de la ejecución.

12. (Opcional) En Duración mínima de la ejecución, selecciona una duración para evitar que los activadores se activen con más frecuencia que esta duración mínima. Admite valores entre 3 minutos y 24 horas. Si no se especifica, el valor predeterminado es de 3 minutos.

13. Haz clic en Crear programación. Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google.

Soluciona problemas de programas basados en activadores

En esta sección, se describen los problemas habituales con los programas basados en activadores y cómo resolverlos.

Problema: El activador no se activa

Resolución: Prueba uno de los siguientes pasos:

• Verifica que las credenciales de usuario o la cuenta de servicio tengan todos los permisos necesarios.
• Verifica que se esté modificando la tabla de BigQuery especificada.
• Verifica que el activador no se vea afectado por el intervalo de sondeo.
• Verifica si la duración mínima de la ejecución o el valor de Duración mínima de la ejecución impiden que se realicen ejecuciones más frecuentes. Puedes disminuir este valor para aumentar la frecuencia de la activación del activador.
• Verifica si la opción de condición del activador (TODAS o CUALQUIERA) afecta la activación del activador.
• Examina los registros de auditoría para verificar si hay errores cuando Dataform intenta llamar a la API de BigQuery para verificar el estado de la tabla supervisada.

Problema: El activador se activa con demasiada frecuencia

Resolución: Ajusta la duración mínima de la ejecución o el valor de Duración mínima de la ejecución. Puedes aumentar este valor para disminuir la frecuencia de activación del activador.

Implementa una canalización

Cuando se implementa una canalización, se actualiza su programa o configuración de organización con la versión actual de la canalización. Las ejecuciones programadas siempre ejecutan la versión implementada más reciente de la canalización.

Implementa canalizaciones almacenadas en carpetas

Para implementar canalizaciones independientes y canalizaciones almacenadas en carpetas, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. Abre tu canalización en el Visualizador de canalizaciones con una de las siguientes opciones:

   • En el panel izquierdo, haz clic en Archivos, expande tu carpeta Usuario o una Carpeta de equipo y, luego, selecciona una canalización.
   • En el panel izquierdo, haz clic en Explorador, expande tu proyecto, haz clic en Canalizaciones y, luego, selecciona una canalización.

3. En la barra de herramientas del Visualizador de canalizaciones, haz clic en Implementar.

La programación correspondiente se actualiza con la versión actual de la canalización. La versión implementada más reciente de la canalización se ejecuta a la hora programada.

Implementa canalizaciones almacenadas en repositorios de Git

Vista previa

Esta función está sujeta a las "Condiciones de la oferta previa a la DG" en la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de la fase previa a la DG están disponibles “sin modificaciones” y pueden tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Las canalizaciones almacenadas en carpetas de Git usan las implementaciones de Dataform para la organización y la programación. Las implementaciones te permiten establecer parámetros de configuración de lanzamientos y de flujos de trabajo, anulaciones de compilación y organización de varios entornos.

Para implementar una canalización almacenada en un repositorio de Git, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel izquierdo, haz clic en Archivos.

3. En el árbol de archivos, expande la carpeta del repositorio de Git conectado y selecciona una canalización o haz clic en la carpeta del repositorio de Git si se trata de una canalización de nivel raíz.

4. En la barra de herramientas del Visualizador de canalizaciones, haz clic en Implementar.

5. En el diálogo de implementación, establece los parámetros de configuración de la versión, del flujo de trabajo y de la ejecución.

6. Haz clic en Implementar.

Para obtener más información sobre cómo configurar implementaciones, parámetros de configuración de versiones y parámetros de configuración de flujos de trabajo, consulta Implementaciones de Dataform.

Inhabilita un programa

Para pausar las ejecuciones programadas de una canalización seleccionada sin borrar el programa, puedes inhabilitarlo.

Para inhabilitar un programa para una canalización seleccionada, sigue estos pasos:

Panel Archivos

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel izquierdo, haz clic en Archivos.

3. En el panel Archivos, expande la carpeta Usuario o una Carpeta de equipo y, luego, selecciona una canalización.

4. En la barra de herramientas del visualizador de canalizaciones, haz clic en Ver activador.

5. En la tabla Detalles de la programación, en la fila Estado de la programación, haz clic en el botón de activación La programación está habilitada.

Panel Explorador

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorar.

   

3. En el panel Explorador, expande tu proyecto, haz clic en Canalizaciones y, luego, selecciona una canalización.

4. Haz clic en Ver activador.

5. En la tabla Detalles de la programación, en la fila Estado de la programación, haz clic en el botón de activación La programación está habilitada.

Página Programación

1. En la consola de Google Cloud , ve a la página Programación.

   Ir a Programación

2. Haz clic en el nombre de la canalización seleccionada.

3. En la página Detalles de la programación, haz clic en Inhabilitar.

Habilita un programa

Para reanudar las ejecuciones programadas de un programa de canalización inhabilitado, sigue estos pasos:

Panel Archivos

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel izquierdo, haz clic en Archivos.

3. En el panel Archivos, expande la carpeta Usuario o una Carpeta de equipo y, luego, selecciona una canalización.

4. En la barra de herramientas del Visualizador de canalizaciones, haz clic en Ver activador.

5. En la tabla Detalles de la programación, en la fila Estado de la programación, haz clic en el botón de activación La programación está inhabilitada.

Panel Explorador

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorar.

   

3. En el panel Explorador, expande tu proyecto, haz clic en Canalizaciones y, luego, selecciona una canalización.

4. Haz clic en Ver activador.

5. En la tabla Detalles de la programación, en la fila Estado de la programación, haz clic en el botón de activación La programación está inhabilitada.

Página Programación

1. En la consola de Google Cloud , ve a la página Programación.

   Ir a Programación

2. Haz clic en el nombre de la canalización seleccionada.

3. En la página Detalles de la programación, haz clic en Habilitar.

Ejecuta de forma manual una canalización implementada

Cuando ejecutas de forma manual una canalización implementada en un programa seleccionado, BigQuery ejecuta la canalización implementada una vez, independientemente del programa.

Para ejecutar de forma manual una canalización implementada, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Programación.

   Ir a Programación

2. Haz clic en el nombre del programa de canalización seleccionado.

3. En la página Detalles de la programación, haz clic en Ejecutar.

Visualiza todos los programas de canalización

Para ver todos los programas de canalización en tu proyecto de Google Cloud , sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Programación.

   Ir a Programación

2. Opcional: Para mostrar columnas adicionales con detalles de la programación de la canalización, haz clic en Opciones de visualización de columnas, selecciona las columnas y haz clic en Aceptar.

Visualiza los detalles de la programación de la canalización

Para ver los detalles de un programa de canalización seleccionado, sigue estos pasos:

Panel Archivos

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel izquierdo, haz clic en Archivos.

3. En el panel Archivos, expande la carpeta Usuario o una Carpeta de equipo y, luego, selecciona una canalización.

4. En la barra de herramientas de Pipeline Viewer, haz clic en Ver activador (o Ver activador).

Panel Explorador

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorar.

   

3. En el panel Explorador, expande tu proyecto, haz clic en Canalizaciones y, luego, selecciona una canalización.

4. Haz clic en Ver activador.

Página Programación

1. En la consola de Google Cloud , ve a la página Programación.

   Ir a Programación

2. Haz clic en el nombre del programa de canalización seleccionado.

Cómo ver las ejecuciones programadas anteriores

Para ver las ejecuciones anteriores de un programa de canalización seleccionado, sigue estos pasos:

Panel Archivos

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel izquierdo, haz clic en Archivos.

3. En el panel Archivos, expande tu carpeta Usuario, una Carpeta de equipo o un repositorio de Git y, luego, selecciona una canalización.

4. En la barra de herramientas de Pipeline Viewer, haz clic en Ejecuciones.

5. Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.

Panel Explorador

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorar.

   

3. En el panel Explorador, expande tu proyecto, haz clic en Canalizaciones y, luego, selecciona una canalización.

4. Haz clic en Ejecuciones.

5. Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.

Página Programación

1. En la consola de Google Cloud , ve a la página Programación.

   Ir a Programación

2. Haz clic en el nombre de la canalización seleccionada.

3. En la página Detalles del programa, en la sección Ejecuciones anteriores, inspecciona las ejecuciones anteriores.

4. Opcional: Para actualizar la lista de ejecuciones anteriores, haz clic en Actualizar.

Edita un programa de canalización

Para editar un programa de canalización, sigue estos pasos:

Panel Archivos

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel izquierdo, haz clic en Archivos.

3. En el panel Archivos, expande la carpeta Usuario o una Carpeta de equipo y, luego, selecciona una canalización.

4. En la barra de herramientas de Pipeline Viewer, haz clic en Ver activador y, luego, en Editar.

5. En el cuadro de diálogo Programar canalización, edita el programa y, luego, haz clic en Actualizar programa.

Panel Explorador

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorar.

   

3. En el panel Explorador, expande tu proyecto, haz clic en Canalizaciones y, luego, selecciona una canalización.

4. Haz clic en Ver activador y, luego, en Editar.

5. En el cuadro de diálogo Programar canalización, edita el programa y, luego, haz clic en Actualizar programa.

Página Programación

1. En la consola de Google Cloud , ve a la página Programación.

   Ir a Programación

2. Haz clic en el nombre de la canalización seleccionada.

3. En la página Detalles de la programación, haz clic en Editar.

4. Haz clic en Ver activador y, luego, en Editar.

5. En el cuadro de diálogo Programar canalización, edita el programa y, luego, haz clic en Actualizar programa.

Borra un programa de canalización

Para borrar de forma permanente un programa de canalización, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Programación.

   Ir a Programación

2. Elige una de las siguientes opciones:

   • Haz clic en el nombre de la programación de canalización seleccionada y, luego, en la página Detalles de la programación, haz clic en Borrar.

   • En la fila que contiene la programación de la canalización seleccionada, haz clic en Ver acciones en la columna Acciones y, luego, en Borrar.

3. En el cuadro de diálogo que aparece, haz clic en Borrar.

¿Qué sigue?

• Obtén más información sobre las canalizaciones en BigQuery.
• Obtén más información para crear canalizaciones.
• Obtén más información para administrar canalizaciones.
• Aprende a administrar código con repositorios de Git de BigQuery Studio.
• Obtén más información para organizar los recursos de código con carpetas.
• Obtén más información sobre las implementaciones de Dataform.