Introducción a las canalizaciones de BigQuery

Puedes usar las canalizaciones de BigQuery para automatizar y optimizar tus procesos de datos de BigQuery. Con las canalizaciones, puedes programar y ejecutar elementos de código en secuencia para mejorar la eficiencia y reducir el esfuerzo manual.

Descripción general

Las canalizaciones están potenciadas por Dataform. Además de ejecutar elementos de código, Dataform actualiza automáticamente los metadatos en Knowledge Catalog para las tablas creadas dentro de una canalización.

Una canalización consta de uno o más de los siguientes elementos de código:

Puedes usar canalizaciones para programar la ejecución de elementos de código. Por ejemplo, puedes programar una consulta en SQL para que se ejecute a diario y actualice una tabla con los datos de origen más recientes, que luego pueden alimentar un panel.

En una canalización con varios elementos de código, defines la secuencia de ejecución. Por ejemplo, para entrenar un modelo de aprendizaje automático, puedes crear un flujo de trabajo en el que una consulta en SQL prepare los datos y, luego, un notebook posterior entrene el modelo con esos datos.

Cuando activas una ejecución de canalización, BigQuery ejecuta las acciones en el orden definido por sus dependencias. Para cada acción, BigQuery realiza los siguientes pasos:

  1. Ejecuta el SQL compilado en BigQuery.
  2. Actualiza el estado de la acción en el registro de ejecución.
  3. Cuando se completa correctamente una acción, Dataform inicia automáticamente una sincronización de metadatos con Knowledge Catalog (vista previa). Este proceso de enriquecimiento actualiza Knowledge Catalog con los metadatos semánticos definidos en tu configuración de SQLX. La sincronización se realiza de forma asíncrona y utiliza un mecanismo de reintento, lo que garantiza que las actualizaciones de metadatos no afecten la latencia de la canalización ni provoquen fallas en el flujo de trabajo si la API de Dataplex no está disponible de forma temporal.

Funciones

Puedes hacer lo siguiente en una canalización:

Limitaciones

Las canalizaciones están sujetas a las siguientes limitaciones:

  • Las canalizaciones solo están disponibles en la Google Cloud consola de.
  • No puedes cambiar la región para almacenar una canalización después de crearla.
  • Puedes otorgar a los usuarios o grupos acceso a una canalización seleccionada, pero no puedes otorgarles acceso a tareas individuales dentro de la canalización.
  • Si una ejecución de canalización programada no finaliza antes del inicio de la siguiente ejecución programada, se omite la siguiente ejecución programada y se marca con un error.

Configura la región predeterminada para los elementos de código

Todos los elementos de código nuevos de tu Google Cloud proyecto usan una región predeterminada. Después de crear el recurso, no puedes cambiar su región.

Para configurar la región predeterminada de los elementos de código nuevos, haz lo siguiente:

  1. Ve a la página de BigQuery.

    Ir a BigQuery

  2. En el panel izquierdo, haz clic en Archivos para abrir el navegador de archivos:

    Haz clic en **Archivos** para abrir el navegador de archivos.

  3. Junto al nombre del proyecto, haz clic en Ver acciones del panel de archivos > Cambiar región de código.

  4. Selecciona la región de código que deseas usar como predeterminada.

  5. Haz clic en Guardar.

Para obtener una lista de las regiones compatibles, consulta Ubicaciones de BigQuery Studio.

Todos los elementos de código se almacenan en tu región predeterminada para los elementos de código. La actualización de la región predeterminada cambia la región de todos los elementos de código creados después de ese punto.

Cuotas y límites

Las canalizaciones de BigQuery están sujetas a las cuotas y los límites de Dataform.

Precios

La ejecución de tareas de canalización de BigQuery genera cargos de procesamiento y almacenamiento en BigQuery. Si deseas obtener más información, consulta los Precios de BigQuery.

Las canalizaciones que contienen notebooks generan cargos de tiempo de ejecución de Colab Enterprise según el tipo de máquina predeterminado. Para obtener detalles sobre los precios, consulta Precios de Colab Enterprise.

Cada ejecución de canalización de BigQuery se registra con Cloud Logging. El registro se habilita automáticamente para las ejecuciones de canalizaciones de BigQuery, lo que puede generar cargos de facturación de Cloud Logging. Para obtener más información, consulta Precios de Cloud Logging.

¿Qué sigue?