Introducción a las canalizaciones de BigQuery

Puedes usar canalizaciones de BigQuery para automatizar y optimizar tus procesos de datos de BigQuery. Con las canalizaciones, puedes programar y ejecutar recursos de código en secuencia para mejorar la eficiencia y reducir el esfuerzo manual.

Descripción general

Las canalizaciones funcionan con Dataform. Además de ejecutar recursos de código, Dataform actualiza automáticamente los metadatos en Knowledge Catalog para las tablas creadas dentro de una canalización.

Una canalización consta de uno o más de los siguientes recursos de código:

Puedes usar canalizaciones para programar la ejecución de recursos de código. Por ejemplo, puedes programar una consulta en SQL para que se ejecute a diario y actualice una tabla con los datos de origen más recientes, que luego pueden alimentar un panel.

En una canalización con varios recursos de código, defines la secuencia de ejecución. Por ejemplo, para entrenar un modelo de aprendizaje automático, puedes crear un flujo de trabajo en el que una consulta en SQL prepare los datos y, luego, un notebook posterior entrene el modelo con esos datos.

Cuando activas una ejecución de canalización, BigQuery ejecuta las acciones en el orden definido por sus dependencias. Para cada acción, BigQuery realiza los siguientes pasos:

  1. Ejecuta el SQL compilado en BigQuery.
  2. Actualiza el estado de la acción en el registro de ejecución.
  3. Cuando se completa correctamente una acción, Dataform inicia automáticamente una sincronización de metadatos con Knowledge Catalog. Este proceso de enriquecimiento actualiza Knowledge Catalog con los metadatos semánticos definidos en tu configuración de SQLX. La sincronización se realiza de forma asíncrona y utiliza un mecanismo de reintento, lo que garantiza que las actualizaciones de metadatos no afecten la latencia de tu canalización ni provoquen fallas en el flujo de trabajo si la API de Dataplex no está disponible temporalmente.

Funciones

En una canalización, puedes hacer lo siguiente:

Limitaciones

Las canalizaciones están sujetas a las siguientes limitaciones:

  • Las canalizaciones solo están disponibles en la consola de Google Cloud .
  • No puedes cambiar la región para almacenar una canalización después de crearla.
  • Puedes otorgar acceso a usuarios o grupos a un canal seleccionado, pero no puedes otorgarles acceso a tareas individuales dentro del canal.
  • Si una ejecución de canalización programada no finaliza antes del inicio de la siguiente ejecución programada, se omitirá la siguiente ejecución programada y se marcará con un error.

Configura la región predeterminada para los elementos de código

Todos los elementos de código nuevos de tu proyecto Google Cloud usan una región predeterminada. Después de crear el activo, no puedes cambiar su región.

Para establecer la región predeterminada para los elementos de código nuevos, haz lo siguiente:

  1. Ve a la página de BigQuery.

    Ir a BigQuery

  2. En el panel de la izquierda, haz clic en Archivos para abrir el navegador de archivos:

    Haz clic en **Archivos** para abrir el navegador de archivos.

  3. Junto al nombre del proyecto, haz clic en Acciones del panel de archivos > Cambiar región de código.

  4. Selecciona la región de código que quieres usar como predeterminada.

  5. Haz clic en Guardar.

Para obtener una lista de las regiones admitidas, consulta Ubicaciones de BigQuery Studio.

Todos los elementos de código se almacenan en tu región predeterminada para los elementos de código. La actualización de la región predeterminada cambia la región de todos los elementos de código creados después de ese punto.

Cuotas y límites

Las canalizaciones de BigQuery están sujetas a las cuotas y límites de Dataform.

Precios

La ejecución de tareas de canalización de BigQuery genera cargos de procesamiento y almacenamiento en BigQuery. Si deseas obtener más información, consulta los Precios de BigQuery.

Las canalizaciones que contienen notebooks generan cargos de tiempo de ejecución de Colab Enterprise según el tipo de máquina predeterminado. Para obtener detalles sobre los precios, consulta Precios de Colab Enterprise.

Cada ejecución de canalización de BigQuery se registra con Cloud Logging. El registro se habilita automáticamente para las ejecuciones de canalizaciones de BigQuery, lo que puede generar cargos de facturación de Cloud Logging. Para obtener más información, consulta Precios de Cloud Logging.

¿Qué sigue?