Introducción a las canalizaciones de BigQuery

Puedes usar las canalizaciones de BigQuery para automatizar y optimizar tus procesos de datos de BigQuery. Con las canalizaciones, puedes programar y ejecutar elementos de código en secuencia para mejorar la eficiencia y reducir el esfuerzo manual.

Descripción general

Las canalizaciones están potenciadas por Dataform.

Una canalización consta de uno o más de los siguientes elementos de código:

Puedes usar canalizaciones para programar la ejecución de elementos de código. Por ejemplo, puedes programar una consulta en SQL para que se ejecute a diario y actualice una tabla con los datos de origen más recientes, que luego pueden alimentar un panel.

En una canalización con varios elementos de código, defines la secuencia de ejecución. Por ejemplo, para entrenar un modelo de aprendizaje automático, puedes crear un flujo de trabajo en el que una consulta en SQL prepare los datos y, luego, un notebook posterior entrene el modelo con esos datos.

Funciones

Puedes hacer lo siguiente en una canalización:

Limitaciones

Las canalizaciones están sujetas a las siguientes limitaciones:

  • Las canalizaciones solo están disponibles en la Google Cloud consola de.
  • No puedes cambiar la región para almacenar una canalización después de crearla.
  • Puedes otorgar acceso a usuarios o grupos a una canalización seleccionada, pero no puedes otorgarles acceso a tareas individuales dentro de la canalización.
  • Si una ejecución de canalización programada no finaliza antes del inicio de la siguiente ejecución programada, se omite la siguiente ejecución programada y se marca con un error.

Configura la región predeterminada para los elementos de código

Todos los elementos de código nuevos de tu Google Cloud proyecto usan una región predeterminada. Después de crear el elemento, no puedes cambiar su región.

Para configurar la región predeterminada para los elementos de código nuevos, haz lo siguiente:

  1. Ve a la página de BigQuery.

    Ir a BigQuery

  2. En el panel izquierdo, haz clic en Archivos para abrir el navegador de archivos:

    Haz clic en **Archivos** para abrir el navegador de archivos.

  3. Junto al nombre del proyecto, haz clic en Ver acciones del panel de archivos > Cambiar región de código.

  4. Selecciona la región de código que deseas usar como predeterminada.

  5. Haz clic en Guardar.

Para obtener una lista de las regiones admitidas, consulta Ubicaciones de BigQuery Studio.

Todos los elementos de código se almacenan en tu región predeterminada para los elementos de código. La actualización de la región predeterminada cambia la región de todos los elementos de código creados después de ese punto.

Cuotas y límites

Las canalizaciones de BigQuery están sujetas a las cuotas y los límites de Dataform.

Precios

La ejecución de tareas de canalización de BigQuery genera cargos de procesamiento y almacenamiento en BigQuery. Si deseas obtener más información, consulta los Precios de BigQuery.

Las canalizaciones que contienen notebooks generan cargos de tiempo de ejecución de Colab Enterprise según el tipo de máquina predeterminado. Para obtener detalles sobre los precios, consulta Precios de Colab Enterprise.

Cada ejecución de canalización de BigQuery se registra con Cloud Logging. El registro se habilita automáticamente para las ejecuciones de canalizaciones de BigQuery, lo que puede generar cargos de facturación de Cloud Logging. Para obtener más información, consulta Precios de Cloud Logging.

¿Qué sigue?