Crea flujos de trabajo de integración de datos con la página Pipelines & Connections

La página Canalizaciones y conexiones de BigQuery en la consola optimiza tus tareas de integración de datos, ya que proporciona flujos de trabajo de configuración guiados y específicos de BigQuery para servicios como el Servicio de transferencia de datos de BigQuery, Datastream y Pub/Sub.

Puedes usar la página Canalizaciones y conexiones para realizar las siguientes tareas:

  • Carga de datos Encuentra y carga datos de fuentes de datos compatibles con una experiencia guiada.
  • Programar tareas de datos Programa tus procesos de datos para que se ejecuten automáticamente, incluidas las consultas, los notebooks, las preparaciones de datos y las canalizaciones programados.
  • Transformar datos Crea canalizaciones y preparaciones de datos que realicen operaciones como limpiar, estructurar y preparar tus datos para el análisis y la generación de informes.
  • Cómo crear conexiones a fuentes de datos Conéctate a fuentes de datos externas, entornos de ejecución de procesamiento y servicios de IA para acceder a datos y realizar ejecuciones remotas.

Después de crear tus tareas, la página Canalizaciones y conexiones proporciona una ubicación única para administrar y supervisar tus recursos. Puedes ver el estado de tus recursos en la vista de lista y usar las páginas de supervisión detallada para consultar las métricas operativas de cada recurso configurado, como las consultas programadas, las canalizaciones, las transferencias, las conexiones, las transmisiones y las suscripciones.

Las métricas operativas incluyen los historiales de ejecución del Servicio de transferencia de datos de BigQuery, el rendimiento y la latencia de las suscripciones a Pub/Sub, y la actualización de los datos y los recuentos de eventos de las canalizaciones de Datastream.

Las páginas de supervisión también incluyen información para solucionar problemas, como registros de las ejecuciones del Servicio de transferencia de datos de BigQuery y el estado de los objetos de Datastream.

Cómo habilitar o inhabilitar la función

Durante la versión preliminar, puedes habilitar o inhabilitar el uso de la página Canalizaciones y conexiones.

Habilitar

Para habilitar el uso de la página Pipelines & Connections, sigue estos pasos:

  1. Accede a la consola de Google Cloud .

    Ir a la consola

  2. En la barra de herramientas de la consola de Google Cloud , haz clic en Menú de navegación.

  3. Haz clic en Soluciones > Todos los productos.

  4. En la sección Análisis, haz clic en BigQuery.

    Se abrirá la página Studio de BigQuery.

  5. Para expandir el menú de navegación, haz clic en Alternar el menú de navegación de BigQuery.

    El menú de navegación de BigQuery

  6. En el menú de navegación, haz clic en una de las siguientes opciones:

    • Transferencias de datos
    • Consultas programadas
    • Programación

  7. Ve al banner de canalizaciones y conexiones unificadas.

    El banner de canalizaciones y conexiones unificadas en la IU

  8. Haz clic en Habilitar.

    Después de habilitar la función, las páginas existentes Transferencias de datos, Programación y Consultas programadas se reemplazarán por la página Canalizaciones y conexiones.

Inhabilitar

Para inhabilitar el uso de la página unificada Canalizaciones y conexiones, sigue estos pasos:

  1. En la página Canalizaciones y conexiones, haz clic en Inhabilitar en el banner unificado de canalizaciones y conexiones.

  2. Se abrirá un diálogo de comentarios. Proporciona comentarios sobre los motivos por los que inhabilitas la opción, como la falta de funciones o errores.

  3. Haz clic en Enviar y, luego, en Cerrar.

    Después de enviar el formulario, el menú de navegación volverá a usar las páginas separadas Transferencias de datos, Programación y Consultas programadas.

Crea un recurso de integración de datos

Para crear recursos, como consultas programadas, transferencias de datos y conexiones externas, haz lo siguiente:

  1. Ve a la página Canalizaciones y conexiones.

    Ir a Canalizaciones y conexiones

  2. Haz clic en Crear.

  3. En la tarjeta, haz clic en la opción del recurso que deseas crear:

    1. Para agregar datos desde una de las fuentes de datos compatibles con un flujo de trabajo guiado, haz clic en Agregar datos en la tarjeta Cargar datos.

    2. Para programar una consulta, un notebook, una preparación de datos o una canalización, en la tarjeta Programar tareas de datos, haz clic en Programar y, luego, elige la opción adecuada.

    3. Para crear una canalización de transformación o preparación de datos, en la tarjeta Transformar datos, haz clic en Crear y, luego, elige la opción adecuada.

    4. Para crear una conexión a una fuente de datos externa, en la tarjeta Conexiones externas, haz clic en Crear conexión.

Supervisa tus activos

Después de crear tus recursos, puedes verlos y supervisarlos.

  1. Ve a la página Canalizaciones y conexiones.

    Ir a Canalizaciones y conexiones

  2. Para ver detalles sobre tus conexiones, haz clic en la pestaña Conexiones.

  3. Para supervisar tus canalizaciones, haz clic en la pestaña Canalizaciones. En esta página, puedes ver detalles como el estado, el tipo y el historial de ejecución de la canalización.

  4. Para ver los detalles de una canalización, haz clic en el vínculo de la columna Nombre visible.

¿Qué sigue?