Introducción a Cloud Data Fusion: Studio

Cloud Data Fusion: Studio te permite crear, configurar y ejecutar canalizaciones de datos de forma visual con una interfaz de hacer clic y arrastrar de complementos precompilados. Puedes conectarte a fuentes de datos locales y en la nube, preparar y transformar tus datos, y probar o programar entregas a tus destinos objetivo.

Después de la implementación, Studio te ayuda a administrar el ciclo de vida de la canalización a través de la edición iterativa, el control de origen de Git y los parámetros y preferencias reutilizables del entorno de ejecución. También puedes personalizar los perfiles de procesamiento, asignar recursos de ejecución para ajustar el rendimiento y administrar las configuraciones de forma centralizada.

Recorrido del usuario en Cloud Data Fusion Studio

Antes de comenzar

Cloud Data Fusion: descripción general de Studio

Studio incluye los siguientes componentes.

Administración

Cloud Data Fusion te permite tener varios espacios de nombres en cada instancia. En Studio, los administradores pueden administrar todos los espacios de nombres de forma centralizada o cada espacio de nombres de forma individual.

Studio proporciona los siguientes controles de administrador:

Administración del sistema
El módulo Administrador del sistema en Studio te permite crear espacios de nombres nuevos y definir las configuraciones centrales del perfil de procesamiento a nivel del sistema, que se aplican a cada espacio de nombres de esa instancia. Para obtener más información, consulta Administra la administración de Studio.
Administración de espacios de nombres
El módulo Administrador de espacios de nombres en Studio te permite administrar las configuraciones del espacio de nombres específico. Para cada espacio de nombres, puedes definir perfiles de procesamiento, preferencias de entorno de ejecución, controladores, cuentas de servicio y configuraciones de Git. Para obtener más información, consulta Administra la administración de Studio.

Pipeline Design Studio

Diseñas y ejecutas canalizaciones en Pipeline Design Studio en la interfaz web de Cloud Data Fusion. El diseño y la ejecución de canalizaciones de datos incluyen los siguientes pasos:

  • Conéctate a una fuente: Cloud Data Fusion permite conexiones a fuentes de datos locales y en la nube. La interfaz de Studio tiene complementos del sistema predeterminados, que vienen preinstalados en Studio. Puedes descargar complementos adicionales de un repositorio de complementos, conocido como Hub. Para obtener más información, consulta la Descripción general de los complementos.
  • Preparación de datos: Cloud Data Fusion te permite preparar tus datos con su potente complemento de preparación de datos: Wrangler. Wrangler te ayuda a visualizar, explorar y transformar una pequeña muestra de tus datos en un lugar antes de ejecutar la lógica en todo el conjunto de datos en Studio. Esto te permite aplicar rápidamente transformaciones para comprender cómo afectan a todo el conjunto de datos. Puedes crear varias transformaciones y agregarlas a una receta. Para obtener más información, consulta la Descripción general de Wrangler.
  • Transformar: Los complementos de transformación cambian los datos después de que se cargan desde una fuente. Por ejemplo, puedes clonar un registro, cambiar el formato de archivo a JSON o usar el complemento de JavaScript para crear una transformación personalizada. Para obtener más información, consulta la Descripción general de los complementos.
  • Conéctate a un destino: Después de preparar los datos y aplicar transformaciones, puedes conectarte al destino en el que planeas cargar los datos. Cloud Data Fusion admite conexiones a varios destinos. Para obtener más información, consulta Descripción general de los complementos.
  • Vista previa: Después de diseñar la canalización, para depurar problemas antes de implementarla y ejecutarla, ejecutas un trabajo de vista previa. Si encuentras algún error, puedes corregirlo en el modo Borrador. Studio usa las primeras 100 filas de tu conjunto de datos de origen para generar la vista previa. Studio muestra el estado y la duración del trabajo de vista previa. Puedes detener el trabajo en cualquier momento. También puedes supervisar los eventos de registro mientras se ejecuta el trabajo de vista previa. Para obtener más información, consulta Obtén una vista previa de los datos.

  • Administra las configuraciones de canalización: Después de obtener una vista previa de los datos, puedes implementar la canalización y administrar las siguientes configuraciones de canalización:

    • Configuración de procesamiento: Puedes cambiar el perfil de procesamiento que ejecuta la canalización. Por ejemplo, quieres ejecutar la canalización en un clúster personalizado de Managed Service para Apache Spark en lugar del clúster predeterminado de Managed Service para Apache Spark.
    • Configuración de canalización: Para cada canalización, puedes habilitar o inhabilitar la instrumentación, como las métricas de tiempo. De forma predeterminada, la instrumentación está habilitada.
    • Configuración del motor: Spark es el motor de ejecución predeterminado. Puedes pasar parámetros personalizados para Spark.
    • Recursos: Puedes especificar la memoria y la cantidad de CPU para el controlador y el ejecutor de Spark. El controlador organiza el trabajo de Spark. El ejecutor controla el procesamiento de datos en Spark.
    • Alerta de canalización: Puedes configurar la canalización para enviar alertas y comenzar tareas de procesamiento posterior después de que finalice la ejecución de la canalización. Creas alertas de canalización cuando diseñas la canalización. Después de implementar la canalización, puedes ver las alertas. Para cambiar la configuración de alertas, puedes editar la canalización.
    • Envío de transformaciones: Puedes habilitar el envío de transformaciones si deseas que una canalización ejecute ciertas transformaciones en BigQuery.

    Para obtener más información, consulta Administra las configuraciones de canalización.

  • Reutiliza canalizaciones con macros, preferencias y argumentos del entorno de ejecución: Cloud Data Fusion te permite reutilizar canalizaciones de datos. Con las canalizaciones de datos reutilizables, puedes tener una sola canalización que pueda aplicar un patrón de integración de datos a una variedad de casos de uso y conjuntos de datos. Las canalizaciones reutilizables te brindan una mejor capacidad de administración. Te permiten configurar la mayor parte de la configuración de una canalización en el momento de la ejecución, en lugar de codificarla de forma rígida en el momento del diseño. En Pipeline Design Studio, puedes usar macros para agregar variables a las configuraciones de complementos de modo que puedas especificar las sustituciones de variables en el entorno de ejecución. Para obtener más información, consulta Administra macros, preferencias y argumentos del entorno de ejecución.

  • Ejecutar: Una vez que hayas revisado las configuraciones de la canalización, tú puedes iniciar la ejecución de la canalización. Puedes ver el cambio de estado durante las fases de la ejecución de la canalización, por ejemplo, el aprovisionamiento, el inicio, la ejecución y el éxito.

  • Programar y organizar: Las canalizaciones de datos por lotes se pueden configurar para que se ejecuten según una programación y frecuencia especificadas. Después de crear e implementar una canalización, puedes crear una programación. En Pipeline Design Studio, puedes organizar canalizaciones creando un activador en una canalización de datos por lotes para que se ejecute cuando se completen una o más ejecuciones de canalización. Estas se denominan canalizaciones downstream y upstream. Creas un activador en la canalización downstream para que se ejecute según la finalización de una o más canalizaciones upstream.

    Recomendado: También puedes usar Composer para organizar canalizaciones en Cloud Data Fusion. Para obtener más información, consulta Programa canalizaciones y Organiza canalizaciones.

  • Edita canalizaciones: Cloud Data Fusion te permite editar una canalización implementada. Cuando editas una canalización implementada, se crea una versión nueva de la canalización con el mismo nombre y se marca como la versión más reciente. Esto te permite desarrollar canalizaciones de forma iterativa en lugar de duplicarlas, lo que crea una canalización nueva con un nombre diferente. Para obtener más información, consulta Edita canalizaciones.

  • Administración del control de origen: Cloud Data Fusion te permite administrar mejor las canalizaciones entre el desarrollo y la producción con la administración del control de origen de las canalizaciones con GitHub.

  • Registro y supervisión: Para supervisar las métricas y los registros de la canalización, te recomendamos que habilites el servicio de registro de Stackdriver para usar Cloud Logging con tu canalización de Cloud Data Fusion.

¿Qué sigue?