Descripción general de Cloud Data Fusion
Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
Cloud Data Fusion te permite crear y organizar canalizaciones de datos en un servicio de integración de datos completamente
administrado y nativo de la nube con tecnología del proyecto de código abierto
CDAP. Con la interfaz web de Cloud Data Fusion, puedes conectarte a fuentes de datos, transformar datos y transferirlos a sistemas de destino sin administrar la infraestructura.
Comienza a usar Cloud Data Fusion
Puedes comenzar a explorar Cloud Data Fusion en minutos.
Los componentes principales de Cloud Data Fusion se explican en las siguientes secciones.
Proyecto de usuario
El conjunto de servicios necesarios para compilar y organizar canalizaciones de Cloud Data Fusion
y almacenar metadatos de canalización se aprovisiona en un proyecto
de usuario, dentro de una unidad
de usuario. Se crea un proyecto de usuario independiente para cada proyecto de cliente en el que se aprovisionan instancias de Cloud Data Fusion. El proyecto de usuario hereda todas las configuraciones de red y firewall del proyecto del cliente.
Cloud Data Fusion: Consola
La consola de Cloud Data Fusion, también conocida como plano de control, es un
conjunto de operaciones de la API
y una interfaz web que se ocupan de la instancia de Cloud Data Fusion en sí,
como crearla, borrarla, reiniciarla y actualizarla.
Cloud Data Fusion: Studio
Cloud Data Fusion Studio, también conocido como el plano de datos, es un conjunto de
API de REST y de interfaz web
de operaciones que se ocupan de la creación, la ejecución y la administración de canalizaciones y
artefactos relacionados.
Conceptos
En esta sección, se presentan algunos de los conceptos principales de Cloud Data Fusion.
Una instancia de Cloud Data Fusion es una implementación única de
Cloud Data Fusion. Para comenzar a usar Cloud Data Fusion, crea una instancia de Cloud Data Fusion a través de la
Google Cloud consola.
Puedes crear varias instancias en un solo Google Cloud proyecto de la consola y especificar la Google Cloud región en la que se crearán tus instancias de Cloud Data Fusion.
Cada instancia de Cloud Data Fusion contiene una implementación independiente y única
Cloud Data Fusion que contiene un conjunto de servicios,
que controlan la administración del ciclo de vida de las canalizaciones, la organización,
la coordinación y la administración de metadatos. Estos servicios se ejecutan mediante
recursos de larga duración en un
proyecto de usuario.
Un espacio de nombres es una agrupación lógica de aplicaciones, datos y los
metadatos asociados en una instancia de Cloud Data Fusion. Puedes pensar
en los espacios de nombres como una partición de la instancia. En una sola instancia,
un espacio de nombres almacena los datos y los metadatos de una entidad de forma independiente
de otro espacio de nombres.
Una canalización es una forma de diseñar visualmente datos y flujos de control
para extraer, transformar, combinar, agregar y cargar datos de
varias fuentes de datos locales y en la nube.
La creación de canalizaciones te permite crear flujos de trabajo complejos de procesamiento de datos
que pueden ayudarte a resolver problemas de transferencia de datos, integración y
migración de datos. Puedes usar Cloud Data Fusion para crear canalizaciones por lotes y en tiempo real, según tus necesidades.
Las canalizaciones te permiten expresar tus flujos de trabajo de procesamiento de datos con
el flujo lógico de datos, mientras que Cloud Data Fusion controla toda la
funcionalidad que se requiere para ejecutarse físicamente en un entorno de ejecución.
entorno.
En la página Studio de la interfaz web de Cloud Data Fusion,
las canalizaciones se representan como una serie de nodos dispuestos en un grafo
acíclico dirigido (DAG), que forman un flujo unidireccional.
Los nodos representan las diversas acciones que puedes realizar con tus
canalizaciones, como leer desde fuentes, realizar transformaciones de datos
y escribir resultados en receptores. Puedes desarrollar canalizaciones de datos en la interfaz web de Cloud Data Fusion conectando fuentes, transformaciones, receptores y otros nodos.
Un complemento es un módulo personalizable que se puede usar para extender las
capacidades de Cloud Data Fusion.
Cloud Data Fusion proporciona complementos para fuentes, transformaciones,
agregados, receptores, recopiladores de errores, publicadores de alertas, acciones y
acciones posteriores a la ejecución.
En ocasiones, se hace referencia a un complemento como un nodo, en general en el
contexto de la interfaz web de Cloud Data Fusion.
En la interfaz web de Cloud Data Fusion, para explorar complementos, canalizaciones de muestra
y otras integraciones, haz clic en Hub. Cuando se lanza una versión nueva
de un complemento, se puede ver en el Hub en cualquier instancia
que sea compatible. Esto se aplica incluso si la instancia se creó antes de que se lanzó el complemento.
Cloud Data Fusion aprovisiona un clúster efímero
de Managed Service para Apache Spark en tu proyecto de cliente al
comienzo de una ejecución de canalización, ejecuta la canalización con Spark en el
clúster y, luego, borra el clúster después de que se completa la ejecución de la
canalización.
Como alternativa, si administras tus clústeres de Managed Service para Apache Spark en entornos controlados, a través de tecnologías como Terraform, también puedes configurar Cloud Data Fusion para que no aprovisione clústeres. En
esos entornos, puedes ejecutar canalizaciones en clústeres existentes
de Managed Service para Apache Spark.
Un perfil de procesamiento especifica cómo y dónde se ejecuta una canalización
ejecutada. Un perfil encapsula cualquier información necesaria para configurar y
borrar el entorno de ejecución físico de una canalización.
Por ejemplo, un perfil de procesamiento incluye lo siguiente:
Aprovisionador de ejecución
Recursos (memoria y CPU)
Cantidad mínima y máxima de nodos
Otros valores
Un perfil se identifica por su nombre y se le debe asignar un aprovisionador
y su configuración relacionada. Un perfil puede existir a nivel de la
instancia de Cloud Data Fusion o a nivel del espacio de nombres.
El perfil de procesamiento predeterminado de Cloud Data Fusion es
el ajuste de escala automático.
Las canalizaciones de datos reutilizables en Cloud Data Fusion permiten la creación
de una sola canalización que puede aplicar un patrón de integración de datos a una
variedad de casos de uso y conjuntos de datos.
Las canalizaciones reutilizables brindan una mejor capacidad de administración, ya que configuran la mayor parte de
la canalización en el momento de la ejecución, en lugar de
codificarla de forma rígida en el momento del diseño.
Cloud Data Fusion admite la creación de un activador en una canalización de datos (llamada la canalización downstream) para que se ejecute cuando se complete una o más canalizaciones diferentes (llamadas las canalizaciones upstream). Podemos elegir en qué momento se ejecuta la canalización downstream: cuando la canalización upstream se ejecuta de forma correcta, falla, se detiene o cualquier combinación de estas.
Los activadores son útiles en los siguientes casos:
Limpiar datos una vez y hacer que estén disponibles para que los consuman
varias canalizaciones downstream
Compartir información entre canalizaciones, como argumentos de entorno de ejecución y parámetros de configuración de complementos. Esto se denomina configuración
de carga útil.
Tener un conjunto de canalizaciones dinámicas que se puedan ejecutar con los datos de
la hora, el día, la semana o el mes, en lugar de usar una canalización estática
que se debe actualizar en cada ejecución
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2026-10-27 (UTC)"],[],[]]
