Présentation de Cloud Data Fusion
Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Cloud Data Fusion vous permet de créer et d'orchestrer des pipelines de données dans un service d'intégration de données cloud natif entièrement
géré, optimisé par le projet Open Source
CDAP. À l'aide de l'interface Web de Cloud Data Fusion, vous pouvez vous connecter à des sources de données, transformer des données et les transférer vers des systèmes de destination sans gérer l'infrastructure.
Premiers pas avec Cloud Data Fusion
Vous pouvez commencer à explorer Cloud Data Fusion en quelques minutes.
Les principaux composants de Cloud Data Fusion sont expliqués dans les sections suivantes.
Projet locataire
L'ensemble des services requis pour créer et orchestrer des pipelines Cloud Data Fusion
et stocker les métadonnées de pipeline est fourni dans un projet
locataire, au sein d'une unité
de location. Un projet locataire distinct est créé pour chaque projet client dans lequel des instances Cloud Data Fusion sont provisionnées. Le projet locataire hérite de toutes les configurations de mise en réseau et de pare-feu du projet client.
Cloud Data Fusion : console
La console Cloud Data Fusion, également appelée plan de contrôle, est un
ensemble d'opérations d'API
et une interface Web qui traitent de l'instance Cloud Data Fusion elle-même,
par exemple pour la créer, la supprimer, la redémarrer et la mettre à jour.
Cloud Data Fusion: Studio
Cloud Data Fusion Studio, également appelé le plan de données, est un ensemble d'
API REST et d'opérations d'interface Web
qui traitent de la création, de l'exécution et de la gestion des pipelines et des
artefacts associés.
Concepts
Cette section présente certains des concepts de base de Cloud Data Fusion.
Une instance Cloud Data Fusion est un déploiement unique de
Cloud Data Fusion. Pour commencer à utiliser Cloud Data Fusion, vous devez créer une instance Cloud Data Fusion via la Google Cloud console.
Vous pouvez créer plusieurs instances dans un seul Google Cloud console
projet et spécifier la Google Cloud région dans laquelle créer vos
instances Cloud Data Fusion.
Chaque instance Cloud Data Fusion contient un déploiement Cloud Data Fusion unique et indépendant
contenant un ensemble de services,
qui gèrent le cycle de vie, l'orchestration,
la coordination et la gestion des métadonnées du pipeline. Ces services sont exécutés à l'aide de
ressources de longue durée dans un
projet locataire.
Un espace de noms est un regroupement logique d'applications, de données et des
métadonnées associées dans une instance Cloud Data Fusion. Vous pouvez considérer
les espaces de noms comme un partitionnement de l'instance. Dans une seule instance,
un espace de noms stocke les données et les métadonnées d'une entité indépendamment
d'un autre espace de noms.
Un pipeline est un moyen de concevoir visuellement des flux de données et de contrôle
pour extraire, transformer, fusionner, agréger et charger des données à partir de
diverses sources de données sur site et dans le cloud.
La création de pipelines vous permet de créer des workflows de traitement de données complexes
qui peuvent vous aider à résoudre les problèmes d'ingestion, d'intégration et de
migration de données. Vous pouvez utiliser Cloud Data Fusion pour créer des pipelines par lot et en temps réel, selon vos besoins.
Les pipelines vous permettent d'exprimer vos workflows de traitement de données à l'aide
du flux logique de données, tandis que Cloud Data Fusion gère toutes les
fonctionnalités requises pour s'exécuter physiquement dans un environnement d'exécution.
Sur la page Studio de l'interface Web de Cloud Data Fusion,
les pipelines sont représentés sous la forme d'une série de nœuds disposés dans un graphe orienté
acyclique (DAG), formant un flux unidirectionnel.
Les nœuds représentent les différentes actions que vous pouvez effectuer avec vos
pipelines, telles que la lecture à partir de sources, l'exécution de transformations de données et l'écriture de la sortie dans des récepteurs. Vous pouvez développer des pipelines de données dans l'interface Web de Cloud Data Fusion en connectant des sources, des transformations, des récepteurs et d'autres nœuds.
Un plug-in est un module personnalisable qui peut être utilisé pour étendre les
fonctionnalités de Cloud Data Fusion.
Cloud Data Fusion fournit des plug-ins pour les sources, les transformations,
les agrégats, les récepteurs, les collecteurs d'erreurs, les éditeurs d'alertes, les actions et les
actions post-exécution.
Un plug-in est parfois appelé nœud, généralement dans le
contexte de l'interface Web de Cloud Data Fusion.
Pour découvrir et accéder aux plug-ins Cloud Data Fusion populaires,
consultez
Plug-ins Cloud Data Fusion.
Dans l'interface Web de Cloud Data Fusion, pour parcourir les plug-ins, les exemples
de pipelines et d'autres intégrations, cliquez sur Hub. Lorsqu'une nouvelle
version d'un plug-in est publiée, elle est visible dans le hub de toute instance
compatible. Cela s'applique même si l'instance a été créée avant
la publication du plug-in.
Cloud Data Fusion provisionne un cluster Managed Service pour Apache Spark éphémère
dans votre projet client au
début de l'exécution d'un pipeline, exécute le pipeline à l'aide de Spark dans le
cluster, puis supprime le cluster une fois l'exécution du pipeline est
terminée.
Vous pouvez également configurer Cloud Data Fusion pour qu'il ne provisionne pas de clusters si vous gérez vos clusters Managed Service pour Apache Spark
dans des environnements contrôlés, via des technologies telles que Terraform. Dans
ces environnements, vous pouvez exécuter des pipelines sur des clusters Managed Service pour Apache Spark existants.
Un profil de calcul spécifie comment et où un pipeline est
exécuté. Un profil encapsule toutes les informations requises pour configurer et
supprimer l'environnement d'exécution physique d'un pipeline.
Par exemple, un profil de calcul inclut les éléments suivants :
Approvisionneur d'exécution
Ressources (mémoire et processeur)
Nombre minimal et maximal de nœuds
Autres valeurs
Un profil est identifié par son nom et doit être associé à un approvisionneur
et à sa configuration associée. Un profil peut exister au niveau de l'instance Cloud Data Fusion ou au niveau de l'espace de noms.
Le profil de calcul par défaut de Cloud Data Fusion est
Autoscaling.
Les pipelines de données réutilisables dans Cloud Data Fusion permettent de créer
un seul pipeline qui peut appliquer un modèle d'intégration de données à différents
cas d'utilisation et ensembles de données.
Les pipelines réutilisables offrent une meilleure gérabilité en définissant la majeure partie de
la configuration d'un pipeline au moment de l'exécution, au lieu de
la coder en dur au moment de la conception.
Cloud Data Fusion permet de créer un déclencheur sur un pipeline de données (appelé le pipeline en aval) pour qu'il s'exécute à la fin d'un ou de plusieurs pipelines différents (appelés les pipelines en amont). Vous choisissez le moment d'exécution du pipeline en aval : en
cas de réussite, d'échec ou d'arrêt de l'exécution du pipeline en amont, ou de toute combinaison de ces événements.
Les déclencheurs sont utiles dans les cas suivants :
Nettoyer vos données une seule fois, puis les mettre à disposition de
plusieurs pipelines en aval pour leur consommation.
Partager des informations, telles que des arguments d'exécution et des configurations de plug-in, entre les pipelines. C'est ce qu'on appelle la configuration de la charge utile.
Disposer d'un ensemble de pipelines dynamiques pouvant s'exécuter à l'aide des données d'
heure, de jour, de semaine ou de mois, au lieu d'utiliser un pipeline statique
qui doit être mis à jour à chaque exécution.
Ressources Cloud Data Fusion
Découvrez les ressources Cloud Data Fusion :
Les notes de version fournissent des journaux des modifications des fonctionnalités, des changements et des abandons
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2026/10/15 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2026/10/15 (UTC)."],[],[]]
