Lorsque vous créez un pipeline de données dans Cloud Data Fusion, vous utilisez une série d'étapes, appelées nœuds, pour déplacer et gérer les données lorsqu'elles transitent de la source au récepteur. Chaque nœud se compose d'un plug-in, un module personnalisable qui étend les fonctionnalités de Cloud Data Fusion.
Vous trouverez les plug-ins dans l'interface Web de Cloud Data Fusion en accédant à la page Studio. Pour accéder à d'autres plug-ins, cliquez sur Hub.
Types de plug-ins
Les plug-ins sont classés dans les catégories suivantes :
- Sources
- Transformations
- Analytics
- Récepteurs
- Conditions et actions
- Gestionnaires d'erreurs et alertes
Sources
Les plug-ins sources se connectent aux bases de données, aux fichiers ou aux flux en temps réel à partir desquels votre pipeline lit les données. Vous configurez des sources pour votre pipeline de données à l'aide de l'interface Web, de sorte que vous n'ayez pas à vous soucier de coder des connexions de bas niveau.
Transformations
Les plug-ins de transformation modifient les données après leur ingestion à partir d'une source. Par exemple, vous pouvez cloner un enregistrement, modifier le format de fichier en JSON ou utiliser le plug-in JavaScript pour créer une transformation personnalisée.
Analytics
Les plug-ins d'analyse effectuent des agrégations, comme l'association de données provenant de différentes sources, et exécutent des opérations d'analyse et de machine learning.
Récepteurs
Les plug-ins de récepteur écrivent des données dans des ressources telles que Cloud Storage, BigQuery, Spanner, des bases de données relationnelles, des systèmes de fichiers et des mainframes. Vous pouvez interroger les données écrites dans le récepteur à l'aide de l'interface Web ou de l'API REST Cloud Data Fusion.
Conditions et actions
Utilisez des plug-ins de condition et d'action pour planifier des actions qui se déroulent pendant un workflow, mais qui ne manipulent pas directement les données qu'il contient. Exemple :
- Utilisez le plug-in "Base de données" pour planifier l'exécution d'une commande de base de données à la fin de votre pipeline.
- Utilisez le plug-in File Move pour déclencher une action qui déplace des fichiers dans Cloud Storage.
Gestionnaires d'erreurs et alertes
Lorsque les étapes rencontrent des valeurs nulles, des erreurs logiques ou d'autres sources d'erreurs, vous pouvez utiliser un plug-in de gestionnaire d'erreurs pour les intercepter. Utilisez ces plug-ins pour trouver les erreurs dans la sortie après un plug-in de transformation ou d'analyse. Vous pouvez écrire les erreurs dans une base de données pour les analyser.
Étapes suivantes
- Découvrez les plug-ins.
- Créez un pipeline de données avec les plug-ins.