Les macros, les préférences et les arguments d'exécution de Cloud Data Fusion vous permettent de paramétrer dynamiquement des pipelines et de créer des modèles réutilisables. Vous pouvez établir des paramètres par défaut hiérarchiques dans vos environnements et remplacer les valeurs de configuration lors de la prévisualisation ou de l'exécution d'un pipeline.
Termes clés
- Macros
- Les macros sont des espaces réservés dans les configurations de plug-ins Cloud Data Fusion. Ils sont représentés par des variables entre
${ }, comme${input_file_path}. Les macros apportent de la flexibilité à vos pipelines en vous permettant d'utiliser des valeurs d'espace réservé, qui sont remplacées par des valeurs réelles au moment de l'exécution. Cela permet de configurer de manière dynamique des paramètres tels que les chemins d'accès aux fichiers et les noms de tables. - Préférences
- Les préférences sont des configurations prédéfinies qui s'appliquent à différents niveaux dans Cloud Data Fusion, y compris le système lui-même, les espaces de noms, les applications (qui contiennent des pipelines) et les programmes individuels dans les pipelines. Les préférences vous permettent de définir des valeurs par défaut pour les configurations couramment utilisées. Les valeurs par défaut peuvent être héritées par les pipelines et les programmes à des niveaux inférieurs, ce qui réduit les tâches de configuration répétitives.
- Arguments d'exécution
- Les arguments d'exécution sont des paires clé/valeur qui fournissent des valeurs pour les macros et qui peuvent remplacer les préférences lorsque vous déployez ou exécutez un pipeline. Ils sont hautement personnalisables, ce qui vous permet d'ajuster les configurations pour chaque exécution de pipeline, sans modifier le pipeline ou les préférences sous-jacents.
Configurer des macros
Pour utiliser une macro pour une valeur de propriété de plug-in, procédez comme suit :
- Dans Cloud Data Fusion Studio, accédez au nœud du plug-in, puis cliquez sur "Properties" (Propriétés).
- Accédez au champ dans lequel vous souhaitez utiliser une macro, puis cliquez sur le M à côté du champ.
- Saisissez une clé pour la macro. Par exemple, dans les propriétés du plug-in de la source de fichier, saisissez la clé suivante dans le champ "Format" :
${format.type}.
Définir les valeurs des macros
Définissez des valeurs pour les macros avant de prévisualiser les données d'un pipeline et avant d'exécuter un pipeline. Vous pouvez définir des valeurs de macros aux emplacements suivants :
- Plug-ins Argument Setter
- Arguments d'exécution
- Préférences d'application
- Préférences d'espace de noms
- Préférences système
L'exécution d'un pipeline avec des macros effectue les opérations suivantes :
- Cloud Data Fusion vérifie d'abord si le pipeline inclut un plug-in de définition d'arguments :
- Si un plug-in de définition d'arguments est présent, Cloud Data Fusion utilise les valeurs des macros qu'il contient.
- S'il n'existe pas de plug-in Argument Setter ou si des macros ne sont pas attribuées dans celui-ci, Cloud Data Fusion utilise les valeurs des arguments d'exécution du pipeline.
- Les arguments d'exécution héritent des macros des préférences d'application.
- Les préférences d'application héritent des macros des préférences d'espace de noms.
- Les préférences d'espace de noms héritent des macros des préférences système.
Exemples
Les macros sont couramment utilisées dans les champs de chemin d'accès. Au lieu d'utiliser des chemins codés en dur, vous pouvez utiliser des chemins dynamiques. Par exemple, dans un plug-in source Cloud Storage, vous pouvez remplacer la valeur du chemin d'accès par plusieurs macros. La valeur suivante divise les éléments bucket, dossier et fichier : gs://${bucket.name}/${folder}/${file.name}.
L'exemple suivant charge des données à partir d'un bucket statique et d'un fichier dont le nom n'est pas statique. Saisissez le nom du bucket et utilisez une macro pour le nom de fichier : gs://<BUCKET_NAME>/${folder}/${file.name}.
Pour en savoir plus, consultez Macros et fonctions de macro.
Configurez les préférences
La section suivante décrit la hiérarchie des préférences, où les préférences sont définies, héritées ou remplacées.
Définir les préférences système
Vous pouvez définir des préférences pour le système. Étant donné que les noms de macros doivent être uniques, chaque préférence s'applique à tous les pipelines qui utilisent cette macro.
Par exemple, vous disposez d'un pipeline avec une source de base de données et vous utilisez des macros pour le nom de la base de données et le nom d'utilisateur. Vous pouvez définir les préférences de base de données et de nom d'utilisateur dans les préférences système. Chaque espace de noms et chaque pipeline de cette instance héritent de ces préférences.
Pour définir les préférences système, procédez comme suit :
- Dans Cloud Data Fusion Studio, cliquez sur Administrateur système>Configuration.
- Cliquez sur Préférences système > Modifier les préférences système.
- Dans la boîte de dialogue Préférences, saisissez de nouvelles préférences ou modifiez celles existantes.
- Cliquez sur Enregistrer et fermer. Ces préférences sont disponibles dans tous les espaces de noms, applications et pipelines.
Définir les préférences d'espace de noms
Vous pouvez définir des préférences pour des espaces de noms individuels.
Lorsque vous définissez les préférences d'espace de noms, toutes les préférences système héritées s'affichent. Lorsque vous définissez des préférences pour un espace de noms, vous pouvez remplacer les préférences héritées en définissant des valeurs différentes. Vous pouvez également ajouter des préférences d'espace de noms.
Pour définir les préférences d'espace de noms, procédez comme suit :
- Dans Cloud Data Fusion Studio, cliquez sur Administrateur système > Configuration.
- Cliquez sur Espaces de noms, puis sélectionnez un espace de noms pour ouvrir sa page de configuration.
- Pour modifier les préférences héritées ou en ajouter, accédez à l'onglet "Préférences", puis cliquez sur Modifier. Une boîte de dialogue Préférences s'ouvre. Vous pouvez y saisir une nouvelle préférence ou remplacer les préférences système héritées. Cliquez sur Ajouter, puis saisissez la clé et la nouvelle valeur de la macro.
- Cliquez sur Enregistrer et fermer. La préférence d'espace de noms est créée avec la nouvelle valeur, qui prévaut sur la préférence système.
Définir les préférences de l'application
Vous pouvez définir des préférences pour chaque pipeline déployé dans un espace de noms. Lorsque vous définissez des préférences d'application, toutes les préférences système et d'espace de noms héritées s'affichent. Lorsque vous définissez des préférences pour une application, vous pouvez remplacer les préférences héritées en définissant des valeurs différentes ou ajouter de nouvelles préférences pour l'application :
- Dans Cloud Data Fusion Studio, cliquez sur , puis sur le menu Espace de noms pour sélectionner l'espace de noms dans lequel vous souhaitez ajouter des préférences d'application.
- Cliquez sur Centre de contrôle.
- Cliquez sur l'icône Définir vos préférences en forme de clé à molette. La liste de toutes les préférences héritées s'affiche.
- Pour modifier les préférences héritées ou en ajouter, accédez à l'onglet "Préférences", puis cliquez sur Modifier. Une boîte de dialogue Préférences s'ouvre. Vous pouvez y saisir une nouvelle préférence ou remplacer les préférences système héritées. Cliquez sur Ajouter, puis saisissez la clé et la nouvelle valeur de la macro.
- Cliquez sur Enregistrer et fermer. La préférence d'application est créée avec la nouvelle valeur, qui remplace les préférences système ou d'espace de noms. Lorsque vous exécutez le pipeline déployé, les préférences de l'application s'affichent en tant qu'arguments d'exécution, que vous pouvez éventuellement modifier.
Configurer des arguments d'exécution
Configurez des arguments d'exécution pour fournir des valeurs aux macros et éventuellement remplacer les préférences lorsque vous déployez ou exécutez un pipeline.
Arguments d'exécution pour prévisualiser les données
Pour définir les valeurs de chaque macro du pipeline lorsque vous prévisualisez les données dans Cloud Data Fusion Studio, cliquez sur Liste > Configurer.
Arguments d'exécution pour l'exécution des pipelines déployés
Si un pipeline inclut des macros, après l'avoir déployé, vous ajoutez des arguments d'exécution qui définissent les valeurs des macros.
Lorsque vous déployez un pipeline avec des macros, cliquez sur le menu déroulant à côté de Exécuter pour ouvrir la boîte de dialogue Arguments d'exécution et définir les valeurs de chaque macro.
Définir les préférences du pipeline
Pour définir les préférences d'un pipeline, procédez comme suit :
- Dans Cloud Data Fusion Studio, cliquez sur Liste > Déployé, puis sélectionnez un pipeline déployé pour l'afficher.
- Dans le canevas du pipeline, cliquez sur le menu déroulant à côté de Exécuter. La boîte de dialogue Arguments d'exécution s'ouvre.
- Dans la boîte de dialogue Arguments d'exécution qui s'ouvre, spécifiez la valeur de chaque macro du pipeline.
Présentation des préférences, des macros et des arguments d'exécution
Vous pouvez configurer des préférences aux niveaux suivants :
- Préférences système : niveau le plus élevé où vous définissez les préférences, telles que les valeurs par défaut, pour l'ensemble de l'instance.
- Préférences d'espace de noms : héritent des préférences des préférences système. Vous pouvez définir des préférences pour un espace de noms spécifique.
- Préférences d'application : héritent des préférences des préférences d'espace de noms. Ils peuvent être uniques pour chaque application (contenant des pipelines).
- Arguments d'exécution : paires clé-valeur qui remplacent les préférences à des niveaux supérieurs.
Si vous définissez une préférence au niveau des préférences système, les valeurs de macro sont automatiquement renseignées dans les préférences d'espace de noms, les préférences d'application et les arguments d'exécution.
Si vous définissez des préférences au niveau de l'espace de noms, elles apparaissent dans la liste des préférences héritées dans les préférences de l'application. Si un pipeline utilise une macro définie dans une préférence, les arguments d'exécution utilisent la paire clé-valeur définie dans la préférence. Vous pouvez remplacer les valeurs des préférences à chaque niveau de préférence et dans les arguments d'exécution.
Utilisez les préférences, les macros et les arguments d'exécution dans les cas d'utilisation suivants :
- Développer un pipeline Intégrez des macros là où vous avez besoin de valeurs dynamiques pour les propriétés du plug-in.
- Facultatif : Définir des préférences Définissez des valeurs par défaut pour les macros dans les préférences à différents niveaux.
- Déployer et exécuter un pipeline Lorsque vous exécutez un pipeline, les événements suivants se produisent :
- Les préférences du niveau concerné, telles que les préférences système ou les préférences d'espace de noms, sont appliquées.
- Tous les arguments d'exécution que vous fournissez remplacent les valeurs attribuées aux macros dans les préférences.
- Cloud Data Fusion résout les macros en remplaçant leurs valeurs par les arguments d'exécution (ou les préférences si aucun argument d'exécution n'est fourni).
Exemple
Un pipeline possède un récepteur BigQuery dont la valeur du nom de table doit changer de manière dynamique. Pour ce faire, procédez comme suit :
- Définissez la macro. Dans les propriétés du récepteur, utilisez la macro suivante dans le champ Nom de la table :
${output_table}. - Définissez la préférence. Dans les préférences de l'application, définissez une préférence pour
${output_table}avec la valeur par défaut suivante :data_staging. - Définissez l'argument d'exécution. Lors de l'exécution du pipeline, fournissez un argument d'exécution, par exemple
output_table=final_analytics_data.
Lors de l'exécution du pipeline, la macro ${output_table}, est remplacée par final_analytics_data.