Gérer l'administration de Studio

Cette page décrit les fonctionnalités d'administration fournies par Cloud Data Fusion Studio pour gérer les configurations. Cloud Data Fusion suit une hiérarchie dans laquelle chaque instance peut comporter plusieurs espaces de noms. Dans Cloud Data Fusion Studio, les administrateurs peuvent gérer de manière centralisée tous les espaces de noms ou les gérer individuellement. Cloud Data Fusion Studio fournit les contrôles système et d'espace de noms suivants.

Administration système

Si vous cliquez sur Administrateur système dans Cloud Data Fusion Studio, les onglets suivants s'affichent :

  • L'onglet Gestion : affichez l'état de santé de différents services Cloud Data Fusion. Vous pouvez également afficher les journaux de chacun des services.

  • L'onglet Configuration : créez, affichez et modifiez les commandes suivantes :

Les provisionneurs sont chargés de créer, d'initialiser et de détruire l'environnement cloud dans lequel les pipelines s'exécutent. Chaque provisionneur expose un ensemble de configurations utilisées pour contrôler le type de cluster créé et supprimé. Différents fournisseurs créent différents types de clusters.

Chaque profil de calcul a une portée : système ou utilisateur. Vous pouvez utiliser un profil de calcul système pour tous les espaces de noms qu'il contient. Les profils de calcul utilisateur existent dans un espace de noms, et seuls les pipelines de cet espace de noms peuvent les utiliser.

Dans l'onglet Configurations de l'administrateur système, vous pouvez créer un profil de calcul système qui s'applique à tous les espaces de noms. Cloud Data Fusion attribue un profil de calcul par défaut.

Lorsque vous créez un profil de calcul, vous sélectionnez le provisionneur que le profil utilise pour créer et configurer les détails de l'environnement d'exécution cloud.

Préférences système

Les préférences sont des configurations prédéfinies qui s'appliquent à différents niveaux dans Cloud Data Fusion, y compris au système lui-même, aux espaces de noms, aux applications (qui contiennent des pipelines) et aux programmes individuels dans les pipelines. Les préférences permettent de définir des valeurs par défaut pour les configurations courantes. Ces valeurs par défaut peuvent être héritées par les pipelines et les programmes de niveau inférieur, ce qui réduit les tâches de configuration répétitives. Pour en savoir plus, consultez Gérer les macros, les préférences et les arguments d'exécution.

Action d'appel HTTP

L'action d'appel HTTP sur la page Administrateur système vous permet d'interagir avec la propre API de Cloud Data Fusion, ou potentiellement avec d'autres API de service Google Cloud , directement depuis l'interface Cloud Data Fusion Studio. Toutefois, pour créer des pipelines de traitement de données avec des sources de données externes, utilisez plutôt le plug-in HTTP et son Executor d'appel HTTP dans vos pipelines pour une solution plus complète. Elle diffère légèrement de l'action d'appel HTTP, mais les concepts sous-jacents sont similaires.

Configurations et cas d'utilisation

L'action d'appel HTTP est principalement utilisée pour les tâches administratives ou de configuration dans Cloud Data Fusion. Il vous permet d'interagir avec l'API Cloud Data Fusion ou d'autres services Google Cloud qui exposent une API HTTP, directement depuis le studio Cloud Data Fusion.

Configurations

Vous pouvez définir les informations suivantes pour un appel HTTP :

  • URL : point de terminaison cible du service Web que vous souhaitez appeler.
  • Méthode : méthode HTTP à utiliser, telle que GET, POST ou PUT.
  • Facultatif : En-têtes : tous les en-têtes personnalisés requis pour la requête.
  • Facultatif : Corps : données à envoyer dans le corps de la requête, par exemple pour les appels POST et PUT.

Vous pouvez ensuite exécuter l'appel HTTP défini et afficher la réponse du service Web dans Cloud Data Fusion Studio.

Cas d'utilisation
  • Testez les appels d'API Cloud Data Fusion. Vous pouvez utiliser l'action d'appel HTTP pour tester ou explorer les fonctionnalités de l'API Cloud Data Fusion directement depuis l'interface Web. Cette action peut être utile pour comprendre le comportement de l'API ou résoudre d'éventuels problèmes.
  • Gérer les espaces de noms (paramètres avancés) Bien qu'il existe une UI dédiée à la gestion des espaces de noms, l'action d'appel HTTP peut être utilisée pour les tâches avancées en effectuant directement des appels à l'API Cloud Data Fusion pour la création, la suppression ou la configuration d'espaces de noms.
  • Interaction avec d'autres services Google Cloud (limitée) Si d'autres services Google Cloud que vous utilisez disposent d'une API HTTP documentée publiquement, vous pouvez utiliser l'action d'appel HTTP pour interagir avec ces services, bien qu'il s'agisse d'un cas d'utilisation peu courant.
Remarques importantes
  • Sécurité : soyez prudent lorsque vous utilisez l'action d'appel HTTP, en particulier avec des données sensibles ou des appels d'API Cloud Data Fusion qui pourraient avoir un impact sur votre environnement. Assurez-vous de bien comprendre les implications de chaque appel d'API avant de l'exécuter.
  • Limites : l'action d'appel HTTP est principalement destinée aux tâches administratives et aux tests. Il n'est pas conçu pour créer des pipelines de traitement de données complexes impliquant la manipulation de données dans Cloud Data Fusion.
  • Alternative pour les pipelines : pour intégrer des sources de données ou des services externes à vos pipelines de données, utilisez le plug-in HTTP et son exécuteur d'appels HTTP associé dans vos définitions de pipeline. Cela permet de gérer les interactions HTTP de manière plus robuste et contrôlée dans vos workflows de traitement des données.

Administration des espaces de noms

En cliquant sur Administrateur de l'espace de noms dans Cloud Data Fusion Studio, vous pouvez gérer les configurations de l'espace de noms spécifique. Pour chaque espace de noms, vous pouvez définir les aspects suivants :

  • Profils de calcul : les profils configurés dans Administrateur de l'espace de noms sont des profils de calcul utilisateur. Seuls les pipelines de cet espace de noms peuvent utiliser ces profils de calcul utilisateur. Pour en savoir plus, consultez Gérer les profils de calcul.
  • Préférences : les préférences définies au niveau de l'espace de noms s'appliquent à l'espace de noms, aux applications (qui contiennent des pipelines) et aux programmes individuels dans les pipelines. Pour en savoir plus, consultez Gérer les macros, les préférences et les arguments d'exécution.
  • Connexions : Cloud Data Fusion vous permet de réutiliser les connexions aux sources et aux récepteurs dans les pipelines de données. Vous pouvez ajouter des connexions sur la page "Administrateur d'espaces de noms". Pour en savoir plus, consultez Créer et gérer des connexions.
  • Pilotes : certains plug-ins de Cloud Data Fusion nécessitent l'ajout d'un pilote JDBC à l'espace de noms. Par exemple, avant de pouvoir exécuter un pipeline avec un plug-in de source de lot MySQL, vous devez ajouter le pilote MySQL compatible à l'espace de noms. Vous pouvez importer ou supprimer des pilotes JDBC dans un espace de noms depuis la page "Admin d'espace de noms" ou directement depuis le Hub. Pour en savoir plus, consultez Pilotes de plug-in.
  • Gestion du contrôle de code source : pour gérer efficacement le processus de développement des pipelines déployés, la gestion du contrôle de code source vous permet d'associer un espace de noms au dépôt de votre système de contrôle de code source. Pour en savoir plus, consultez Gérer les pipelines à l'aide de la gestion du contrôle de code source.
  • Compte de service : pour contrôler l'accès aux ressources Google Cloud , les espaces de noms dans Cloud Data Fusion utilisent l'agent de service de l'API Cloud Data Fusion par défaut.

Pour une meilleure isolation des données, vous pouvez associer un compte de service Identity and Access Management (IAM) personnalisé (appelé "compte de service par espace de noms") à chaque espace de noms. Le compte de service IAM personnalisé, qui peut être différent pour différents espaces de noms, vous permet de contrôler l'accès aux ressources Google Cloud entre les espaces de noms pour les opérations de conception de pipeline dans Cloud Data Fusion, telles que l'aperçu du pipeline, Wrangler et la validation du pipeline. Pour en savoir plus, consultez Contrôle des accès avec un compte de service d'espace de noms.

Étapes suivantes