Présentation de Cloud Data Fusion : console

Cette page présente la console Cloud Data Fusion, également appelée plan de contrôle. Il s'agit d'un ensemble d'opérations d'API et d'une interface de console Google Cloud qui vous permettent de gérer une instance Cloud Data Fusion. Par exemple, à l'aide de la console, vous pouvez créer, supprimer, redémarrer ou mettre à jour une instance.

Avant de commencer

Présentation de la console Cloud Data Fusion

Les sections suivantes décrivent les aspects importants de la console.

Instances

Une instance est un déploiement unique de Cloud Data Fusion. Pour commencer à utiliser Cloud Data Fusion, vous devez créer une instance dans la Google Cloud console. Vous pouvez créer plusieurs instances Cloud Data Fusion dans un même Google Cloud projet. Vous pouvez spécifier une Google Cloud région pour chaque instance. Chaque instance est un déploiement Cloud Data Fusion unique et indépendant contenant un ensemble de services qui gèrent le cycle de vie, l'orchestration, la coordination et la gestion des métadonnées du pipeline. Ces services s'exécutent à l'aide de ressources de longue durée dans un projet locataire.

Lorsque vous créez l'instance, tenez compte des options suivantes.

Édition

Vous créez l'instance dans l'une des éditions Cloud Data Fusion suivantes : Developer, Basic ou Enterprise. Choisissez l'édition en fonction des critères suivants :

  • Coût
  • Limites de simultanéité pour l'exécution des pipelines
  • Disponibilité du contrôle des accès basé sur les rôles (RBAC)

Les éditions sont destinées aux cas d'utilisation suivants :

Édition Cloud Data Fusion Cas d'utilisation
Édition Developer Pour le développement, les tests ou les intégrations à petite échelle
Édition Basic Pour la production avec des besoins modérés
Édition Enterprise Pour les pipelines de données stratégiques à grande échelle avec RBAC

Instance publique ou privée

En fonction de vos besoins, déterminez si vous avez besoin d'une instance publique ou privée. Les principales différences entre les instances privées et publiques dans Cloud Data Fusion sont la connectivité réseau et la sécurité :

Type d'instance Cloud Data Fusion Comportement
Instance publique
  • Connectivité réseau : utilise des adresses IP publiques pour se connecter à Internet.
  • Accès aux données : accède directement aux sources de données sur l' Internet public.
Pour en savoir plus, consultez Créer une instance publique.
Instance privée
  • Connectivité réseau : utilise des adresses IP privées dans un réseau VPC (cloud privé virtuel).
  • Accès aux données : nécessite des connexions préconfigurées pour accéder aux sources de données. Les connexions suivantes sont acceptées :
    • Sources de données sur site connectées via un VPN ou Cloud Interconnect.
    • Autres Google Cloud services s'exécutant en privé dans le même VPC.

Autorisation et compte de service

Cloud Data Fusion dispose généralement de deux comptes de service :

Compte de service au moment de la conception
Ce compte de service géré par Google, appelé Agent de service de l'API Cloud Data Fusion, est utilisé dans le projet locataire de Cloud Data Fusion pour accéder aux ressources du projet client.
Compte de service au moment de l'exécution
Il s'agit du compte de service Compute Engine par défaut que Cloud Data Fusion crée pour déployer des tâches qui accèdent à d'autres Google Cloud ressources. Par défaut, il est associé à une VM de cluster Managed Service for Apache Spark pour permettre à Cloud Data Fusion d'accéder aux ressources Managed Service for Apache Spark lors de l'exécution d'un pipeline.

Pour en savoir plus, consultez Comptes de service dans Cloud Data Fusion.

Journalisation et surveillance

Cloud Logging et Cloud Monitoring sont essentiels pour obtenir des insights sur l'état et les performances de vos pipelines Cloud Data Fusion. Vous n'activez la journalisation et la surveillance que lorsque vous créez l'instance Cloud Data Fusion.

L'activation de la journalisation et de la surveillance vous permet d'afficher les journaux de pipeline Cloud Data Fusion dans la Google Cloud console sur la page Visionneuse de journaux.

Monitoring fournit des tableaux de bord intégrés pour Cloud Data Fusion. Vous pouvez également créer des tableaux de bord personnalisés pour surveiller des métriques spécifiques.

Intégration de la traçabilité avec Knowledge Catalog

Cloud Data Fusion fournit une intégration avec Knowledge Catalog pour la traçabilité. Pour en savoir plus, consultez Afficher la traçabilité dans Knowledge Catalog.

Chiffrement

Les clés de chiffrement gérées par le client (CMEK) permettent de chiffrer les données au repos avec une clé que vous pouvez contrôler via Cloud Key Management Service. Le chiffrement CMEK permet aux utilisateurs de contrôler les données écrites dans les ressources internes des projets locataires et les données écrites par les pipelines Cloud Data Fusion. Google Cloud Pour en savoir plus, consultez Chiffrement des données géré par le client.

Gérer les autorisations avec le contrôle des accès basé sur les rôles (RBAC)

Cloud Data Fusion vous permet de contrôler avec Identity and Access Management (IAM).

Pour obtenir des autorisations précises pour les actions effectuées dans Cloud Data Fusion : opérations Studio, utilisez RBAC. Pour en savoir plus, consultez la présentation de RBAC.

Mises à niveau de version

Cloud Data Fusion dispose de versions. Vous pouvez mettre à niveau une instance vers une version ultérieure dans la console Cloud Data Fusion. Pour en savoir plus, consultez Gestion des versions dans Cloud Data Fusion.

Étape suivante