Créer un flux AlloyDB à l'aide du flux automatisé

Cette page explique comment créer un flux AlloyDB pour PostgreSQL à l'aide du processus de configuration automatisé.

La configuration automatisée des flux simplifie le processus de transfert de données des clusters AlloyDB pour PostgreSQL vers BigQuery en réduisant le nombre d'étapes à effectuer. Ce processus vous permet de créer un flux directement à partir de la page de présentation de votre cluster AlloyDB pour PostgreSQL.

Un déploiement AlloyDB pour PostgreSQL se compose d'un cluster principal, qui contient une instance principale. Il peut également inclure des clusters secondaires et des instances secondaires. Datastream crée toujours le flux à partir de l'instance principale du cluster principal.

Datastream automatise la sécurisation de la connexion VPC entre le flux et le cluster source, la création de configurations de base de données et de ressources de connexion de flux.

Avant de commencer

  1. Activez les API Datastream, Connectivité réseau et Compute Engine.
  2. Assurez-vous de disposer des autorisations IAM (Identity and Access Management) requises pour créer et gérer des ressources Datastream. Pour en savoir plus, consultez la section qui suit.
  3. Créez et configurez un cluster AlloyDB pour PostgreSQL source pour la réplication. Pour en savoir plus, consultez Configurer une base de données AlloyDB pour PostgreSQL pour la CDC.

  4. Nous vous recommandons d'activer la réplication logique pour votre cluster avant de créer le flux. Si vous ne l'activez pas, Datastream le fait pour vous, ce qui redémarre votre instance source.

    Pour savoir comment activer la réplication logique pour un cluster AlloyDB pour PostgreSQL, consultez Configurer une base de données AlloyDB pour PostgreSQL pour la CDC.

  5. Assurez-vous que votre cluster source est configuré pour utiliser l'accès aux services privés.

Autorisations requises

Pour utiliser le processus de création automatisée des flux, vous avez besoin des rôles ou autorisations IAM (Identity and Access Management) suivants :

  • serviceusage.services.enable, compute.networkAdmin pour activer les API requises et effectuer des tâches de configuration réseau.
  • alloydb.admin pour les tâches de configuration de cluster et d'instance.
  • datastream.admin pour les tâches d'administration que Datastream effectue en votre nom.

Si vous choisissez de personnaliser les paramètres du flux, votre utilisateur administrateur de base de données a également besoin des autorisations GRANT pour le schéma que vous souhaitez répliquer, ainsi que d'autorisations supplémentaires pour les tâches administratives et structurelles au sein de la base de données source. Connectez-vous à votre base de données source et exécutez la commande suivante :

  GRANT alloydbsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

Tables futures

Les tables futures ne sont ajoutées automatiquement au flux que si elles sont créées par l'utilisateur dont vous fournissez les informations de compte pour l'authentification lors du processus automatisé. Si une table future est créée par un autre utilisateur, celui-ci doit explicitement accorder à l'utilisateur lecteur Datastream l'autorisation SELECT sur la table.

Créer et démarrer le flux

Pour créer et démarrer un flux, procédez comme suit :

Console

  1. Accédez à la page de présentation de vos clusters AlloyDB pour PostgreSQL sources.

    Accéder à AlloyDB pour PostgreSQL

  2. Cliquez sur le cluster principal à partir duquel vous souhaitez diffuser des données.

  3. Créez et démarrez automatiquement votre flux de l'une des manières suivantes :

    1. Sur la page Détails du cluster, sous Réplication des données, cliquez sur Démarrer le flux.
    2. Dans la section Intégrations, cliquez sur Démarrer le flux sous Répliquer les données dans BigQuery.
    3. Dans l'onglet Launchpad, sous Intégrer facilement à d'autres Google Cloud produits, cliquez sur Répliquer les données dans BigQuery.

  4. Le volet Démarrer le flux pour répliquer les données s'ouvre.

  5. Sous Paramètres du flux, examinez les paramètres par défaut du flux que vous créez.

  6. Vous pouvez modifier la base de données source en développant le menu déroulant correspondant et en sélectionnant une autre valeur.

  7. Lorsque vous êtes prêt à créer et à démarrer votre flux, cliquez sur Démarrer le flux.

Si vous devez modifier les paramètres du flux, cliquez sur Personnaliser.

Personnaliser les paramètres de flux

Lorsque vous cliquez sur Personnaliser, la page Personnaliser les paramètres de flux s'affiche. Assurez-vous de disposer des autorisations requises pour personnaliser les paramètres du flux.

Commencer

  1. Sur la page Commencer, indiquez le nom de votre flux dans le champ Nom du flux. Le champ ID de flux est renseigné automatiquement.

  2. Dans la section Fournir les informations du compte utilisateur de l'instance, sélectionnez la méthode d'authentification :

    • Authentification IAM pour les bases de données : cette option est disponible si l'identité principale IAM (Identity and Access Management) est attribuée à votre utilisateur. Pour en savoir plus, consultez la section Principes IAM. Si vous sélectionnez cette option, vous devez accorder manuellement le rôle alloydbsuperuser et l'autorisation CREATEROLE à votre utilisateur :

      1. Dans la Google Cloud console, accédez à la page AlloyDB pour les clusters PostgreSQL.

      Accéder à AlloyDB pour PostgreSQL

      1. Sélectionnez votre cluster AlloyDB pour PostgreSQL.
      2. Dans le menu de navigation, cliquez sur AlloyDB pour PostgreSQL Studio , puis connectez-vous.
      3. Dans le volet Explorateur, exécutez la requête suivante pour votre utilisateur :
    GRANT alloydbsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • Authentification intégrée à la base de données : fournissez le nom d'utilisateur et le mot de passe d'un utilisateur disposant du rôle alloydbsuperuser. Si votre utilisateur ne dispose pas du rôle alloydbsuperuser, suivez les étapes décrites dans la section Authentification IAM pour les bases de données afin de l'accorder manuellement. Si vous sélectionnez l'authentification intégrée à la base de données, assurez-vous également que l'utilisateur dispose des autorisations GRANT sur les tables qu'il souhaite répliquer.

  3. Consultez d'autres détails sur le flux, tels que la région, le chiffrement et les libellés. Développez la section Détails supplémentaires sur le flux pour appliquer des modifications, si nécessaire.

  4. Cliquez sur Continuer.

Configurer la source

  1. Sur la page Configurer la source, sélectionnez la base de données à partir de laquelle vous souhaitez répliquer les données.

  2. La liste Objets sélectionnés sélectionne tous les objets disponibles par défaut. Les objets de la liste sont ceux pour lesquels vous disposez des autorisations nécessaires pour la diffusion. Pour modifier les objets sélectionnés, modifiez les sélections dans la liste.

  3. Consultez les configurations avancées du flux, telles que le mode de remplissage et le nombre maximal de connexions de remplissage simultanées. Développez la section Configurations avancées du flux pour appliquer des modifications, si nécessaire.

  4. Cliquez sur Continuer.

Configurer la destination

  1. Sur la page Configurer la destination, ajustez les paramètres de destination BigQuery, si nécessaire. Pour en savoir plus, consultez Configurer les informations concernant la destination pour le flux.

Créer et démarrer le flux

  1. Cliquez sur Créer et démarrer pour créer et démarrer votre flux, ou sur Créer sans démarrer pour créer votre flux et le démarrer ultérieurement dans Datastream.

  2. Vous êtes informé des tâches qui sont effectuées automatiquement pour vous :

    • Datastream crée les ressources de cloud privé virtuel requises, telles qu'une plage d'adresses IP internes, un sous-réseau et un rattachement réseau.
    • Datastream configure les tables pour la CDC, configure les emplacements de réplication, configure une publication pour toutes les tables de la base de données et crée un utilisateur Datastream dédié.
    • Datastream crée une configuration de connectivité privée et des profils de connexion source et de destination.

  3. Confirmez que vous souhaitez créer et démarrer votre flux.

Contrôler le flux

Vous pouvez surveiller les informations de base sur le flux à partir de la page de présentation de votre instance source dans la Google Cloud console. La page affiche des informations telles que l'état du flux, le nom du flux, l'ensemble de données BigQuery de destination et l'identifiant du projet de destination.

À partir de la page de présentation, vous pouvez également effectuer des actions telles que le démarrage ou la mise en pause du flux. Pour obtenir des informations de surveillance plus précises, cliquez sur le nom du flux pour accéder à Datastream.

Supprimer le flux

Lorsque vous supprimez un flux que vous avez créé à l'aide du processus automatisé, certaines ressources, telles que l'emplacement de réplication PostgreSQL, sont supprimées automatiquement. Toutefois, vous devez supprimer manuellement certaines ressources :

  • La publication. La publication est créée à l'aide de l'utilisateur administrateur de base de données et ne peut être supprimée que par son propriétaire, donc par défaut, l'utilisateur qui l'a créée.
  • L'utilisateur lecteur Datastream.
  • Les profils de connexion source et de destination Datastream
  • Les ressources de connectivité privée.
  • Toutes les ressources réseau créées lors du processus automatisé, telles que le sous-réseau et le rattachement réseau.

Étape suivante