Créer un flux Cloud SQL à l'aide du flux automatisé

Cette page explique comment créer un flux à l'aide du flux de configuration automatisé.

Remarque : Le flux de configuration automatisé est disponible lors de la réplication vers BigQuery à partir de sources Cloud SQL gérées telles que Cloud SQL pour PostgreSQL, Cloud SQL pour MySQL et Cloud SQL pour SQL Server. Google Cloud L'accès aux services privés doit être activé pour les instances, et elles doivent utiliser le type de connectivité des interfaces Private Service Connect. Pour en savoir plus sur les exigences concernant la source, consultez la section Avant de commencer.

La configuration automatisée des flux simplifie le processus de transfert de données des Google Cloud bases de données gérées vers BigQuery en réduisant le nombre d'étapes à effectuer. Le flux vous permet de créer un flux directement à partir de la page de présentation de vos instances Cloud SQL. Datastream automatise la sécurisation de la connexion VPC entre le flux et la base de données source, la création de configurations de base de données et de ressources de connexion de flux.

Avant de commencer

1. Activez les API Datastream, Connectivité réseau et Compute Engine.
2. Assurez-vous de disposer des autorisations Identity and Access Management (IAM) requises pour créer et gérer des ressources Datastream. Pour en savoir plus, consultez la section qui suit.
3. Créez et configurez une base de données Cloud SQL source pour la réplication. Pour en savoir plus, consultez la section Configurer des sources.
4. Assurez-vous que votre base de données source est configurée pour utiliser l'accès aux services privés.

5. Pour les instances Cloud SQL pour PostgreSQL : nous vous recommandons d'activer la réplication logique pour votre instance avant de créer le flux. Si vous n'activez pas la réplication logique, Datastream l'active pour vous, ce qui redémarre votre instance source.

   **Remarque** : Pour savoir comment activer la réplication logique pour une instance Cloud SQL pour PostgreSQL, consultez Configurer une base de données Cloud SQL pour PostgreSQL pour la CDC.

6. Pour les instances Cloud SQL pour MySQL : activez la récupération à un moment précis pour votre instance Cloud SQL pour MySQL et assurez-vous que la version de votre base de données est 8.0.14 ou ultérieure. Datastream n'accepte l'activation de la récupération à un moment précis que dans le niveau de sauvegarde Standard lorsque vous utilisez la configuration automatisée des flux.

   Remarque : Datastream utilise la réplication basée sur GTID lorsque vous utilisez le flux de configuration automatisé.

7. Pour les instances Cloud SQL pour SQL Server : assurez-vous que Datastream est compatible avec la version de SQL Server utilisée par votre instance.

Autorisations requises

Pour utiliser le flux de création automatisée, vous avez besoin des rôles ou autorisations Identity and Access Management (IAM) suivants :

• serviceusage.services.enable, compute.networkAdmin pour activer les API requises et effectuer des tâches de configuration réseau.
• cloudsql.admin pour les tâches de configuration d'instance.
• datastream.admin pour les tâches d'administration que Datastream effectue en votre nom.

Autorisations supplémentaires requises pour Cloud SQL pour PostgreSQL

• Pour les instances Cloud SQL pour PostgreSQL, votre utilisateur administrateur de base de données a également besoin des autorisations GRANT pour le schéma que vous souhaitez répliquer, ainsi que d'autorisations supplémentaires pour les tâches administratives et structurelles au sein de la base de données source. Connectez-vous à votre base de données source et exécutez la commande suivante :

  GRANT cloudsqlsuperuser TO "USER_NAME";
  ALTER ROLE "USER_NAME" CREATEROLE;
  GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
  ALTER DEFAULT PRIVILEGES
  IN SCHEMA "SCHEMA_NAME"
  GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
  GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

  Remarque : Le rôle cloudsqlsuperuser est requis pour que Datastream crée la publication pour toutes les tables de votre instance de base de données.

• Les futures tables ne sont automatiquement ajoutées au flux que si elles sont créées par l'utilisateur dont vous fournissez les informations de compte pour l'authentification lors du flux automatisé. Si une future table est créée par un autre utilisateur, celui-ci doit explicitement accorder à l'utilisateur lecteur Datastream l'autorisation SELECT sur la table.

Créer et démarrer le flux

Pour créer et démarrer un flux, procédez comme suit :

Console

Commencer

1. Accédez à la page de présentation de votre instance de base de données Cloud SQL source.

   Accéder à la page Instances Cloud SQL

2. Dans la section Stream data into BigQuery (Diffuser des données en streaming dans BigQuery), cliquez sur Create stream (Créer un flux).

3. Sur la page Get started (Commencer), indiquez le nom de votre flux dans le champ Stream name (Nom du flux). Un identifiant unique est renseigné automatiquement.

4. Dans la section Provide the instance user account details (Fournir les informations du compte utilisateur de l'instance), sélectionnez la méthode d'authentification :

   • Authentification IAM pour les bases de données : cette option est disponible si l'identité principale Identity and Access Management (IAM) est attribuée à votre utilisateur. Pour en savoir plus, consultez la section Principaux IAM. Si vous sélectionnez cette option, vous devez accorder manuellement le rôle cloudsqlsuperuser et l'autorisation CREATEROLE à votre utilisateur :

     1. Dans Google Cloud laconsole, accédez à la page Instances Cloud SQL.

     Accéder à la page Instances Cloud SQL

     1. Sélectionnez votre instance Cloud SQL.
     2. Dans le menu de navigation, cliquez sur Cloud SQL Studio et connectez-vous.
     3. Dans le volet Explorer (Explorateur), exécutez la requête suivante pour votre utilisateur :

   GRANT cloudsqlsuperuser TO "USER_NAME";
   ALTER ROLE "USER_NAME" CREATEROLE;

   • Built-in database authentication (Authentification intégrée à la base de données) : fournissez le nom d'utilisateur et le mot de passe d'un utilisateur disposant du rôle cloudsqlsuperuser. Si vous sélectionnez cette option, assurez-vous que l'utilisateur dispose des autorisations GRANT sur les tables qu'il souhaite répliquer.

5. Vérifiez les informations supplémentaires sur le flux, telles que la région, le chiffrement et les libellés. Développez la section Additional stream details (Informations supplémentaires sur le flux) pour appliquer des modifications, si nécessaire.

6. Cliquez sur Continuer.

Configurer la source

1. Sur la page Configure stream source (Configurer la source du flux), sélectionnez la base de données à partir de laquelle vous souhaitez répliquer les données.

   Remarque : Datastream n'affiche que les bases de données pour lesquelles votre utilisateur dispose des autorisations requises. Si vous ne voyez pas une base de données que vous souhaitez utiliser, cela peut signifier que votre utilisateur ne dispose pas des autorisations nécessaires.

2. La liste Objects to include (Objets à inclure) sélectionne tous les objets disponibles par défaut. Les objets de la liste sont ceux pour lesquels vous disposez des autorisations nécessaires pour la diffusion en streaming. Pour modifier les objets sélectionnés, modifiez les sélections dans la liste.

3. Vérifiez les configurations avancées du flux, telles que le mode de remplissage et le nombre maximal de connexions de remplissage simultanées. Développez la section Advanced stream configurations (Configurations avancées du flux) pour appliquer des modifications, si nécessaire.

4. Cliquez sur Continuer.

Configurer la destination

1. Sur la page Configure destination (Configurer la destination), ajustez les paramètres de destination BigQuery, si nécessaire. Pour en savoir plus, consultez la section Configurer les informations sur la destination du flux.

Créer et démarrer le flux

1. Cliquez sur Create and start later (Créer et démarrer plus tard) pour créer votre flux et le démarrer ultérieurement dans Datastream, ou sur Start (Démarrer) pour créer et démarrer votre flux immédiatement.

   Important : Si vous cliquez sur Start (Démarrer), votre instance Cloud SQL pour PostgreSQL redémarre. Si le décodage logique n'est pas activé pour votre instance, Datastream l'active pour vous.

2. Vous êtes informé des tâches qui sont effectuées automatiquement pour vous :

   • Datastream crée les ressources Virtual Private Cloud requises, telles que la plage d'adresses IP internes, le sous-réseau et la pièce jointe réseau.
   • Datastream configure les tables pour la CDC, configure les emplacements de réplication, configure une publication pour toutes les tables de la base de données et crée un utilisateur Datastream dédié.
   • Datastream crée une configuration de connectivité privée et des profils de connexion source et de destination.

3. Confirmez que vous souhaitez créer ou créer et démarrer votre flux.

Surveiller le flux

Vous pouvez surveiller les informations de base sur le flux à partir de la page de présentation de votre instance source dans la Google Cloud console. La page affiche des informations telles que l'état du flux, le nom du flux, l'ensemble de données BigQuery de destination et l'identifiant du projet de destination.

À partir de la page de présentation, vous pouvez également effectuer des actions telles que le démarrage ou la mise en pause du flux. Pour obtenir des informations de surveillance plus précises, cliquez sur le nom du flux pour accéder à Datastream.

Supprimer le flux

Lorsque vous supprimez un flux que vous avez créé à l'aide du flux automatisé, certaines ressources, telles que l'emplacement de réplication PostgreSQL, sont supprimées automatiquement. Toutefois, vous devez supprimer manuellement certaines ressources :

• La publication. La publication est créée à l'aide de l'utilisateur administrateur de la base de données et ne peut être supprimée que par son propriétaire, donc par défaut, l'utilisateur qui l'a créée.
• L'utilisateur lecteur Datastream.
• Les profils de connexion source et de destination Datastream.
• Les ressources de connectivité privée.
• Toutes les ressources réseau créées lors du flux automatisé, telles que le sous-réseau et la pièce jointe réseau.

Étape suivante

• Découvrez comment créer un flux manuellement.
• Découvrez comment surveiller les flux.