Créer un flux Cloud SQL à l'aide du flux automatisé

Le flux de configuration de flux automatisé dans Datastream vous permet de répliquer des données d'une instance Cloud SQL vers BigQuery directement depuis la page de présentation de votre instance. Ce flux est compatible avec les sources Cloud SQL pour PostgreSQL, Cloud SQL pour MySQL et Cloud SQL pour SQL Server. Datastream configure automatiquement la connexion au cloud privé virtuel (VPC), les paramètres de la base de données source et les ressources de flux.

Pour utiliser le flux automatisé, l'accès aux services privés doit être activé sur votre instance Cloud SQL source, et celle-ci doit utiliser des interfaces Private Service Connect. Pour en savoir plus sur les exigences liées aux sources, consultez Avant de commencer.

Avant de commencer

  1. Activez les API Datastream, Connectivité réseau et Compute Engine.
  2. Assurez-vous de disposer des autorisations IAM (Identity and Access Management) requises pour créer et gérer des ressources Datastream. Pour en savoir plus, consultez la section suivante.
  3. Créer et configurer une base de données Cloud SQL source pour la réplication Pour en savoir plus, consultez Configurer des sources.
  4. Assurez-vous que votre base de données source est configurée pour utiliser l'accès aux services privés.

  5. Pour les instances Cloud SQL pour PostgreSQL : nous vous recommandons d'activer la réplication logique pour votre instance avant de créer le flux. Si vous n'activez pas la réplication logique, Datastream l'active pour vous, ce qui redémarre votre instance source.

  6. Pour les instances Cloud SQL pour MySQL : activez la récupération à un moment précis pour votre instance Cloud SQL pour MySQL et assurez-vous que la version de votre base de données est la version 8.0.14 ou ultérieure. Datastream n'accepte l'activation de la récupération à un moment précis que dans le niveau de sauvegarde Standard lorsque vous utilisez la configuration de flux automatisée.

  7. Pour les instances Cloud SQL pour SQL Server : assurez-vous que Datastream est compatible avec la version de SQL Server utilisée par votre instance.

Autorisations requises

Pour utiliser le flux de création de flux automatisé, vous devez disposer des rôles ou autorisations IAM (Identity and Access Management) suivants :

  • serviceusage.services.enable, compute.networkAdmin pour activer les API requises et effectuer les tâches de configuration du réseau.
  • cloudsql.admin pour les tâches de configuration d'instance.
  • datastream.admin pour les tâches d'administration que Datastream effectue en votre nom.

Autorisations supplémentaires requises pour Cloud SQL pour PostgreSQL

  • Assurez-vous d'avoir accordé l'accès à tous les schémas et tables de la base de données sélectionnée au rôle postgres ou cloudsqlsuperuser. Étant donné que le flux automatisé inclut par défaut tous les schémas et toutes les tables de la base de données, la création du flux échoue si l'utilisateur de la base de données créé automatiquement ne dispose pas des autorisations nécessaires sur un schéma ou une table.

  • Si vous choisissez de personnaliser les paramètres du flux, votre administrateur de base de données doit également disposer des autorisations GRANT pour le schéma que vous souhaitez répliquer, ainsi que de certaines autorisations supplémentaires pour les tâches administratives et structurelles dans la base de données source. Connectez-vous à votre base de données source et exécutez la commande suivante :

    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
GRANT SELECT on ALL TABLES IN SCHEMA "SCHEMA_NAME" to "USER_NAME" WITH GRANT OPTION;
ALTER DEFAULT PRIVILEGES
IN SCHEMA "SCHEMA_NAME"
GRANT SELECT ON TABLES TO "USER_NAME" WITH GRANT OPTION;
GRANT CREATE ON DATABASE "DATABASE_NAME" TO "USER_NAME";

  • Les futures tables ne sont automatiquement ajoutées au flux que si elles sont créées par l'utilisateur dont vous fournissez les informations de compte pour l'authentification lors du flux automatisé. Si une table est créée par un autre utilisateur, celui-ci doit explicitement accorder à l'utilisateur lecteur Datastream l'autorisation SELECT sur la table.

Créer et démarrer le flux

Pour créer et démarrer un flux, procédez comme suit :

Console

  1. Accédez à la page de présentation de votre instance de base de données Cloud SQL source.

    Accéder à la page Instances Cloud SQL

  2. Sélectionnez l'instance à partir de laquelle vous souhaitez diffuser des données.

  3. Dans la section Répliquer les données dans BigQuery, cliquez sur Démarrer le flux.

  4. Le volet Démarrer le flux pour répliquer les données s'ouvre.

  5. Pour les sources Cloud SQL pour PostgreSQL et Cloud SQL pour MySQL, sous Paramètres du flux, vérifiez les paramètres par défaut du flux que vous créez. Pour les sources Cloud SQL pour SQL Server, passez à la section Personnaliser les paramètres du flux.

  6. Si vous êtes prêt à créer et à lancer votre diffusion, cliquez sur Lancer la diffusion.

Si vous devez modifier les paramètres du flux, cliquez sur Personnaliser.

Personnaliser les paramètres de flux

Lorsque vous cliquez sur Personnaliser, la page Personnaliser les paramètres de flux s'affiche. Assurez-vous de disposer des autorisations requises pour personnaliser les paramètres du flux.

Commencer

  1. Sur la page Premiers pas, indiquez le nom de votre flux dans le champ Nom du flux. Un identifiant unique est renseigné automatiquement.

  2. Dans la section Fournir les détails du compte utilisateur de l'instance, sélectionnez la méthode d'authentification :

    • Authentification IAM pour les bases de données : cette option est disponible si l'identité principale Identity and Access Management (IAM) est attribuée à votre utilisateur. Pour en savoir plus, consultez Principaux IAM. Si vous sélectionnez cette option, vous devez attribuer manuellement le rôle cloudsqlsuperuser et l'autorisation CREATEROLE à votre utilisateur :

      1. Dans la console Google Cloud , accédez à la page Instances Cloud SQL.

      Accéder à la page Instances Cloud SQL

      1. Sélectionnez votre instance Cloud SQL.
      2. Dans le menu de navigation, cliquez sur Cloud SQL Studio, puis connectez-vous.
      3. Dans le volet Explorateur, exécutez la requête suivante pour votre utilisateur :
    GRANT cloudsqlsuperuser TO "USER_NAME";
ALTER ROLE "USER_NAME" CREATEROLE;
    • Authentification intégrée à la base de données : indiquez le nom d'utilisateur et le mot de passe d'un utilisateur disposant du rôle cloudsqlsuperuser. Si vous sélectionnez cette option, assurez-vous que l'utilisateur dispose des autorisations GRANT sur les tables qu'il souhaite répliquer.

  3. Examinez les détails supplémentaires du flux, tels que la région, le chiffrement et les étiquettes. Développez la section Informations supplémentaires sur le flux pour appliquer les modifications, si nécessaire.

  4. Cliquez sur Continuer.

Configurer la source

  1. Sur la page Configurer la source du flux, sélectionnez la base de données à partir de laquelle vous souhaitez répliquer les données.

  2. La liste Objets à inclure sélectionne tous les objets disponibles par défaut. Les objets de la liste sont ceux pour lesquels vous disposez des autorisations nécessaires pour le flux. Pour modifier les objets sélectionnés, modifiez les sélections dans la liste.

  3. Examinez les configurations de flux avancées, telles que le mode de remplissage et le nombre maximal de connexions de remplissage simultanées. Développez la section Configurations de flux avancées pour appliquer les modifications, si nécessaire.

  4. Cliquez sur Continuer.

Configurer la destination

  1. Sur la page Configurer la destination, ajustez les paramètres de destination BigQuery, si nécessaire. Pour en savoir plus, consultez Configurer les informations sur la destination du flux.

Créer et démarrer le flux

  1. Cliquez sur Créer et démarrer plus tard pour créer votre flux et le démarrer plus tard dans Datastream, ou sur Démarrer pour créer et démarrer votre flux immédiatement.

  2. Vous recevez des notifications concernant les tâches effectuées automatiquement pour vous :

    • Datastream crée les ressources de cloud privé virtuel requises, telles que la plage d'adresses IP internes, le sous-réseau et le rattachement de réseau.
    • Datastream configure les tables pour la CDC, configure les emplacements de réplication, configure une publication pour toutes les tables de la base de données et crée un utilisateur Datastream dédié.
    • Datastream crée une configuration de connectivité privée et des profils de connexion source et de destination.

  3. Confirmez que vous souhaitez créer ou créer et démarrer votre flux.

Surveiller le flux

Vous pouvez surveiller les détails de base du flux depuis la page de présentation de votre instance source dans la console Google Cloud . La page affiche des informations telles que l'état du flux, le nom du flux, l'ensemble de données BigQuery de destination et l'identifiant du projet de destination.

Sur la page de présentation, vous pouvez également effectuer des actions telles que le démarrage ou la mise en pause du flux. Pour obtenir des informations de surveillance plus précises, cliquez sur le nom du flux pour accéder à Datastream.

Supprimer le flux

Lorsque vous supprimez un flux que vous avez créé à l'aide du flux automatisé, certaines ressources, telles que l'emplacement de réplication PostgreSQL, sont automatiquement supprimées. Toutefois, vous devez supprimer manuellement les ressources suivantes :

  • La publication. La publication est créée à l'aide de l'utilisateur administrateur de la base de données et ne peut être supprimée que par son propriétaire, donc par défaut, l'utilisateur qui l'a créée.
  • L'utilisateur lecteur Datastream.
  • Profils de connexion source et de destination Datastream
  • Ressources de connectivité privée.
  • Toutes les ressources réseau créées lors du flux automatisé, telles que le sous-réseau et le rattachement de réseau.

Étapes suivantes