Créer un flux Spanner à l'aide du flux automatisé

Cette page explique comment créer un flux Spanner à l'aide du flux de configuration automatisé.

La configuration automatisée des flux simplifie le processus de déplacement des données des bases de données Spanner vers des destinations telles que BigQuery en réduisant le nombre d'étapes à effectuer. Le flux vous permet de créer un flux directement à partir de la page de présentation de votre instance ou base de données Spanner. Datastream automatise la sécurisation de la connexion entre le flux et la base de données source, la création de configurations de base de données et de ressources de connexion de flux.

Niveau sans frais

Datastream vous permet de diffuser des données de Spanner vers BigQuery à l'aide du niveau sans frais, qui fournit jusqu'à 100 Gio de données de capture des données modifiées par mois. Pour en savoir plus, consultez la page Tarifs de Datastream.

Avant de commencer

Avant de configurer un flux Datastream pour Spanner, vérifiez que votre environnement répond aux prérequis suivants :

  1. Activez les API requises dans votre Google Cloud projet :
    • API Datastream (datastream.googleapis.com)
    • API Cloud Spanner (spanner.googleapis.com)
    • API BigQuery (bigquery.googleapis.com)
  2. Assurez-vous de disposer des autorisations IAM (Identity and Access Management) requises pour créer et gérer des ressources Datastream. Pour en savoir plus, consultez la section Autorisations requises.

  3. Consultez les limites de la source Spanner :

    • Les colonnes de type de données PROTO et ENUM ne sont pas acceptées.
    • Les tableaux de types de données DATE ou TIMESTAMP ne sont pas acceptés.
    • Assurez-vous d'avoir correctement configuré la fenêtre de conservation de votre flux de modifications. Si Datastream est en retard sur la fenêtre de conservation, vous risquez de perdre des données et le flux peut échouer.

Autorisations requises

Pour utiliser le flux de création automatisé, assurez-vous que l'utilisateur ou le compte de service qui configure le flux dispose des rôles ou autorisations IAM suivants :

  • Administrateur Datastream (roles/datastream.admin) ou Éditeur Datastream (roles/datastream.editor) pour créer et gérer le flux et les profils de connexion.
  • Lecteur de base de données Spanner (roles/spanner.databaseReader) ou Administrateur Spanner (roles/spanner.admin) sur la base de données source pour accéder aux données et suivre les modifications.
  • Éditeur de données BigQuery sur l'ensemble de données de destination.

Créer et démarrer le flux

Pour créer et démarrer un flux à l'aide du flux automatisé, procédez comme suit :

Console

  1. Dans la Google Cloud console, accédez à la page Instances Spanner.

Accéder aux instances Spanner

  1. Sélectionnez l'instance et la base de données Spanner à partir desquelles vous souhaitez diffuser des données.

  2. Créez et démarrez automatiquement votre flux de l'une des manières suivantes :

    • Sur la page de présentation des instances, cliquez sur Démarrer le flux sous Réplication des données vers BigQuery.
    • Sur la page de présentation de la base de données, dans l'onglet Intégrations, cliquez sur Créer un flux sous Répliquer les données dans BigQuery.

  3. Le volet Démarrer le flux pour répliquer les données s'ouvre.

  4. Sous Paramètres du flux, examinez les paramètres par défaut du flux que vous créez.

  5. Si vous créez votre flux à partir de la page de présentation des instances, vous pouvez modifier la base de données source en développant le menu déroulant correspondant et en sélectionnant une autre valeur.

  6. Vous pouvez modifier un flux en développant le menu déroulant Modifier le flux et en sélectionnant une autre valeur.

  7. Lorsque vous êtes prêt à créer et à démarrer votre flux, cliquez sur Démarrer le flux.

Surveiller le flux

Pour surveiller les informations de base sur le flux à partir de la page de présentation de votre base de données Spanner source dans la Google Cloud console, cliquez sur l'onglet Flux de modifications , puis sur le flux que vous souhaitez afficher.

Supprimer le flux

Lorsque vous supprimez un flux créé à l'aide du flux automatisé, Datastream supprime l'objet de flux et les profils de connexion associés créés pour le flux.

Toutefois, vous devez supprimer manuellement tous les flux de modifications Spanner ou ressources de destination créés indépendamment s'ils ne sont plus nécessaires.

Étape suivante