Configurer les flux de modifications

Si vous souhaitez suivre les modifications apportées aux données d'une table Bigtable, vous pouvez activer un flux de modifications pour la table, puis le lire à l'aide d'une application telle que Dataflow. Avant de lire ce document, consultez la présentation des flux de modifications. En particulier, assurez-vous de connaître les coûts engendrés par les modifications de flux.

Cette page explique comment activer ou désactiver un flux de modifications, et comment modifier sa période de conservation.

Pour savoir comment créer une table avec un flux de modifications activé, consultez Créer une table.

Rôle requis

Pour obtenir les autorisations nécessaires pour activer, désactiver ou modifier un flux de modifications Bigtable, demandez à votre administrateur de vous accorder le rôle IAM suivant.

  • Administrateur Bigtable (roles/bigtable.admin) sur l'instance Bigtable qui contient la table à partir de laquelle vous prévoyez de diffuser les modifications

Activer un flux de modifications

Pour activer un flux de modifications sur une table existante, procédez comme suit :

Console

  1. Dans la console Google Cloud , ouvrez la liste des instances Bigtable.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance contenant la table pour laquelle vous souhaitez activer un flux de modifications.

  3. Cliquez sur Tables dans le volet de gauche.

    La page Tables affiche une liste des tables de l'instance.

  4. Cliquez sur Modifier pour la table pour laquelle vous souhaitez activer un flux de modifications.

  5. Cliquez sur Activer le flux de modifications.

  6. Dans le champ Heure d'expiration, saisissez un nombre compris entre 1 et 7 pour configurer le nombre de jours pendant lesquels les enregistrements du flux de données doivent être conservés.

  7. Cliquez sur Enregistrer.

gcloud

Pour activer un flux de modifications sur une table, utilisez la commande gcloud bigtable instances tables update.

  gcloud bigtable instances tables update TABLE_ID \
        --instance=INSTANCE_ID \
        --project=PROJECT_ID \
        --change-stream-retention-period=CHANGE_STREAM_RETENTION_PERIOD

Remplacez les éléments suivants :

  • TABLE_ID : ID de la table dont vous souhaitez diffuser les modifications
  • INSTANCE_ID : instance contenant la table
  • PROJECT_ID : projet contenant l'instance
  • CHANGE_STREAM_RETENTION_PERIOD : durée pendant laquelle Bigtable doit conserver les données du flux de modifications pour la table. La durée doit être comprise entre un et sept jours, et doit être exprimée sous la forme d'un nombre et d'une lettre pour l'unité. Les unités acceptables sont les jours (d), les heures (h), les minutes (m) et les secondes (s). Exemple : 5d

Désactiver un flux de modifications

Vous pouvez désactiver le flux de modifications d'une table à tout moment. Les enregistrements de flux de données créés avant la désactivation du flux de modifications continuent de consommer de l'espace de stockage jusqu'à la prochaine compression, mais vous n'êtes plus facturé pour cet espace de stockage. Vous ne pouvez pas lire un flux de modifications après l'avoir désactivé, y compris les modifications enregistrées avant la désactivation.

Console

  1. Dans la console Google Cloud , ouvrez la liste des instances Bigtable.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance dont vous souhaitez consulter les tables.

  3. Cliquez sur Tables dans le volet de gauche.

    La page Tables affiche une liste des tables de l'instance.

  4. Cliquez sur Modifier pour la table dont vous souhaitez désactiver la configuration du flux de modifications.

  5. Décochez la case Activer le flux de modifications.

  6. Cliquez sur Enregistrer.

gcloud

Pour désactiver un flux de modifications sur une table, utilisez la commande gcloud bigtable instances tables update.

  gcloud bigtable instances tables update TABLE_ID \
        --instance=INSTANCE_ID \
        --project=PROJECT_ID \
        --clear-change-stream-retention-period

Remplacez les éléments suivants :

  • TABLE_ID : ID de la table dont vous souhaitez diffuser les modifications
  • INSTANCE_ID : instance contenant la table
  • PROJECT_ID : projet contenant l'instance

Modifier la durée de conservation d'un flux de modifications

Vous pouvez modifier le nombre de jours pendant lesquels Bigtable conserve les enregistrements de votre flux de modifications. Si vous réduisez le nombre de jours, les enregistrements diffusés avant la modification de la configuration continuent de consommer de l'espace de stockage jusqu'à la prochaine compression. Après la modification de la configuration, vous ne pouvez diffuser en flux continu que les modifications apportées au cours de la nouvelle période spécifiée.

Si vous augmentez la durée de conservation, cela ne s'applique pas aux flux de modifications existants. Ils seront conservés pendant le nouveau nombre de jours à partir du moment où vous modifierez la configuration.

Console

  1. Dans la console Google Cloud , ouvrez la liste des instances Bigtable.

    Ouvrir la liste des instances

  2. Cliquez sur l'instance dont vous souhaitez consulter les tables.

  3. Cliquez sur Tables dans le volet de gauche.

    La page Tables affiche une liste des tables de l'instance.

  4. Cliquez sur Modifier pour la table dont vous souhaitez modifier la configuration du flux de modifications.

  5. Dans le champ "Délai d'expiration", saisissez un nombre compris entre 1 et 7 pour indiquer le nombre de jours pendant lesquels les enregistrements du flux de données doivent être conservés.

  6. Cliquez sur Enregistrer.

gcloud

Pour modifier la période de conservation du flux de modifications d'une table, utilisez la commande gcloud bigtable instances tables update.

  gcloud bigtable instances tables update TABLE_ID \
        --instance=INSTANCE_ID \
        --project=PROJECT_ID \
        --change-stream-retention-period=CHANGE_STREAM_RETENTION_PERIOD

Remplacez les éléments suivants :

  • TABLE_ID : ID de la table dont vous souhaitez diffuser les modifications
  • INSTANCE_ID : instance contenant la table
  • PROJECT_ID : projet contenant l'instance
  • CHANGE_STREAM_RETENTION_PERIOD : durée pendant laquelle Bigtable doit conserver les données du flux de modifications pour la table. La durée doit être comprise entre un et sept jours, et exprimée sous la forme d'un nombre et d'une lettre pour l'unité. Les unités acceptables sont les jours (d), les heures (h), les minutes (m) et les secondes (s). Exemple : 5d

Étapes suivantes