Créer un job d'exportation planifié pour une instance Looker (Google Cloud Core)

Cette page explique comment configurer une tâche d'exportation programmée pour une instance Looker (Google Cloud Core). Les exportations programmées s'exécutent toutes les 24 heures, à partir d'une heure de début que vous définissez. L'exportation est enregistrée dans un bucket Cloud Storage. Les exportations programmées n'entraînent aucun temps d'arrêt pour l'instance Looker (Google Cloud Core).

Une exportation programmée inclut toutes les données, configurations et contenus d'une instance, à l'exception des éléments suivants :

  • BigQuery ne sont pas exportées.

  • Les données Secret Manager ne sont pas exportées.

  • Les rapportsData Studio ne sont pas exportés.

  • Les paramètres de la Google Cloud console, qui doivent être définis dans la Google Cloud console pour chaque instance, ne sont pas exportés. Toutefois, les paramètres du panneau Admin de Looker dans l'application Looker (Google Cloud Core) sont exportés.

  • Les jetons OAuth stockés dans une instance ne sont pas exportés. Si OAuth est utilisé pour des connexions de base de données individuelles, après l'importation, chaque utilisateur devra se reconnecter et actualiser ses jetons pour toutes les connexions de base de données qui utilisent OAuth.

  • Si vous exportez et importez des données dans une instance Looker (Google Cloud Core) qui utilise une configuration réseau différente de celle de l'instance qui a créé l'exportation, vous devrez peut-être configurer vos connexions aux services externes différemment.

  • Si une exportation à partir d'une instance d'un Google Cloud projet est déplacée vers une instance d'un autre projet, les autorisations IAM permettant aux utilisateurs d'accéder à l'instance doivent être définies dans le nouveau projet.

Le processus d'exportation programmée prend de quelques minutes à plusieurs heures, selon la taille de l'instance. Lorsqu'un processus d'exportation programmée est en cours d'exécution, les opérations d'importation et les exportations ponctuelles ne sont pas disponibles.

Une fois qu'une tâche d'exportation programmée est configurée, vous pouvez configurer un script pour importer quotidiennement les données exportées dans une instance de sauvegarde.

Rôle requis

Pour obtenir les autorisations nécessaires pour créer une tâche d'exportation programmée pour Looker (Google Cloud Core), demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet dans lequel l'instance a été créée :

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Avant de commencer

  1. Créez un bucket Cloud Storage pour stocker l'artefact d'exportation.
  2. Créez une clé de chiffrement gérée par le client (CMEK) dans Cloud Key Management Service. Cette étape est nécessaire pour chiffrer les données de l'exportation programmée, même si votre instance n'utilise pas de CMEK. La clé CMEK doit se trouver dans une région différente de celle de votre instance Looker (Google Cloud Core) ou être une clé globale.
  3. Identifiez le compte de service de votre instance Looker (Google Cloud Core).
  4. Accordez les rôles et autorisations IAM (Identity and Access Management) requis suivants au compte de service de l'instance :
    • Accordez le roles/storage.objectAdmin rôle sur le bucket Cloud Storage qui stocke votre exportation.
    • Accordez le roles/cloudkms.cryptoKeyEncrypterDecrypter rôle sur la clé CMEK que vous utilisez pour chiffrer vos données.
    • Vous pouvez également créer un rôle personnalisé avec les autorisations suivantes :
      • storage.objects.create
      • storage.objects.delete
      • cloudkms.cryptoKeyVersions.useToEncrypt
      • cloudkms.cryptoKeyVersions.useToDecrypt

Configurer une tâche d'exportation programmée

Vous pouvez configurer une tâche d'exportation programmée à l'aide de la Google Cloud console ou de gcloud.

Console

  1. Dans la Google Cloud console, accédez à la page Instances de Looker (Google Cloud Core).

    Accéder aux instances Looker

  2. Cliquez sur le nom de l'instance pour laquelle vous souhaitez programmer une tâche d'exportation.

  3. Cliquez sur l'onglet Exporter.

  4. Développez la section Programmer une tâche d'exportation et saisissez les informations suivantes :

    1. Heure de début : heure de la journée (au format HH:MM) à laquelle effectuer l'exportation quotidienne , en heure locale.
    2. Bucket Cloud Storage : URI de votre bucket Cloud Storage, par exemple : gs://bucket-name/export-path.
    3. Clé Cloud KMS : sélectionnez la clé Cloud Key Management Service qui sera utilisée pour chiffrer les données de l'instance.

  5. Cliquez sur Définir le planning.

gcloud

  1. Pour configurer une exportation périodique, exécutez la commande gcloud suivante :
gcloud looker instances update INSTANCE_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --periodic-export-gcs-uri="gs://BUCKET_NAME/EXPORT_PATH" \
    --periodic-export-kms-key="KMS_KEY_NAME" \
    --periodic-export-start-time="TIME"

Remplacez les éléments suivants :

  • INSTANCE_NAME: nom de votre instance Looker (Google Cloud Core).
  • PROJECT_ID : ID de votre projet. Google Cloud
  • REGION: région dans laquelle se trouve votre instance.
  • BUCKET_NAME: nom de votre bucket Cloud Storage.
  • EXPORT_PATH: chemin d'accès à l'artefact d'exportation dans le bucket.
  • KMS_KEY_NAME : le nom complet de la ressource de votre clé CMEK.
  • TIME: heure de la journée (au format HH:MM) à laquelle effectuer l'exportation quotidienne, en heure UTC.

Vérifier la configuration de l'exportation

Une fois que vous avez défini une planification, vous pouvez afficher la configuration de la tâche d'exportation programmée sur la page Détails de l'instance.

  1. Dans la Google Cloud console, accédez à la page Instances de Looker (Google Cloud Core).

    Accéder aux instances Looker

  2. Cliquez sur le nom de votre instance.

  3. Sur la page Détails de l'instance, consultez la configuration Planification de l'exportation, qui inclut l'heure de début programmée chaque jour en heure locale. L'heure de début inclut un lien vers la page Exporter de l'instance.

Arrêter une exportation périodique

Pour arrêter une exportation périodique, effacez les champs de configuration.

Console

  1. Dans la Google Cloud console, accédez à la page Instances.

    Accéder aux instances Looker

  2. Cliquez sur le nom de l'instance.

  3. Cliquez sur l'onglet Exporter.

  4. Dans la section Définir la planification de l'exportation périodique, effacez les valeurs des champs Bucket Cloud Storage, Clé de chiffrement gérée par le client, et Heure.

  5. Cliquez sur Effacer la planification.

gcloud

  1. Pour arrêter une exportation périodique, exécutez la commande gcloud suivante :
gcloud looker instances update INSTANCE_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --clear-periodic-export-config

Remplacez les éléments suivants :

  • INSTANCE_NAME: nom de votre instance Looker (Google Cloud Core).
  • PROJECT_ID : ID de votre projet. Google Cloud
  • REGION: région dans laquelle se trouve votre instance.

Étape suivante