Charger des données Mailchimp dans BigQuery

Vous pouvez charger des données de Mailchimp vers BigQuery à l'aide du Service de transfert de données BigQuery pour Mailchimp. Avec le service de transfert de données BigQuery, vous pouvez planifier des tâches de transfert récurrentes qui ajoutent vos dernières données de Mailchimp à BigQuery. Le connecteur Mailchimp est compatible avec plusieurs comptes, y compris les comptes Mailchimp Standard et Express.

Limites

  • L'API Marketing de Mailchimp n'accepte pas plus de 10 connexions simultanées par utilisateur. Si vous dépassez cette limite, l'erreur 429: TooManyRequests: You have exceeded the limit of 10 simultaneous connections
      s'affiche.
    • Pour éviter d'atteindre cette limite de débit, nous vous recommandons de n'exécuter qu'un seul transfert de données par compte Mailchimp.
    • Pour en savoir plus, consultez le glossaire des erreurs.
  • Le type de données Integer dans Mailchimp a une valeur maximale acceptée de 2 147 483 647 pour tous les objets.
    • Toutefois, certains champs Mailchimp acceptent des valeurs plus élevées, comme le champ Quantity dans EcommerceOrderLines et EcommerceCartLines.

Limites des champs de tableau

Le connecteur Mailchimp n'est pas compatible avec les champs ARRAY dans les objets Mailchimp suivants :

Objet Mailchimp Champs ARRAY non compatibles
Campaigns VariateSettings_SubjectLines
VariateSettings_SendTimes
VariateSettings_FromNames
VariateSettings_ReplyToAddresses
VariateSettings_Contents
VariateSettings_Combinations
EcommerceCarts Lines
EcommerceProducts Variants
ListMembers TagsAggregate
ListMergeFields Options_Choices
Lists Modules
AuthorizedApps Users
AutomationEmails Settings_AutoFbPost
CampaignOpenEmailDetails Opens
EcommerceProductImages VariantIds
ListSignupForms Contents, Styles
ReportEmailActivity Activity
Reports Timewarp

Avant de commencer

Les sections suivantes décrivent les prérequis à remplir avant de créer un transfert de données Mailchimp.

Prérequis Mailchimp

Pour activer les transferts de données de Mailchimp vers BigQuery, vous devez disposer d'une clé API Mailchimp pour l'autorisation et l'accès. Pour savoir comment obtenir une clé API, consultez Générer une clé API.

Prérequis pour BigQuery

Rôles BigQuery requis

Pour obtenir les autorisations nécessaires pour créer un transfert de données Service de transfert de données BigQuery, demandez à votre administrateur de vous accorder le rôle IAM Administrateur BigQuery (roles/bigquery.admin) dans votre projet. Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour créer un transfert de données du service de transfert de données BigQuery. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour créer un transfert de données Service de transfert de données BigQuery :

  • Autorisations du service de transfert de données BigQuery :
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Autorisations BigQuery :
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus, consultez Accorder l'accès bigquery.admin.

Si vous avez l'intention de configurer des notifications d'exécution de transfert pour Pub/Sub, assurez-vous de disposer de l'autorisation IAM pubsub.topics.setIamPolicy. Les autorisations Pub/Sub ne sont pas nécessaires si vous ne configurez que des notifications par e-mail. Pour plus d'informations, consultez la page Notifications d'exécution du service de transfert de données BigQuery.

Configurer un transfert de données Mailchimp

Ajoutez des données Mailchimp dans BigQuery en configurant un transfert à l'aide de l'une des options suivantes :

Console

  1. Accédez à la page "Transferts de données" dans la Google Cloud console.

    Accéder à la page Transferts de données

  2. Cliquez sur Créer un transfert.

  3. Dans la section Type de source , choisissez Mailchimp - Preview comme Source.

  4. Dans la section Détails de la source de données, procédez comme suit :

    • Dans le champ Clé API, saisissez votre clé API Mailchimp. Pour en savoir plus, consultez Prérequis Mailchimp.
    • Facultatif : dans le champ Date de début, spécifiez une date de début pour que les nouveaux enregistrements soient inclus dans le transfert de données. Seuls les enregistrements créés à cette date ou après sont inclus dans le transfert de données.
      • Saisissez une date au format YYYY-MM-DD. La valeur minimale est 2001-01-01.
    • Dans le champ Objets Mailchimp à transférer, cliquez sur Parcourir pour sélectionner les objets à transférer vers l'ensemble de données de destination BigQuery. Vous pouvez également saisir manuellement les objets à inclure dans le transfert de données dans ce champ.
  5. Dans la section Paramètres de destination, accédez au menu déroulant Ensemble de données, puis sélectionnez l' ensemble de données que vous avez créé pour stocker vos données.

  6. Dans la section Nom de la configuration de transfert, sous Nom à afficher, saisissez un nom pour le transfert de données.

  7. Dans la section Schedule options (Options de programmation) :

    • Dans la liste Fréquence de répétition, sélectionnez une option pour spécifier la fréquence d'exécution de ce transfert de données. Pour spécifier une fréquence de répétition personnalisée, sélectionnez Personnalisée. Si vous sélectionnez À la demande, le transfert s'exécute lorsque vous le déclenchez manuellement.
    • Le cas échéant, sélectionnez Commencer ou Commencer à l'heure définie, puis indiquez une date de début et une heure d'exécution.
  8. Facultatif : dans la section Options de notification, procédez comme suit :

    • Pour activer les notifications par e-mail, cliquez sur le bouton Notification par e-mail. Lorsque vous activez cette option, l'administrateur du transfert reçoit une notification par e-mail si l'exécution du transfert échoue.
    • Pour activer les notifications d'exécution de transfert Pub/Sub pour ce transfert, cliquez sur le bouton Notifications Pub/Sub. Vous pouvez sélectionner le nom de votre sujet ou cliquer sur Créer un sujet pour en créer un.
  9. Cliquez sur Enregistrer.

bq

Saisissez la commande bq mk et spécifiez l'indicateur de création de transfert --transfer_config :

bq mk
    --transfer_config
    --project_id=PROJECT_ID
    --data_source=DATA_SOURCE
    --display_name=NAME
    --target_dataset=DATASET
    --params='PARAMETERS'

Remplacez les éléments suivants :

  • PROJECT_ID (facultatif) : ID de votre Google Cloud projet. Si vous ne fournissez pas de --project_id afin de spécifier un projet particulier, le projet par défaut est utilisé.
  • DATA_SOURCE : la source de données – mailchimp.
  • NAME: nom à afficher de la configuration de transfert de données. Ce nom peut correspondre à toute valeur permettant d'identifier le transfert si vous devez le modifier ultérieurement.
  • DATASET : ensemble de données cible de la configuration de transfert.
  • PARAMETERS correspond aux paramètres de la configuration de transfert créée, au format JSON. Exemple : --params='{"param":"param_value"}'. Voici les paramètres d'un transfert de données Mailchimp :

    • assets: chemin d'accès aux objets Mailchimp à transférer vers BigQuery.
    • connector.authentication.apiKey : clé API Mailchimp.
    • connector.startDate: (facultatif) date de début pour que les nouveaux enregistrements soient inclus dans le transfert de données, au format YYYY-MM-DD. Seuls les enregistrements créés à cette date ou après sont inclus dans le transfert de données.

La commande suivante crée un transfert de données Mailchimp dans le projet par défaut.

    bq mk
        --transfer_config
        --target_dataset=mydataset
        --data_source=mailchimp
        --display_name='My Transfer'
        --params='{"assets": "Lists",
            "connector.authentication.apiKey":"1234567",
            "connector.startDate":"2025-01-01"}'
Lorsque vous enregistrez la configuration de transfert, le connecteur Mailchimp déclenche automatiquement une exécution de transfert en fonction de votre option de programmation. À chaque exécution de transfert, le connecteur Mailchimp transfère toutes les données disponibles de Mailchimp vers BigQuery.

Pour exécuter manuellement un transfert de données en dehors de votre programmation habituelle, vous pouvez lancer une exécution de remplissage.

Mappage des types de données

Le tableau suivant mappe les types de données Mailchimp sur les types de données BigQuery correspondants :

Type de données Mailchimp Type de données BigQuery Description
String STRING
Integer INT64
Number BIGNUMERIC Les objets de données Number de Mailchimp sont mappés sur le type de données BIGNUMERIC pour les champs liés à la finance tels que Price et OrderTotal, ou sur le type de données FLOAT64, pour d'autres champs tels que Stats_OpenRate et Location_Latitude.
Number FLOAT64
Boolean BOOLEAN
String au format date-heure TIMESTAMP Les types de données STRING au format date-heure sont représentés au format ISO 8601. Par exemple, 2019-08-24T14:15:22Z.

Tarifs

Le transfert de données Mailchimp vers BigQuery est sans frais tant que cette fonctionnalité est disponible en version bêta.

Résoudre les problèmes liés à la configuration d'un transfert

Si vous rencontrez des problèmes lors de la configuration de votre transfert de données, consultez la section Problèmes de transfert Mailchimp.

Étape suivante

  • Pour une vue d'ensemble du service de transfert de données BigQuery, consultez Qu'est-ce que le service de transfert de données BigQuery ?
  • Pour plus d'informations sur l'utilisation des transferts, y compris l'obtention d'informations sur une configuration de transfert, la liste des configurations de transfert et l'affichage de l'historique d'exécution d'un transfert, consultez la page Gérer les transferts.