Intégration à Campaign Manager 360

Cette page décrit les configurations requises pour importer des données depuis Campaign Manager 360 en tant que source de données de la charge de travail marketing de la couche Data Foundation du framework Cortex.

Campaign Manager 360 (CM360) est une plate-forme de gestion publicitaire sur le Web proposée par Google. Elle est spécialement conçue pour les annonceurs et les agences. Il sert de plate-forme centrale pour gérer et optimiser toutes vos campagnes publicitaires numériques sur différents canaux. Cortex Framework fournit les outils et la plate-forme nécessaires pour analyser les données CM360, les combiner avec les données d'autres canaux marketing et utiliser l'IA pour obtenir des insights plus approfondis et optimiser votre stratégie marketing globale.

Le schéma suivant décrit comment les données CM360 sont disponibles via la charge de travail marketing de la couche Data Foundation de Cortex Framework :

Source de données CM360

Figure 1. Source de données CM360.

Fichier de configuration

Le fichier config.json configure les paramètres requis pour se connecter aux sources de données afin de transférer les données de différentes charges de travail. Ce fichier contient les paramètres CM360 suivants :

   "marketing": {
        "deployCM360": true,
        }

        "CM360": {
            "deployCDC": true,
            "dataTransferBucket": "",
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_CM360"
            }
        }

Le tableau suivant décrit la valeur de chaque paramètre marketing :

Paramètre Signification Valeur par défaut Description
marketing.deployCM360 Déployer CM360 true Exécutez le déploiement pour la source de données CM360.
marketing.CM360.deployCDC Déployer des scripts CDC pour CM360 true Générez des scripts de traitement CDC CM360 à exécuter en tant que DAG dans Managed Service pour Apache Airflow.
marketing.CM360.dataTransferBucket Bucket contenant les résultats du service de transfert de données - Bucket dans lequel les fichiers DTv2 sont stockés.
marketing.CM360.datasets.cdc Ensemble de données CDC pour CM360 Ensemble de données CDC pour CM360.
marketing.CM360.datasets.raw Ensemble de données brutes pour CM360 Ensemble de données brutes pour CM360.
marketing.CM360.datasets.reporting Ensemble de données de reporting pour CM360 "REPORTING_CM360" Ensemble de données de reporting pour CM360.

Modèle de données

Cette section décrit le modèle de données CM360 à l'aide du diagramme entité-relation (ERD).

Diagramme entité-relation pour CM360

Figure 2. CM360 : diagramme entité-relation.

Vues de base

Il s'agit des objets bleus du diagramme ERD, qui sont des vues sur les tables CDC sans transformations, à l'exception de certains alias de noms de colonnes. Consultez les scripts dans src/marketing/src/CM360/src/reporting/ddls.

Vues de rapports

Il s'agit des objets verts du diagramme ERD. Ce sont des vues de reporting qui contiennent des métriques agrégées. Consultez les scripts dans src/marketing/src/CM360/src/reporting/ddls.

Stockage des fichiers DTv2

Les fichiers DTv2 (transfert de données version 2) sont un format spécifique utilisé par CM360 pour fournir des données sur les performances des campagnes. Configurez le processus de transfert de données en suivant la documentation Transfert de données V2.0 pour utiliser CM360 avec Cortex Framework.

Créez ou ajoutez un bucket Cloud Storage pour stocker vos fichiers DTv2 provenant de CM360. Assurez-vous que les fichiers du bucket sont lisibles par le compte de service qui exécute les DAG dans Managed Airflow. Pour en savoir plus, consultez Créer des buckets de stockage.

Fraîcheur et délai des données

En règle générale, la fraîcheur des données pour les sources de données Cortex Framework est limitée par ce que permet la connexion en amont, ainsi que par la fréquence d'exécution de votre DAG. Ajustez la fréquence d'exécution de votre DAG pour l'adapter à la fréquence en amont, aux contraintes de ressources et à vos besoins commerciaux.

Avec transfert de données v2 CM360, les données sur les impressions et les clics sont fournies 24 fois par jour (toutes les heures). Le temps de traitement peut varier selon les fichiers. Il est donc possible que les fichiers ne s'affichent pas dans l'ordre. Les fichiers d'activité sont fournis quotidiennement.

Connexions Managed Airflow

Créez les connexions suivantes dans Managed Airflow. Pour en savoir plus, consultez la documentation sur la gestion des connexions Airflow.

Nom de la connexion Purpose
cm360_raw_dataflow Fichiers CM360 DTV2 > BigQuery Ensemble de données brutes
cm360_cdc_bq Pour le transfert d'ensemble de données brutes > ensemble de données CDC
cm360_reporting_bq Pour le transfert de l'ensemble de données CDC > Ensemble de données de reporting

Autorisations du compte de service Managed Service pour Apache Airflow

Accorder des autorisations Dataflow au compte de service utilisé dans Managed Airflow (tel que configuré dans la connexion cm360_raw_dataflow). Consultez les instructions dans la documentation Dataflow.

Paramètres d'ingestion

Contrôlez les pipelines de données Source to Raw et Raw to CDC à l'aide des paramètres du fichier src/CM360/config/ingestion_settings.yaml. Cette section décrit les paramètres de chaque pipeline de données.

Source vers les tables brutes

Cette section décrit les entrées qui contrôlent les fichiers DTv2 à traiter. Chaque entrée correspond aux fichiers associés à une entité. Sur la base de cette configuration, Cortex Framework crée des DAG Airflow qui exécutent des pipelines Dataflow pour traiter les données des fichiers DTV2.

Les paramètres suivants contrôlent les paramètres de Source to Raw pour chaque entrée :

Paramètre Description
base_table Table de l'ensemble de données brutes dans laquelle sont stockées les données d'une entité (par exemple, les données "Clics").
load_frequency Fréquence d'exécution d'un DAG pour cette entité afin de remplir la table CDC. Pour en savoir plus sur les valeurs possibles, consultez la documentation Airflow.
file_pattern Modèles de noms de fichiers basés qui correspondent à une entité.
schema_file Fichier de schéma dans le répertoire src/table_schema qui mappe les champs DTv2 aux noms de colonnes et aux types de données de la table de destination.
partition_details Facultatif : si vous souhaitez que cette table soit partitionnée pour des raisons de performances. Pour en savoir plus, consultez Partition de table.
cluster_details Facultatif : si vous souhaitez que cette table soit regroupée pour des raisons de performances. Pour en savoir plus, consultez Paramètres du cluster.

Tables brutes vers tables CDC

Cette section contient des entrées qui contrôlent la façon dont les données sont transférées des tables brutes vers les tables CDC. Chaque entrée correspond à un tableau brut (qui correspond à son tour à l'entité DTv2 mentionnée ci-dessus).

Les paramètres suivants contrôlent les paramètres de Raw to CDC pour chaque entrée :

Paramètre Description
base_table Table de l'ensemble de données CDC dans laquelle sont stockées les données brutes après la transformation CDC (par exemple, customer).
load_frequency Fréquence d'exécution d'un DAG pour cette entité afin de remplir la table CDC. Pour en savoir plus sur les valeurs possibles, consultez la documentation Airflow.
row_identifiers Liste des colonnes (séparées par une virgule) qui forment un enregistrement unique pour cette table.
partition_details Facultatif : si vous souhaitez que cette table soit partitionnée pour des raisons de performances. Pour en savoir plus, consultez Partition de table.
cluster_details Facultatif : si vous souhaitez que cette table soit regroupée pour des raisons de performances. Pour en savoir plus, consultez Paramètres du cluster.
Paramètres de création de rapports

Vous pouvez configurer et contrôler la façon dont le Cortex Framework génère des données pour le niveau de reporting final CM360 à l'aide du fichier de paramètres de reporting (src/CM360/config/reporting_settings.yaml). Ce fichier contrôle la façon dont les objets BigQuery du niveau de reporting (tables, vues, fonctions ou procédures stockées) sont générés.

Pour en savoir plus, consultez Personnaliser le fichier de paramètres de création de rapports.

Étape suivante