Integração com o Campaign Manager 360

Nesta página, descrevemos as configurações necessárias para trazer dados do Campaign Manager 360 como uma fonte de dados da carga de trabalho de marketing da Data Foundation do Cortex Framework.

O Campaign Manager 360 (CM360) é uma plataforma de gerenciamento de publicidade com base na Web oferecida pelo Google e projetada especificamente para anunciantes e agências. Ele funciona como um hub central para gerenciar e otimizar todas as suas campanhas de publicidade digital em vários canais. O Cortex Framework oferece as ferramentas e a plataforma para analisar dados do CM360, combinar com dados de outros canais de marketing e usar a IA para gerar insights mais detalhados e otimizar sua estratégia geral de marketing.

O diagrama a seguir descreve como os dados do CM360 estão disponíveis na carga de trabalho de marketing da Cortex Framework Data Foundation:

Fonte de dados do CM360

Figura 1. Fonte de dados do CM360.

Arquivo de configuração

O arquivo config.json configura as definições necessárias para se conectar a fontes de dados e transferir dados de várias cargas de trabalho. Esse arquivo contém os seguintes parâmetros para o CM360:

   "marketing": {
        "deployCM360": true,
        }

        "CM360": {
            "deployCDC": true,
            "dataTransferBucket": "",
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_CM360"
            }
        }

A tabela a seguir descreve o valor de cada parâmetro de marketing:

Parâmetro Significado Valor padrão Descrição
marketing.deployCM360 Implantar o CM360 true Execute a implantação da fonte de dados do CM360.
marketing.CM360.deployCDC Implante scripts de CDC para o CM360 true Gere scripts de processamento de CDC do CM360 para executar como DAGs no Serviço gerenciado para Apache Airflow.
marketing.CM360.dataTransferBucket Bucket com resultados do serviço de transferência de dados - Bucket em que os arquivos do DTv2 são armazenados.
marketing.CM360.datasets.cdc Conjunto de dados da CDC para o CM360 Conjunto de dados de CDC para o CM360.
marketing.CM360.datasets.raw Conjunto de dados bruto para o CM360 Conjunto de dados brutos para o CM360.
marketing.CM360.datasets.reporting Conjunto de dados de relatórios para o CM360 "REPORTING_CM360" Conjunto de dados de relatórios para o CM360.

Modelo de dados

Esta seção descreve o modelo de dados do CM360 usando o diagrama de relacionamento entre entidades (ERD, na sigla em inglês).

Diagrama de relacionamento de entidades para o CM360

Figura 2. CM360: diagrama de relacionamento de entidades.

Visualizações básicas

São os objetos azuis no DER e são visualizações em tabelas de CDC sem transformações além de alguns aliases de nomes de colunas. Consulte scripts em src/marketing/src/CM360/src/reporting/ddls.

Vistas de relatórios

São os objetos verdes no DER e são visualizações de relatórios que contêm métricas agregadas. Consulte scripts em src/marketing/src/CM360/src/reporting/ddls.

Armazenamento de arquivos do DTv2

Os arquivos da DTv2 (Transferência de dados versão 2) são um formato específico usado pelo CM360 para fornecer dados de performance da campanha. Configure o processo de transferência de dados seguindo a documentação Transferência de dados V2.0 para usar o CM360 com o Cortex Framework.

Crie ou adicione um bucket do Cloud Storage para armazenar seus arquivos DTv2 do CM360. Verifique se os arquivos no bucket podem ser lidos pela conta de serviço que executa DAGs no Airflow Gerenciado. Para mais informações, consulte Criar buckets de armazenamento.

Atualização e atraso de dados

Como regra geral, a atualização dos dados para fontes de dados do Cortex Framework é limitada pelo que a conexão upstream permite, bem como pela frequência de execução do DAG. Ajuste a frequência de execução do DAG para se alinhar com a frequência upstream, as restrições de recursos e as necessidades da sua empresa.

Com a Transferência de dados v2 do CM360, os dados de impressões e cliques são entregues 24 vezes por dia (a cada hora). O tempo de processamento pode variar de acordo com o arquivo, então eles podem aparecer fora de ordem. Os arquivos de atividade são entregues diariamente.

Conexões do Airflow Gerenciado

Crie as seguintes conexões no Airflow Gerenciado. Para mais detalhes, consulte a documentação sobre como gerenciar conexões do Airflow.

Nome da conexão Purpose
cm360_raw_dataflow Para arquivos do CM360 DTv2 > BigQuery Conjunto de dados brutos
cm360_cdc_bq Para "Conjunto de dados brutos > Transferência de conjunto de dados de CDC"
cm360_reporting_bq Para transferência de conjunto de dados de CDC > conjunto de dados de relatórios

Permissões da conta de serviço do Serviço gerenciado para Apache Airflow

Conceda permissões do Dataflow à conta de serviço usada no Airflow gerenciado (conforme configurado na conexão cm360_raw_dataflow). Consulte as instruções na documentação do Dataflow.

Configurações de ingestão

Controle os pipelines de dados Source to Raw e Raw to CDC pelas configurações no arquivo src/CM360/config/ingestion_settings.yaml. Esta seção descreve os parâmetros de cada pipeline de dados.

Origem para tabelas brutas

Esta seção descreve como as entradas controlam quais arquivos da DTv2 são processados. Cada entrada corresponde a arquivos associados a uma entidade. Com base nessa configuração, o Cortex Framework cria DAGs do Airflow que executam pipelines do Dataflow para processar dados dos arquivos da DTv2.

Os seguintes parâmetros controlam as configurações de Source to Raw para cada entrada:

Parâmetro Descrição
base_table Tabela no conjunto de dados bruto em que os dados de uma entidade são armazenados (por exemplo, dados de "Cliques").
load_frequency A frequência com que um DAG para essa entidade é executado para preencher a tabela do CDC. Para mais informações sobre os valores possíveis, consulte a documentação do Airflow.
file_pattern Padrões de nome de arquivo baseados que correspondem a uma entidade.
schema_file Arquivo de esquema no diretório src/table_schema que mapeia os campos da DTv2 para os nomes das colunas e os tipos de dados da tabela de destino.
partition_details Opcional:se você quiser que essa tabela seja particionada para melhorar a performance. Para mais informações, consulte Partição de tabela.
cluster_details Opcional:se você quiser que essa tabela seja agrupada para considerações de performance. Para mais informações, consulte Configurações do cluster.

Tabelas brutas para CDC

Esta seção tem entradas que controlam como os dados são movidos das tabelas brutas para as tabelas de CDC. Cada entrada corresponde a uma tabela bruta, que, por sua vez, corresponde à entidade DTv2, conforme mencionado acima.

Os seguintes parâmetros controlam as configurações de Raw to CDC para cada entrada:

Parâmetro Descrição
base_table Tabela no conjunto de dados de CDC em que os dados brutos após a transformação de CDC são armazenados (por exemplo, customer).
load_frequency A frequência com que um DAG para essa entidade é executado para preencher a tabela do CDC. Para mais informações sobre os valores possíveis, consulte a documentação do Airflow.
row_identifiers Lista de colunas (separadas por vírgula) que formam um registro exclusivo para essa tabela.
partition_details Opcional:se você quiser que essa tabela seja particionada por motivos de performance. Para mais informações, consulte Partição de tabela.
cluster_details Opcional:se você quiser que essa tabela seja agrupada para considerações de performance. Para mais informações, consulte Configurações do cluster.
Configurações de relatórios

É possível configurar e controlar como o Cortex Framework gera dados para a camada final de relatórios do CM360 usando o arquivo de configurações de relatórios (src/CM360/config/reporting_settings.yaml). Esse arquivo controla como os objetos do BigQuery da camada de relatórios (tabelas, visualizações, funções ou procedimentos armazenados) são gerados.

Para mais informações, consulte Personalizar o arquivo de configurações de relatórios.

A seguir