Integração com o YouTube (DV360)

Esta página descreve as configurações necessárias para trazer dados do YouTube com o Display & Video 360 (DV360) como uma fonte de dados da carga de trabalho de marketing da Cortex Framework Data Foundation.

O DV360 é uma plataforma de publicidade do Google para gerenciar a publicidade do YouTube junto com outros canais digitais, oferecendo aos anunciantes maior controle e eficiência nos esforços de marketing.

O diagrama a seguir descreve como os dados do DV360 ficam disponíveis na carga de trabalho de marketing da Data Foundation do Cortex Framework:

Figura 1. Fonte de dados do DV360.

Observação: para acessar arquivos de configuração, visualizações analíticas e modelos da fonte de dados do DV360, consulte o diretório de origem.

Arquivo de configuração

O arquivo config.json configura as definições necessárias para se conectar a fontes de dados e transferir dados de várias cargas de trabalho. Esse arquivo contém os seguintes parâmetros para o DV360:

   "marketing": {
        "deployDV360": true,
        "DV360": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_DV360"
            }
        }
   }

A tabela a seguir descreve o valor de cada parâmetro de marketing:

Parâmetro	Significado	Valor padrão	Descrição
marketing.deployDV360	Implementar o DV360	true	Execute a implantação da fonte de dados do DV360.
marketing.DV360.deployCDC	Implantar scripts da CDC para o DV360	true	Gere scripts de processamento de CDC do DV360 para serem executados como DAGs no Serviço gerenciado para Apache Airflow.
marketing.DV360.datasets.cdc	Conjunto de dados da CDC para o DV360	-	Conjunto de dados da CDC para o DV360.
marketing.DV360.datasets.raw	Conjunto de dados brutos para o DV360	-	Conjunto de dados brutos para o DV360.
marketing.DV360.datasets.reporting	Conjunto de dados de relatórios para o DV360	REPORTING_DV360	Conjunto de dados de relatórios para o DV360.

Modelo de dados

Nesta seção, descrevemos o modelo de dados do YouTube (com o DV360) usando o diagrama de relacionamento entre entidades (ERD, na sigla em inglês).

Figura 2. YouTube (com DV360): diagrama de relacionamento entre entidades.

Vistas de relatórios

Os objetos azuis no DER representam visualizações de relatórios que contêm métricas agregadas. Consulte scripts em src/marketing/src/DV360/src/reporting/ddls.

Configurar a extração de dados brutos do DV360

O Cortex Framework se integra ao DV360 usando o recurso de relatórios instantâneos. O Relatório instantâneo é um recurso confiável e de baixo custo do DV360 que permite salvar, programar e baixar relatórios maiores e mais complexos em arquivos e locais diferentes. Cada relatório cria periodicamente tabelas de dados de exportação no BigQuery com o mesmo prefixo de nome de tabela configurado, que contém dados para o período selecionado, na frequência escolhida.

Observação: o Google vai migrar todos os relatórios off-line para os relatórios instantâneos a partir de julho de 2024. O recurso Exportar para o BigQuery funciona da mesma forma entre os dois tipos de relatórios. Você é responsável por gerenciar todos os relatórios instantâneos. O Cortex Framework não configura nem controla o comportamento dele.

Permissões

Para exportar dados brutos do DV360 usando os relatórios instantâneos, é necessário que as pessoas tenham as seguintes permissões:

• DV360:
  • Acesso padrão para os parceiros ou anunciantes selecionados.
• Google Cloud:
  • Papel BigQuery User atribuído à conta de serviço do DV360.
  • Papel BigQuery Data Editor atribuído à conta de serviço do DV360.

Configurar

Siga estas etapas para configurar a exportação de tabelas brutas do DV360.

1. Identifique a conta de serviço exigida pelo exportador do BigQuery do DV360 na seção "Vincular conta do BigQuery Exporter", "Detalhes da permissão". Consulte a Figura 2 para mais referências.
   Figura 2. Identificar a conta de serviço em "Vincular conta do BigQuery Exporter"
2. Receber Google Cloud permissões. Uma pessoa com a função BigQuery Administrator precisa conceder as funções BigQuery User e BigQuery Data Editor à conta de serviço do DV360 identificada na etapa anterior.
3. Vincule o BigQuery ao DV360, especificando o conjunto de dados brutos que você pretende usar no processo. Siga as instruções na seção Relatórios off-line > Ativar o BigQuery.

4. Acesse Relatórios instantâneos e crie um relatório para cada linha na tabela a seguir, com as colunas exatamente como mostrado. Para mais informações sobre arquivos detalhados de definições de esquema de coluna em src/DV360/config/table_schema, consulte a seção Esquema de tabela de dados brutos para CDC.

   1. Adicione pelo menos um filtro de Parceiro ou Anunciante. Verifique se isso está alinhado com as permissões da sua vinculação do BigQuery na etapa 3.
   Observação: talvez seja necessário configurar vários relatórios ou exportações se você exportar vários parceiros ou anunciantes.
   1. Selecione Fuso horário do anunciante como a configuração de fuso horário do relatório. Para mais informações, consulte a seção Considerações adicionais.
   Observação: se a sua conta ou o link do BigQuery tiver apenas acesso de anunciante, não será possível incluir um filtro de parceiro. Caso contrário, a opção Exportar para o BigQuery será desativada até que o filtro de parceiro seja removido.

   Prefixo da tabela	Campos a serem incluídos
   lineitem_details	Data ID do item de linha Item de linha ID da campanha Campanha Tipo de item de linha Data de início do item de linha Data de término do item de linha	Impressões
   lineitem_insights	Data ID do item de linha Tipo de dispositivo Navegador Ambiente País ID do parceiro Parceiro Moeda do parceiro ID do anunciante Anunciante Moeda do anunciante ID da campanha Campanha Código do pedido de inserção Pedido de veiculação Item de linha Tipo de item de linha Data de início do item de linha Data de término do item de linha	Impressões Cliques Receita (USD) Envolvimento Receita (moeda do parceiro) Receita (moeda do anunciante) TrueView: visualizações
   adgroup_insights_by_age_gender	Data ID do grupo de anúncios do YouTube Idade (YouTube) Gênero ID do item de linha ID do parceiro Parceiro Moeda do parceiro AdvertiserID Anunciante Moeda do anunciante Código do pedido de inserção Pedido de veiculação Item de linha Grupo de anúncios do YouTube	Receita (USD) Impressões Cliques Engajamentos (YouTube) Receita (moeda do parceiro) Receita (moeda do anunciante) TrueView: visualizações
   adgroup_insights_by_audience	Data ID do grupo de anúncios do YouTube Segmento de público-alvo Tipo de segmento de público-alvo ID do item de linha ID do parceiro Parceiro PartnerCurrency ID do anunciante Anunciante Moeda do anunciante Código do pedido de inserção Pedido de veiculação Item de linha	Impressões Cliques Grupo de anúncios do YouTube Receita (USD) Engajamentos (YouTube) Receita (PartnerCurrency) Receita (moeda do anunciante) TrueView: visualizações
   adgroup_insights_by_adformat	Data ID do grupo de anúncios do YouTube Formato do anúncio do YouTube ID do item de linha ID do parceiro Parceiro Moeda do parceiro ID do anunciante Anunciante Moeda do anunciante Código do pedido de inserção Pedido de veiculação Item de linha	Impressões Cliques Grupo de anúncios do YouTube Receita (USD) Engajamentos (YouTube) Receita (moeda do parceiro) Receita (moeda do anunciante) TrueView: visualizações
   adgroup_insights_by_placement	Data ID do grupo de anúncios do YouTube Posição (todos os canais do YouTube) Nome da posição (todos os canais do YouTube) ID do item de linha PartnerID Parceiro Moeda do parceiro ID do anunciante Anunciante Moeda do anunciante Código do pedido de inserção Pedido de veiculação Item de linha	Impressões Grupo de anúncios do YouTube Receita (USD) Engajamentos (YouTube) Receita (PartnerCurrency) Receita (moeda do anunciante) TrueView: visualizações
   adgroup_insights_by_adtype	Data ID do grupo de anúncios do YouTube Tipo de anúncio do YouTube ID do item de linha ID do parceiro Parceiro Moeda do parceiro ID do anunciante Anunciante Moeda do anunciante Código do pedido de inserção Pedido de veiculação Item de linha	Impressões Cliques Grupo de anúncios do YouTube Receita (USD) Engajamentos (YouTube) Receita (moeda do parceiro) Receita (moeda do anunciante) TrueView: visualizações
   ad_insights	Data ID do anúncio do YouTube ID do item de linha ID do parceiro Parceiro Moeda do parceiro ID do anunciante Anunciante AdvertiserCurrency Código do pedido de inserção Pedido de veiculação Item de linha ID do grupo de anúncios do YouTube Grupo de anúncios do YouTube Anúncio do YouTube	Impressões Cliques Receita (USD) Engajamentos (YouTube) Receita (moeda do parceiro) Receita (AdvCurrency) TrueView: visualizações

5. Configure a programação e preencha os dados históricos. Use o mesmo link do BigQuery configurado na etapa 1 e o prefixo da tabela exatamente como mostrado na tabela anterior. Para mais informações, consulte a seção a seguir Considerações adicionais.

6. • Acione manualmente uma execução de preenchimento ou aguarde o início da exportação programada. De qualquer forma, seus dados vão automaticamente para o conjunto de dados brutos configurado para seu link do BigQuery.

Outras considerações

Sobre a seleção de fuso horário:

• Para alguns tipos de relatório, é possível escolher o fuso horário do anunciante ou o UTC para as datas no momento da configuração da exportação. No entanto, os relatórios relacionados ao YouTube aceitam apenas o fuso horário do anunciante. Portanto, selecione a configuração de fuso horário do anunciante ao configurar as exportações.

• Como a exportação de relatórios é pré-agregada no nível diário, o Cortex Framework usa a data fornecida diretamente, sem conversões de fuso horário. Você é responsável por interpretar as informações de fuso horário informadas.

Sobre a programação e o preenchimento de dados históricos:

• Recomendamos selecionar Últimos 7 dias como o período da exportação e Diária como a frequência. Selecionar um período e uma frequência de exportação é necessário para equilibrar a precisão dos dados e o custo de armazenamento, mas qualquer configuração funciona com nosso processo de CDC.

• Os relatórios instantâneos permitem exportar até 14 dias de dados para o BigQuery, mas o DV360 pode fazer pequenas atualizações nos dados até 31 dias após a data do relatório. Se você configurar a exportação para vários anunciantes, a data de cada um deles estará nos respectivos fusos horários.

• Se forem necessários dados históricos, como eventos únicos não programados, os relatórios instantâneos permitem exportar até dois anos de dados diretamente para tabelas do BigQuery. Faça isso pelo menos uma vez, manualmente na UI do DV360.

Atualização e atraso de dados

Como regra geral, a atualização dos dados para fontes de dados do Cortex Framework é limitada pelo que a conexão upstream permite, bem como pela frequência de execução do DAG. Ajuste a frequência de execução do DAG para se alinhar com a frequência upstream, as restrições de recursos e as necessidades da sua empresa.

Com os Relatórios instantâneos do DV360, a atualização dos dados depende da configuração de frequência de exportação quando o BigQuery Export é configurado, que pode ser diária, semanal ou mensal.

Configurações

Esta seção descreve as configurações do processo de dados.

Conexões do Serviço gerenciado para Apache Airflow

Crie as seguintes conexões no Airflow Gerenciado. Confira mais detalhes na documentação do Airflow Gerenciado.

Nome da conexão	Purpose
dv360_cdc_bq	Para "Conjunto de dados bruto > Transferência de conjunto de dados de CDC".
dv360_reporting_bq	Para transferência de conjunto de dados de CDC > conjunto de dados de relatórios.

Esquema da tabela bruta para CDC

O diretório src/DV360/config/table_schema contém um arquivo de esquema por conjunto de tabelas (identificado pelo mesmo prefixo), que é exportado do DV360. Cada arquivo de esquema contém duas colunas: ColumnName e ColumnDataType.

Observação: se o caso de uso incluir outras colunas na exportação de relatórios instantâneos, inclua-as também nos arquivos de esquema correspondentes.

Configurações de ingestão

O arquivo src/DV360/config/ingestion_settings.yaml contém outras configurações que controlam os pipelines de dados da origem para o CDC.

Origem para tabelas de CDC

Esta seção tem entradas que controlam como as tabelas exportadas do DV360 são ingeridas e o comportamento relevante do processo de CDC. Cada entrada corresponde a um relatório do Instant Reporting, identificado pelo prefixo de exportação.

Os seguintes parâmetros controlam as configurações de Source to CDC para cada entrada:

Parâmetro	Descrição
base_table	Tabela no conjunto de dados de CDC em que os dados brutos após a transformação de CDC são armazenados (por exemplo, customer).
load_frequency	A frequência com que um DAG para essa entidade é executado para preencher a tabela do CDC. Para mais informações sobre os valores possíveis, consulte a documentação do Airflow.
raw_table_prefix	Prefixo usado pelo relatório correspondente do Instant Reporting para configurar essa exportação do BigQuery.
row_identifiers	Colunas (separadas por vírgula) que formam um registro exclusivo para esta tabela.
partition_details	Opcional:se você quiser que essa tabela seja particionada para melhorar a performance. Para mais informações, consulte Partição de tabela.
cluster_details	Opcional:se você quiser que essa tabela seja agrupada para considerações de desempenho, consulte mais informações em Configurações de cluster.

Configurações de relatórios

É possível configurar e controlar como o Cortex Framework gera dados para a camada final de relatórios do DV360 usando o arquivo de configurações de relatórios src/DV360/config/reporting_settings.yaml. Esse arquivo controla como os objetos do BigQuery da camada de relatórios (tabelas, visualizações,funções ou procedimentos armazenados) são gerados.

Para mais informações, consulte Personalizar o arquivo de configurações de relatórios.

A seguir

• Para mais informações sobre outras fontes de dados e cargas de trabalho, consulte Fontes de dados e cargas de trabalho.
• Para mais informações sobre as etapas de implantação em ambientes de produção, consulte Pré-requisitos de implantação da Data Foundation do Cortex Framework.