Integração com o TikTok

Esta página descreve as configurações necessárias para trazer dados do TikTok como uma fonte de dados da carga de trabalho de marketing do Cortex Framework Data Foundation.

O TikTok é um app de rede social conhecido por vídeos curtos que o Cortex Framework pode usar para analisar a performance geral de marketing. Ao combinar dados do TikTok e de várias fontes, você pode entender melhor seu público-alvo e a eficácia das suas campanhas de rede social em diferentes plataformas.

O diagrama a seguir descreve como os dados do TikTok estão disponíveis na carga de trabalho de marketing do Cortex Framework Data Foundation:

Fonte de dados do TikTok

Figura 1. Fonte de dados do TikTok.

Arquivo de configuração

O config.json arquivo configura as definições necessárias para se conectar a fontes de dados e transferir dados de várias cargas de trabalho. Esse arquivo contém os seguintes parâmetros para o TikTok:

   "marketing": {
        "deployTikTok": true,
        },
        "TikTok": {
            "deployCDC": true,
            "datasets": {
                "cdc": "",
                "raw": "",
                "reporting": "REPORTING_TikTok"
            }
        }

A tabela a seguir descreve o valor de cada parâmetro de marketing:

Parâmetro Significado Valor padrão Descrição
marketing.deployTikTok Implantar o TikTok true Executar a implantação da fonte de dados do TikTok.
marketing.TikTok.deployCDC Implantar scripts de CDC para o TikTok true Gerar scripts de processamento de CDC do TikTok para serem executados como DAGs no Serviço Gerenciado para Apache Airflow.
marketing.TikTok.datasets.cdc Conjunto de dados de CDC para o TikTok Conjunto de dados de CDC para o TikTok.
marketing.TikTok.datasets.raw Conjunto de dados brutos para o TikTok Conjunto de dados brutos para o TikTok.
marketing.TikTok.datasets.reporting Conjunto de dados de relatórios para o TikTok "REPORTING_TikTok" Conjunto de dados de relatórios para o TikTok.

Modelo de dados

Esta seção descreve o modelo de dados do TikTok usando o diagrama de entidade-relacionamento (DER).

Diagrama de entidade-relacionamento do TikTok

Figura 2. TikTok: diagrama de entidade-relacionamento.

Visualizações básicas

Esses são os objetos azuis no DER e são visualizações em tabelas de CDC sem transformações, exceto alguns aliases de nome de coluna. Consulte os scripts em src/marketing/src/TikTok/src/reporting/ddls.

Visualizações de relatórios

Esses são os objetos verdes no DER e são visualizações de relatórios que contêm métricas agregadas. Consulte os scripts em src/marketing/src/TikTok/src/reporting/ddls.

Conexão da API

O Cortex Framework usa as APIs de relatórios do TikTok, versão v1.3, como a fonte confiável de dados do TikTok. O Cortex Framework usa o modo síncrono e chama APIs de relatórios básicos para recuperar métricas de performance de anúncios e grupos de anúncios. Isso garante que o Cortex Framework tenha acesso a informações atualizadas e precisas do TikTok, permitindo análise de dados e relatórios eficazes.

Para mais informações sobre a conexão da API, consulte APIs de relatórios do TikTok.

Autenticação da conta

Para configurar uma conta do TikTok e a autenticação da conta, siga estas etapas:

  1. Configure uma conta de desenvolvedor do TikTok, se ainda não tiver uma.
  2. Crie um app para integração do Cortex Framework. Para mais informações, consulte a API do TikTok para empresas. Selecione os dois itens a seguir nos escopos do app:
    • Ad Account Management/Ad Account Information
    • Reporting/All
  3. Receba o ID do app, o Secret e o token de acesso de longo prazo conforme descrito no guia do TikTok, e armazene-os respectivamente no Secret Manager com os seguintes nomes:
    • ID do app: cortex_tiktok_app_id
    • Secret: cortex_tiktok_app_secret
    • Token de acesso de longo prazo: cortex_tiktok_access_token

Atualização e atraso de dados

Como regra geral, a atualização de dados para fontes de dados do Cortex Framework é limitada pelo que a conexão upstream permite, bem como pela frequência de execução do DAG. Ajuste a frequência de execução do DAG para se alinhar à frequência upstream, às restrições de recursos e às necessidades da sua empresa.

Com a API TikTok Marketing, a maioria dos dados (exceto conversões) está disponível quase em tempo real.

Conexões do Airflow Gerenciado

Crie as seguintes conexões no Airflow Gerenciado. Para mais detalhes, consulte a documentação Gerenciar conexões do Airflow.

Nome da conexão Purpose
tiktok_raw_dataflow Para TikTok API > conjunto de dados brutos do BigQuery
tiktok_cdc_bq Para conjunto de dados brutos > transferência de conjunto de dados de CDC
tiktok_reporting_bq Para conjunto de dados de CDC > transferência de conjunto de dados de relatórios

Permissões da conta de serviço do Serviço Gerenciado para Apache Airflow

Conceda permissões do Dataflow à conta de serviço usada no Airflow Gerenciado (conforme configurado na conexão tiktok_raw_dataflow). Consulte as instruções na documentação do Dataflow.

Além disso, a mesma conta de serviço também precisa ter acesso de Acessador do Secret Manager.

Configurações de ingestão

Controle os pipelines de dados Source to Raw e Raw to CDC pelas configurações no arquivo src/TikTok/config/ingestion_settings.yaml. Esta seção descreve os parâmetros de cada pipeline de dados.

Origem para tabelas brutas

Esta seção tem entradas que controlam como os dados do TikTok são buscados e onde os dados acabam no conjunto de dados brutos. Cada entrada corresponde a uma tabela bruta que tem dados buscados da API do TikTok para essa entidade. Com base nesses parâmetros de configuração, o Cortex Framework cria DAGs do Airflow que executam pipelines do Dataflow para processar dados das APIs do TikTok.

Os parâmetros a seguir controlam as configurações de Source to Raw para cada entrada:

Parâmetro Descrição
base_table Tabela no conjunto de dados brutos em que os dados de uma entidade são armazenados(por exemplo, dados de anúncios).
load_frequency Com que frequência um DAG é executado para essa entidade para processar dados. Consulte a documentação do Airflow para detalhes sobre os valores possíveis.
schema_file Arquivo de esquema no diretório src/table_schema que mapeia os campos de resposta da API para os nomes das colunas da tabela de destino.
partition_details Opcional: Se você quiser que essa tabela seja particionada para considerações de performance. Para mais informações, consulte Particionamento de tabelas.
cluster_details Opcional: Se você quiser que essa tabela seja agrupada para considerações de performance. Para mais informações, consulte Configurações de cluster.

Tabelas brutas para CDC

Esta seção tem entradas que controlam como os dados se movem de tabelas brutas para tabelas de CDC. Cada entrada corresponde a uma tabela de CDC (que, por sua vez, corresponde a uma entidade mencionada para a Source to Raw table).

Os parâmetros a seguir controlam as configurações de Raw to CDC para cada entrada:

Parâmetro Descrição
base_table Tabela no conjunto de dados de CDC em que os dados brutos após a transformação de CDC são armazenados (por exemplo,auction_ad_performance).
load_frequency Com que frequência um DAG para essa entidade é executado para preencher a tabela de CDC. Para mais informações, consulte a documentação do Airflow para detalhes sobre os valores possíveis.
row_identifiers Lista de colunas (separadas por vírgula) que formam um registro exclusivo para essa tabela.
partition_details Opcional: Se você quiser que essa tabela seja particionada para considerações de performance. Para mais informações, consulte Particionamento de tabelas.
cluster_details Opcional: Se você quiser que essa tabela seja agrupada para considerações de performance. Para mais informações, consulte Configurações de cluster.

Configurações de relatório

Configure e controle como o Cortex Framework gera dados para a camada de relatórios finais do TikTok usando o arquivo de configurações de relatório src/TikTok/config/reporting_settings.yaml. Esse arquivo controla como os objetos do BigQuery da camada de relatórios (tabelas, visualizações, funções ou procedimentos armazenados) são gerados.

Para mais informações, consulte Como personalizar o arquivo de configurações de relatório.

A seguir