Carregar dados do Google Analytics 4 no BigQuery

É possível carregar dados do Google Analytics 4 para o BigQuery usando o conector do serviço de transferência de dados do BigQuery para o Google Analytics 4. Com o serviço de transferência de dados do BigQuery, é possível programar jobs de transferência recorrentes que adicionam seus dados mais recentes do Google Analytics 4 ao BigQuery.

Visão geral do conector

O serviço de transferência de dados do BigQuery para o conector do Google Analytics é compatível com as seguintes opções de transferência de dados.

Opções de transferência de dados Suporte
Relatórios compatíveis O conector do Google Analytics é compatível com a transferência de dados de relatórios da API Google Analytics Data v1.

Para informações sobre como os relatórios do Google Analytics são transformados em tabelas e visualizações do BigQuery, consulte Transformação de relatórios do Google Analytics.
Repetir frequência O conector do Google Analytics é compatível com transferências diárias de dados.

Por padrão, as transferências de dados são programadas no momento em que são criadas. É possível configurar o horário da transferência de dados ao configurar sua transferência de dados.
Atualizar janela É possível programar suas transferências de dados para recuperar informações do Google Analytics de até 30 dias no momento da execução. É possível configurar a duração da janela de atualização ao configurar a transferência de dados.

Por padrão, o conector do Google Analytics tem um período de atualização de quatro dias.

Para mais informações, consulte Atualizar janelas.
Disponibilidade de dados de preenchimento Execute um preenchimento de dados para recuperar dados fora da transferência programada. É possível recuperar dados até o período permitido pela política de retenção de dados na sua fonte de dados.

Para informações sobre a política de retenção de dados do Google Analytics, consulte Política de retenção de dados do Google Analytics.

Ingestão de dados de transferências do Google Analytics 4

Ao transferir dados do Google Analytics 4 para o BigQuery, eles são carregados em tabelas do BigQuery particionadas por data. A partição da tabela em que os dados são carregados corresponde à data da fonte de dados. Se você programar várias transferências para a mesma data, o serviço de transferência de dados do BigQuery substituirá a partição dessa data específica pelos dados mais recentes. Várias transferências no mesmo dia ou preenchimentos não resultam em dados duplicados, e as partições de outras datas não são afetadas.

Atualizar janelas

Uma janela de atualização é o número de dias que uma transferência de dados recupera dados quando ocorre uma transferência de dados. Por exemplo, se a janela de atualização for de três dias e uma transferência diária ocorrer, o serviço de transferência de dados do BigQuery vai extrair todos os dados da tabela de origem dos últimos três dias. Nesse exemplo, quando uma transferência diária ocorre, o serviço de transferência de dados do BigQuery cria uma nova partição de tabela de destino do BigQuery com uma cópia dos dados da tabela de origem do dia atual e, em seguida, aciona automaticamente as execuções de preenchimento para atualizar as partições de tabela de destino do BigQuery com os dados da tabela de origem dos últimos dois dias. As execuções de preenchimento automático acionadas automaticamente vão substituir ou atualizar de forma incremental a tabela de destino do BigQuery, dependendo de se as atualizações incrementais são aceitas ou não pelo conector do serviço de transferência de dados do BigQuery.

Quando você executa uma transferência de dados pela primeira vez, ela recupera todos os dados de origem disponíveis na janela de atualização. Por exemplo, se a janela de atualização for de três dias e você executar a transferência de dados pela primeira vez, o serviço de transferência de dados do BigQuery vai recuperar todos os dados de origem em três dias.

Para recuperar dados fora da janela de atualização, como dados históricos, ou para recuperar dados de interrupções ou lacunas de transferência, inicie ou programe uma execução de preenchimento.

Antes de começar

Consulte os pré-requisitos e informações a seguir antes de criar uma transferência de dados do Google Analytics 4.

Pré-requisitos

Papéis obrigatórios do BigQuery

Para receber as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery, peça ao administrador para conceder a você o papel do IAM Administrador do BigQuery (roles/bigquery.admin) no seu projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery:

  • Permissões do serviço de transferência de dados do BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Permissões do BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações, consulte Conceder acesso ao bigquery.admin.

Relatórios personalizados

O conector do serviço de transferência de dados do BigQuery para Google Analytics permite o uso de relatórios personalizados especificando dimensões e métricas na configuração de transferência do Google Analytics. Esses relatórios personalizados ingerem dados da versão da API Google Analytics Data compatível com o serviço de transferência de dados do BigQuery.

É possível especificar um relatório personalizado ao criar uma transferência do Google Analytics.

Limitações dos relatórios personalizados

  • Só é possível usar um relatório personalizado por configuração de transferência.
  • É possível usar no máximo 9 dimensões e 10 métricas por relatório personalizado.
  • Nem todas as dimensões e métricas são compatíveis entre si. Use a ferramenta Explorador de dimensões e métricas do GA4 para validar as dimensões e métricas do seu relatório personalizado antes de criar a transferência.

Configurar uma transferência de dados do Google Analytics 4

Selecione uma das seguintes opções:

Console

  1. Acesse a página Transferências de dados no console Google Cloud .

    Acesse Transferências de dados

  2. Clique em Criar transferência.

  3. Na página Criar transferência, faça o seguinte:

    • Na seção Tipo de origem, em Origem, escolha Google Analytics 4.

  4. Na seção Detalhes da fonte de dados, faça o seguinte:

    • No campo ID da propriedade, insira um ID da propriedade.
    • Opcional: no campo Filtro de tabela, insira uma lista de tabelas separadas por vírgulas para incluir, por exemplo, Audiences, Events. Adicione o caractere - como prefixo dessa lista para excluir determinadas tabelas, como -Audiences, Events. Todas as tabelas são incluídas por padrão.
    • Opcional: para ingerir relatórios personalizados em vez dos padrões, faça o seguinte:
      • No campo Nome da tabela do relatório personalizado, insira o nome da tabela de saída do relatório personalizado. Para mais informações sobre nomes de tabelas válidos, consulte Nomenclatura de tabelas.
      • No campo Dimensões do relatório personalizado, insira as dimensões do relatório personalizado. Para mais informações, consulte Relatórios personalizados.
      • No campo Métricas do relatório personalizado, insira as métricas do relatório personalizado. Para mais informações, consulte Relatórios personalizados.
    • Opcional: no campo Período de atualização, insira uma duração para o período de atualização em dias. O valor padrão da janela de atualização é de quatro dias, mas pode ser de até 30 dias.

  5. Na seção Configurações de destino, no menu Conjunto de dados de destino, selecione o conjunto de dados que você criou para armazenar os dados.

  6. No campo Nome de exibição da seção Nome de configuração da transferência, insira um nome para a transferência de dados. O nome da transferência pode ser qualquer valor que permita a identificação dela, caso você precise modificá-la mais tarde.

  7. Na seção Opções de programação, faça o seguinte:

    • Selecione Começar agora ou Começar no horário definido e forneça uma data de início e um horário de execução.
    • Em Repetições, escolha uma opção para a frequência de execução da transferência de dados. Se você selecionar Dias, forneça um horário válido em UTC.

  8. Opcional: no menu Conta de serviço, selecione uma conta de serviço entre aquelas associadas ao Google Cloud projeto. A conta de serviço selecionada precisa ter os papéis necessários para executar a transferência de dados.

    Se você fez login com uma identidade federada, é necessário ter uma conta de serviço para criar uma transferência de dados. Se você fez login com uma Conta do Google, ter uma conta de serviço para a transferência de dados é uma etapa opcional. Para mais informações sobre o uso de contas de serviço com transferências de dados, consulte Usar contas de serviço.

  9. Opcional: na seção Opções de notificação

    • Clique no botão para ativar as notificações por e-mail. Quando você ativa essa opção, o administrador de transferência recebe uma notificação por e-mail se uma execução de transferência falhar.
    • Clique no botão para ativar as notificações do Pub/Sub. Em Selecionar um tópico do Cloud Pub/Sub, escolha o nome do tópico ou clique em Criar tópico. Essa opção configura notificações de execução do Pub/Sub para sua transferência.

  10. Opcional: se você usa CMEKs, na seção Opções avançadas, selecione Chave gerenciada pelo cliente. Uma lista das CMEKs disponíveis será exibida. Para saber como as CMEKs funcionam com o serviço de transferência de dados do BigQuery, consulte Especificar a chave de criptografia com transferências.

  11. Clique em Salvar.

bq

Insira o comando bq mk e forneça a sinalização de execução da transferência --transfer_config. As sinalizações a seguir são necessárias:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

Em que:

  • PROJECT_ID: o ID do projeto. Se --project_id não for especificado, o projeto padrão será usado.
  • DATASET: o conjunto de dados de destino na configuração da transferência de dados.
  • NAME: o nome de exibição da configuração da transferência de dados. O nome da transferência pode ser qualquer valor que permita identificá-la facilmente, caso precise modificá-la mais tarde.
  • PARAMETERS: os parâmetros da configuração de transferência de dados criada no formato JSON. Por exemplo, --params='{"param":"param_value"}'. Para transferências do Google Analytics 4, o parâmetro property_id é obrigatório.
  • DATA_SOURCE: a fonte de dados — ga4.

Por exemplo, o comando a seguir cria uma transferência de dados do Google Analytics 4 chamada My Transfer usando o ID da propriedade 468039345 e o conjunto de dados de destino mydataset.

A transferência de dados é criada no projeto padrão:

  bq mk --transfer_config
  --project_id=your_project
  --target_dataset=mydataset
  --display_name=My Transfer
  --params='{"property_id":"468039345"}'
  --data_source=ga4

API

Use o método projects.locations.transferConfigs.create e forneça uma instância do recurso TransferConfig.

Limitações

  • Os totais agregados de usuários distintos e métricas de sessão podem não ser precisos e não corresponder aos valores no Google Analytics.

Especificar a chave de criptografia com transferências

É possível especificar chaves de criptografia gerenciadas pelo cliente (CMEKs, na sigla em inglês) para criptografar dados de uma execução de transferência. É possível usar uma CMEK para dar suporte a transferências do Google Analytics 4.

Quando você especifica uma CMEK com uma transferência, o serviço de transferência de dados do BigQuery aplica a CMEK a qualquer cache intermediário no disco de dados ingeridos para que todo o fluxo de trabalho de transferência de dados fique em conformidade com a CMEK.

Não é possível atualizar uma transferência atual para adicionar uma CMEK se a transferência não tiver sido criada originalmente com uma CMEK. Por exemplo, não é possível alterar uma tabela de destino que, originalmente, estava criptografada por padrão, para ser criptografada com CMEKs. Por outro lado, também não é possível alterar uma tabela de destino criptografada por CMEK para ter um tipo diferente de criptografia.

É possível atualizar uma CMEK para uma transferência se a configuração de transferência tiver sido criada originalmente com uma criptografia CMEK. Quando você atualiza uma CMEK para uma configuração de transferência, o serviço de transferência de dados do BigQuery propaga a CMEK para as tabelas de destino na próxima execução da transferência, em que o serviço de transferência de dados do BigQuery substitui todas as CMEKs desatualizadas pela nova CMEK durante a execução da transferência. Para saber mais, consulte Atualizar uma transferência.

Também é possível usar as chaves padrão do projeto. Quando você especifica uma chave padrão do projeto com uma transferência, o serviço de transferência de dados do BigQuery a usa como padrão para qualquer nova configuração de transferência.

Preços

Não há custo para fazer uma transferência do Google Analytics 4.

Assim que os dados são transferidos para o BigQuery, são aplicados os preços padrão de armazenamento e consulta do BigQuery.

Cota

As transferências do Google Analytics 4 estão sujeitas às cotas de propriedade do Analytics, conforme aplicado pelo Google Analytics 4. Para aumentar a cota por propriedade, faça upgrade para o Google Analytics 360.