Carregar dados do Google Analytics 4 no BigQuery

É possível carregar dados do Google Analytics 4 no BigQuery usando o serviço de transferência de dados do BigQuery para o conector do Google Analytics 4. Com o serviço de transferência de dados do BigQuery, você pode programar jobs de transferência recorrentes que adicionam os dados mais recentes do Google Analytics 4 ao BigQuery.

Visão geral do conector

O serviço de transferência de dados do BigQuery para o conector do Google Analytics oferece as seguintes opções para a transferência de dados.

Opções de transferência de dados Suporte
Relatórios compatíveis O conector do Google Analytics é compatível com a transferência de dados de relatórios de Google Analytics Data API v1.

Para saber como os relatórios do Google Analytics são transformados em tabelas e visualizações do BigQuery, consulte Transformação de relatórios do Google Analytics.
Repetir frequência O conector do Google Analytics é compatível com transferências de dados diárias.

Por padrão, as transferências de dados são programadas no momento em que são criadas. É possível configurar o horário da transferência de dados ao configurar a transferência.
Atualizar janelas Você pode programar suas transferências de dados para extrair dados do Google Analytics de até 30 dias no momento em que a transferência de dados é executada. É possível configurar a duração da janela de atualização ao configurar a transferência de dados.

Por padrão, o conector do Google Analytics tem uma janela de atualização de quatro dias.

Para mais informações, consulte Atualizar janelas.
Disponibilidade de dados de preenchimento Execute um preenchimento de dados para extrair dados fora da transferência de dados programada. É possível extrair dados até o período permitido pela política de retenção de dados na fonte de dados.

Para informações sobre a política de retenção de dados do Google Analytics, consulte Política de retenção de dados do Google Analytics.

Limitações

  • Os totais agregados de usuários distintos e métricas de sessão podem não ser precisos e não corresponder aos valores no Google Analytics.
  • O conector do Google Analytics 4 não é compatível com a transferência de propriedades personalizadas.

Ingestão de dados de transferências do Google Analytics 4

Ao transferir dados do Google Analytics 4 para o BigQuery, eles são carregados em tabelas do BigQuery particionadas por data. A partição da tabela em que os dados são carregados corresponde à data da fonte de dados. Se você programar várias transferências para a mesma data, o serviço de transferência de dados do BigQuery substituirá a partição dessa data específica pelos dados mais recentes. Várias transferências no mesmo dia ou preenchimentos não resultam em dados duplicados, e as partições de outras datas não são afetadas.

Atualizar janelas

Uma janela de atualização é o número de dias que uma transferência de dados recupera dados quando ocorre uma transferência de dados. Por exemplo, se a janela de atualização for de três dias e uma transferência diária ocorrer, o serviço de transferência de dados do BigQuery vai extrair todos os dados da tabela de origem dos últimos três dias. Nesse exemplo, quando uma transferência diária ocorre, o serviço de transferência de dados do BigQuery cria uma nova partição de tabela de destino do BigQuery com uma cópia dos dados da tabela de origem do dia atual e, em seguida, aciona automaticamente as execuções de preenchimento para atualizar as partições de tabela de destino do BigQuery com os dados da tabela de origem dos últimos dois dias. As execuções de preenchimento automático acionadas automaticamente vão substituir ou atualizar de forma incremental a tabela de destino do BigQuery, dependendo de se as atualizações incrementais são aceitas ou não pelo conector do serviço de transferência de dados do BigQuery.

Quando você executa uma transferência de dados pela primeira vez, a transferência de dados recupera todos os dados de origem disponíveis na janela de atualização. Por exemplo, se a janela de atualização for de três dias e você executar a transferência de dados pela primeira vez, o serviço de transferência de dados do BigQuery vai recuperar todos os dados de origem em três dias.

Para recuperar dados fora da janela de atualização, como dados históricos, ou para recuperar dados de interrupções ou lacunas de transferência, inicie ou programe uma execução de preenchimento.

Antes de começar

Consulte os pré-requisitos e informações a seguir antes de criar uma transferência de dados do Google Analytics 4.

Pré-requisitos

Papéis obrigatórios do BigQuery

Para receber as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery, peça ao administrador para conceder a você oAdministrador do BigQuery (roles/bigquery.admin) papel do IAM no seu projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery. Para acessar as permissões exatas que são necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para criar uma transferência de dados do serviço de transferência de dados do BigQuery:

  • Permissões do serviço de transferência de dados do BigQuery:
    • bigquery.transfers.update
    • bigquery.transfers.get
  • Permissões do BigQuery:
    • bigquery.datasets.get
    • bigquery.datasets.getIamPolicy
    • bigquery.datasets.update
    • bigquery.datasets.setIamPolicy
    • bigquery.jobs.create

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Para mais informações, consulte Conceder acesso bigquery.admin.

Relatórios personalizados

O serviço de transferência de dados do BigQuery para o conector do Google Analytics é compatível com o uso de relatórios personalizados, especificando dimensões e métricas na configuração de transferência do Google Analytics. Esses relatórios personalizados ingerem dados da versão da API Google Analytics Data compatível com o serviço de transferência de dados do BigQuery.

É possível especificar um relatório personalizado ao criar uma transferência do Google Analytics.

Limitações de relatórios personalizados

  • Apenas um relatório personalizado é aceito por configuração de transferência.
  • Um máximo de 9 dimensões e 10 métricas são aceitas por relatório personalizado.
  • Nem todas as dimensões e métricas são compatíveis entre si. Use a ferramenta GA4 Dimensions & Metrics Explorer para validar as dimensões e métricas do relatório personalizado antes de criar a transferência.
  • Dimensões e métricas personalizadas não são aceitas.

Configurar uma transferência de dados do Google Analytics 4

Selecione uma das seguintes opções:

Console

  1. Acesse a página Transferências de dados no Google Cloud console.

    Acesse Transferências de dados

  2. Clique em Criar transferência.

  3. Na página Criar transferência, faça o seguinte:

    • Na seção Tipo de origem, em Origem, escolha Google Analytics 4.

  4. Na seção Detalhes da fonte de dados:

    • No campo ID da propriedade, insira um ID de propriedade.
    • Opcional: no campo Filtro de tabela, insira uma lista de tabelas separadas por vírgulas para incluir, por exemplo, Audiences, Events. Adicione o caractere - como prefixo dessa lista para excluir determinadas tabelas, como -Audiences, Events. Todas as tabelas são incluídas por padrão.
    • Opcional: para ingerir relatórios personalizados em vez dos relatórios padrão, faça o seguinte:
      • No campo Nome da tabela de relatório personalizado, insira o nome da tabela de saída do relatório personalizado. Para mais informações sobre nomes de tabelas válidos, consulte Nomenclatura de tabelas.
      • No campo Dimensões do relatório personalizado, insira as dimensões do relatório personalizado. Para mais informações, consulte Relatórios personalizados.
      • No campo Métricas do relatório personalizado, insira as métricas do relatório personalizado. Para mais informações, consulte Relatórios personalizados.
    • Opcional: no campo Janela de atualização, insira uma duração para a janela de atualização em dias. A janela de atualização tem um valor padrão de quatro dias e pode ser um valor de até 30 dias.

  5. Na seção Configurações de destino, no menu Conjunto de dados de destino, selecione o conjunto de dados que você criou para armazenar os dados.

  6. No campo Nome de exibição da seção Nome de configuração da transferência, insira um nome para a transferência de dados. O nome da transferência pode ser qualquer valor que permita a identificação dela, caso você precise modificá-la mais tarde.

  7. Na seção Opções de programação , faça o seguinte:

    • Selecione Começar agora ou Começar no horário definido e forneça uma data de início e um horário de execução.
    • Em Repetições, escolha uma opção para a frequência de execução da transferência de dados. Se você selecionar Dias, forneça um horário válido em UTC.

  8. Opcional: no menu Conta de serviço, selecione uma conta de serviço nas contas de serviço associadas ao seu projeto do Google Cloud . A conta de serviço selecionada precisa ter os papéis necessários para executar essa transferência de dados.

    Se você fez login com uma identidade federada, é necessário ter uma conta de serviço para criar uma transferência de dados. Se você fez login com uma Conta do Google, ter uma conta de serviço para a transferência de dados é uma etapa opcional. Para saber mais sobre o uso de contas de serviço com transferências de dados, consulte Usar contas de serviço.

  9. Opcional: na seção Opções de notificação

    • Clique no botão para ativar as notificações por e-mail. Quando você ativa essa opção, o administrador de transferência recebe uma notificação por e-mail se uma execução de transferência falhar.
    • Clique no botão para ativar as notificações do Pub/Sub. Em Selecionar um tópico do Cloud Pub/Sub, escolha o nome do tópico ou clique em Criar tópico. Essa opção configura notificações de execução do Pub/Sub da sua transferência.

  10. Opcional: se você usa CMEKs, na Opções avançadas seção, selecione Chave gerenciada pelo cliente. Uma lista das CMEKs disponíveis será exibida. Para saber como as CMEKs funcionam com o serviço de transferência de dados do BigQuery, consulte Especificar a chave de criptografia com transferências.

  11. Clique em Salvar.

bq

Insira o comando bq mk e forneça a sinalização de execução da transferência --transfer_config. As sinalizações a seguir são necessárias:

  • --data_source
  • --target_dataset
  • --display_name
  • --params
  bq mk --transfer_config \
  --project_id=PROJECT_ID \
  --target_dataset=DATASET \
  --display_name=NAME \
  --params='PARAMETERS' \
  --data_source=DATA_SOURCE

Em que:

  • PROJECT_ID: o ID do projeto. Se --project_id não for especificado, o projeto padrão será usado.
  • DATASET: o conjunto de dados de destino na configuração da transferência de dados.
  • NAME: o nome de exibição da configuração da transferência de dados. O nome da transferência pode ser qualquer valor que permita a identificação dela, caso você precise modificá-la mais tarde.
  • PARAMETERS: os parâmetros da configuração de transferência de dados criada no formato JSON, por exemplo, --params='{"param":"param_value"}'. Para transferências do Google Analytics 4, o parâmetro property_id é obrigatório.
  • DATA_SOURCE: a fonte de dados — ga4.

Por exemplo, com o comando a seguir, você cria uma transferência de dados do Google Analytics 4 chamada My Transfer usando o ID da propriedade 468039345, com o conjunto de dados de destino mydataset.

A transferência de dados é criada no projeto padrão:

  bq mk --transfer_config
  --project_id=your_project
  --target_dataset=mydataset
  --display_name=My Transfer
  --params='{"property_id":"468039345"}'
  --data_source=ga4

API

Use o projects.locations.transferConfigs.create método e forneça uma instância do TransferConfig recurso.

Especificar a chave de criptografia com transferências

É possível especificar chaves de criptografia gerenciadas pelo cliente (CMEKs, na sigla em inglês) para criptografar dados de uma execução de transferência. É possível usar uma CMEK para oferecer suporte a transferências de Google Analytics 4.

Quando você especifica uma CMEK com uma transferência, o serviço de transferência de dados do BigQuery aplica a CMEK a qualquer cache intermediário no disco de dados ingeridos para que todo o fluxo de trabalho de transferência de dados fique em conformidade com a CMEK.

Não é possível atualizar uma transferência atual para adicionar uma CMEK se a transferência não tiver sido criada originalmente com uma CMEK. Por exemplo, não é possível alterar uma tabela de destino que, originalmente, estava criptografada por padrão, para ser criptografada com CMEKs. Por outro lado, também não é possível alterar uma tabela de destino criptografada por CMEK para ter um tipo diferente de criptografia.

É possível atualizar uma CMEK para uma transferência se a configuração de transferência tiver sido criada originalmente com uma criptografia CMEK. Quando você atualiza uma CMEK para uma configuração de transferência, o serviço de transferência de dados do BigQuery propaga a CMEK para as tabelas de destino na próxima execução da transferência, em que o serviço de transferência de dados do BigQuery substitui todas as CMEKs desatualizadas pela nova CMEK durante a execução da transferência. Para saber mais, consulte Atualizar uma transferência.

Também é possível usar as chaves padrão do projeto. Quando você especifica uma chave padrão do projeto com uma transferência, o serviço de transferência de dados do BigQuery a usa como padrão para qualquer nova configuração de transferência.

Preços

Não há custo para executar uma transferência do Google Analytics 4.

Assim que os dados são transferidos para o BigQuery, são aplicados os preços padrão de armazenamento e consulta do BigQuery.

Quota

As transferências do Google Analytics 4 estão sujeitas às cotas de propriedade do Analytics conforme aplicadas pelo Google Analytics 4. Para permitir mais cota por propriedade, faça upgrade para o Google Analytics 360.