Noções básicas sobre as tabelas de dados do Cloud Billing no BigQuery

Neste documento, você verá informações de referência sobre o esquema dos dados do Cloud Billing exportados para cada tabela no BigQuery.

Tabelas de dados de faturamento

Logo depois de ativar a exportação do Cloud Billing para o BigQuery, as tabelas de dados de faturamento são criadas automaticamente no conjunto de dados do BigQuery.

  • Tabela de custo de uso do FOCUS (pré-lançamento) : o Google fornece um conjunto de dados imutável do BigQuery chamado: gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location> e uma tabela de dados do FOCUS chamada: gcp_billing_export_focus_<BILLING_ACCOUNT_ID>.
  • Tabela de custos de uso padrão: no conjunto de dados do BigQuery, essa tabela é denominada gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Tabela de custo de uso detalhada: inclui todos os campos de dados da tabela de custos de uso padrão, além de outros campos que fornecem dados de custo no nível do recurso, como um máquina virtual ou SSD que gera o uso do serviço. No conjunto de dados do BigQuery, essa tabela é denominada gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Tabela de dados de preços: no conjunto de dados do BigQuery, essa tabela é denominada cloud_pricing_export.
  • Metadados de descontos por compromisso de uso (CUD) (pré-lançamento): inclui metadados de CUD, como ID da conta de faturamento, ID do produto, ID do modelo de consumo, unidades e valores do compromisso e muito mais. No conjunto de dados do BigQuery, o nome dessa tabela é cud_subscriptions_export.

Frequência de carregamentos de dados

Exportação de custo de uso do FOCUS, padrão e detalhada

  • Quando você ativa pela primeira vez a exportação de custo de uso FOCUS, padrão ou detalhada para o BigQuery, pode levar algumas horas para começar a ver os dados de custo doGoogle Cloud propagados para seu conjunto de dados do BigQuery. Os dados são exportados em ordem cronológica. Se a exportação for configurada para incluir dados retroativamente no mês atual e no anterior, pode levar até cinco dias para que os dados exportados alcancem totalmente os dados de uso atuais.
  • Os serviços doGoogle Cloud informam dados de uso e custo para processos do Cloud Billing em intervalos variados.
  • O Cloud Billing exporta dados de uso e custo para seu conjunto de dados do BigQuery em intervalos regulares. Não há garantias de entrega ou latência para a exportação para o BigQuery.
  • Como a frequência de relatórios de uso varia de acordo com o serviço do Google Cloud , talvez você não veja os dados de uso e custo do Cloud Billing imediatamente para todos os serviços do Google Cloud usados recentemente.

Exportação de metadados de preços e CUD

  • Quando você ativa a exportação de preços para o BigQuery pela primeira vez, pode levar até 48 horas para começar a ver seus dados de preços do Google Cloud .
  • Depois de ativar a exportação de preços, os dados de preços aplicáveis à sua conta do Cloud Billing são exportados para o BigQuery uma vez por dia.

Disponibilidade de dados

  • Para clientes que ativam a exportação de dados de custo de uso FOCUS, padrão ou detalhado pela primeira vez:

    • Se você configurar o conjunto de dados do BigQuery para usar um local multirregional (UE ou EUA), os dados do Cloud Billing são exportados de forma retroativa desde o início do mês anterior. Por exemplo, se você ativar a exportação de dados de custo de uso do FOCUS, custo de uso padrão ou custo de uso detalhado em 23 de setembro, sua exportação incluirá dados a partir de 1º de agosto.

      Exportamos dados em ordem cronológica, um dia de cada vez, para que os dados do primeiro dia do último mês sejam preenchidos primeiro. Para o preenchimento inicial dos dados exportados, pode levar até cinco dias para que os dados retroativos do Cloud Billing sejam exportados antes de começar a ver os dados de uso mais recentes.

    • Se você configurar o conjunto de dados do BigQuery para usar um local de região compatível, seu custo de uso do FOCUS, custo de uso padrão ou custo de uso detalhado estarão disponíveis a partir da data em que você ativar a exportação do Cloud Billing. Ou seja, os dados de faturamento do Google Cloud não são adicionados de forma retroativa para locais de conjuntos de dados não multirregionais. Portanto, você não verá os dados do Cloud Billing de antes de ativar a exportação.

    • Para clientes que ativaram, desativaram e reativaram a exportação de dados de custo de uso do FOCUS, custo de uso padrão ou custo de uso detalhado, os dados do Cloud Billing talvez não estejam disponíveis para o período em que a exportação foi explicitamente desativada.

  • Se você ativar a exportação de dados de preços, o conjunto de dados do BigQuery refletirá apenas os dados do Cloud Billing incorridos a partir da data em que você ativou a exportação de preços pela primeira vez. Os dados de preços do Cloud Billing não são adicionados retroativamente. Portanto, você não verá os dados de preços das datas que ocorreram antes da exportação.

  • Os dados nos conjuntos de dados do BigQuery refletem o estado dos recursos no momento em que o uso foi registrado. Se você fizer mudanças nos recursos, como adicionar novos rótulos a um projeto ou mudar a hierarquia de um projeto (o que mudaria project.ancestors), essas alterações só serão mostradas em exportações futuras de uso de dados. Os registros exportados anteriormente não são alterados.

  • Se você excluir dados exportados, como os registros de exportação do BigQuery, não será possível preencher os registros excluídos.

  • Se você editar as configurações de uma exportação para atualizar o projeto ou o conjunto de dados em que os dados de faturamento exportados estão armazenados, os dados do conjunto de dados anterior não serão preenchidos automaticamente no novo conjunto de dados. O novo conjunto de dados do BigQuery reflete apenas os dados do Cloud Billing incorridos a partir da data em que você alterou as configurações de exportação. Para incluir o registro completo dos dados de faturamento exportados, é preciso mesclar manualmente o novo conjunto de dados com o anterior. Para mais informações, consulte Operação de mesclagem.

  • Os carregamentos do BigQuery são compatíveis com ACID. Portanto, se você consultar o conjunto de dados de exportação do Cloud Billing do BigQuery enquanto os dados estiverem sendo carregados nele, não encontrará dados parcialmente carregados.

  • Veja outras limitações que podem afetar a exportação dos seus dados de faturamento para o BigQuery, como conjuntos de dados com chaves de criptografia gerenciadas pelo cliente (CMEK, na sigla em inglês) ativadas.

Limitações

A exportação dos dados do Cloud Billing para o BigQuery está sujeita às seguintes limitações.

Esquema de tabela para as exportações de dados do Cloud Billing

O esquema de tabela de qualquer uma das exportações de dados do Cloud Billing pode mudar.

Quando o esquema da tabela muda, como quando novos campos são adicionados a um esquema de tabela do BigQuery para uma exportação de dados do Cloud Billing, todas as consultas que referenciam diretamente as colunas exportadas podem falhar. Para resolver isso, recomendamos criar visualizações do BigQuery que consultem as tabelas exportadas e apresentem as informações na estrutura de sua preferência.

Em seguida, ajuste as consultas que alimentam seus relatórios e painéis para extrair das visualizações, em vez das tabelas exportadas. Ao usar visualizações, é possível padronizar a estrutura dos dados usados nas consultas e nos painéis.

As visualizações criadas precisam normalizar os dados para que todas as tabelas relevantes apresentem o mesmo esquema às consultas. Isso protege você contra mudanças futuras no esquema, permitindo que você modifique a consulta subjacente da visualização quando o esquema de dados mudar.

Exportação do FOCUS e retenção de dados

Os dados de faturamento exportados para o FOCUS BigQuery Export fornecido pelo Google estão sujeitos a uma política de tempo de vida (TTL) de dois anos. Os dados com mais de dois anos são excluídos automaticamente da tabela de exportação do FOCUS fornecida no conjunto de dados do BigQuery. Se você precisar reter o histórico de dados de faturamento do FOCUS por mais de dois anos, copie os dados do FOCUS para uma tabela de armazenamento de longo prazo de sua propriedade.

Locais de conjuntos de dados do BigQuery e disponibilidade de dados

Locais do conjunto de dados do BigQuery compatíveis para uso com dados do Cloud Billing:

Os conjuntos de dados do BigQuery são configurados para usar um local, que pode ser multirregional (UE ou EUA) ou uma região. O local do conjunto de dados é definido no momento da criação. Depois que um conjunto de dados é criado, o local não pode ser alterado.

A exportação de dados do Cloud Billing é compatível com todos os locais de multirregião (UE ou EUA), mas apenas um subconjunto de locais de região. Ao definir as configurações de exportação do Cloud Billing, se você criar ou selecionar um conjunto de dados configurado para usar um local de região não compatível, ao tentar salvar suas configurações de exportação, você verá um erro Região do conjunto de dados inválida.

A tabela a seguir lista os locais multirregionais e os locais regionais compatíveis com conjuntos de dados do BigQuery que contêm dados do Cloud Billing.

Américas Ásia-Pacífico Europa Oriente Médio

Multirregional: EUA

Regiões:

  • northamerica-northeast1 (Montreal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (Carolina do Sul)
  • us-east4 (Norte da Virgínia)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regiões:

  • asia-east1 (Taiwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tóquio)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapura)
  • asia-southeast2 (Jacarta)
  • australia-southeast1 (Sydney)

Multirregional: UE

Regiões:

  • europe-central2 (Varsóvia)
  • europe-north1 (Finlândia)
  • europe-west1 (Bélgica)
  • europe-west2 (Londres)
  • europe-west3 (Frankfurt)
  • europe-west4 (Países Baixos)
  • europe-west6 (Zurique)

Regiões:

  • me-central1 (Doha)
  • me-central2 (Damã)
  • me-west1 (Tel Aviv)

Locais e disponibilidade de dados:

  • Para os conjuntos de dados do BigQuery que contêm dados de custo de uso do FOCUS, dados de custo de uso padrão ou dados de custo de uso detalhados, o tipo de local configurado no conjunto de dados afeta o tempo em que os dados de faturamento do Google Cloud são exportados para o conjunto de dados:

    • Se você configurar o conjunto de dados para usar um local multirregional (UE ou EUA), o conjunto de dados refletirá os dados de faturamento do Google Cloud incorridos a partir do início do mês anterior ao que você ativou a exportação pela primeira vez, a menos que você a reative. Ou seja, os dados de faturamento doGoogle Cloud são adicionados retroativamente somente para o mês atual e o anterior. Para o preenchimento inicial dos dados exportados, pode levar até cinco dias para que a exportação dos dados retroativos do Cloud Billing seja concluída antes que você comece a ver os dados de uso atuais.

    • Se o conjunto de dados estiver configurado para usar um local regional compatível, os dados de custo de uso do FOCUS, os dados de custo de uso padrão e os dados detalhados de custo de uso refletem apenas os dados de faturamento do Google Cloud incorridos a partir da data em que você ativou a exportação do Cloud Billing. Ou seja, os dados de faturamento do Google Cloud não são adicionados de forma retroativa para locais de conjuntos de dados não multirregionais. Portanto, você não verá os dados do Cloud Billing de antes de ativar a exportação.

    • Para mais detalhes, consulte a disponibilidade de dados.

  • Os conjuntos de dados do BigQuery que contêm dados de preços coletam apenas dados de faturamento do Google Cloud incorridos a partir da data em que você configurou a exportação do Cloud Billing. Ou seja, os dados de preços doGoogle Cloud não são adicionados retroativamente. Sendo assim, você não verá os dados de preços do Cloud Billing antes de ativar a exportação. Para mais detalhes, consulte a disponibilidade de dados.

Desativar, reativar ou editar as configurações de exportação

Se você desativar, reativar ou editar as configurações de exportação para atualizar o projeto ou conjunto de dados em que os dados de faturamento exportados estão armazenados, os dados de faturamento exportados anteriormente não serão preenchidos no novo conjunto de dados. Para incluir as informações de faturamento que foram exportadas antes de mudar para um projeto ou conjunto de dados diferente, é necessário mesclar manualmente o novo conjunto de dados com o anterior. Para mais informações, consulte Operação de mesclagem.

Criptografia de conjunto de dados

Os conjuntos de dados do BigQuery são configurados para usar criptografia em repouso definindo uma opção de chave de criptografia ao criar o conjunto de dados: uma Google-owned and Google-managed encryption keyou uma chave de criptografia gerenciada pelo cliente (CMEK). É possível editar a configuração de criptografia depois de criar um conjunto de dados.

Se você já ativou a exportação de dados do Cloud Billing para o BigQuery e seu conjunto de dados está configurado para usar umaGoogle-managed encryption key, é possível atualizar o conjunto de dados e as tabelas dele para usar uma CMEK. Para atualizar o conjunto de dados e as tabelas, siga estas etapas:

  1. Defina uma chave padrão no conjunto de dados. Definir uma chave padrão garante que todas as novas tabelas criadas no conjunto de dados sejam protegidas automaticamente com a CMEK.
  2. Use a ferramenta de linha de comando bq para ativar a CMEK em cada tabela existente no conjunto de dados. Alterar a chave padrão do conjunto de dados não recriptografa automaticamente as tabelas atuais.

Saiba como ativar as CMEKs para tabelas do BigQuery.

Políticas da organização de CMEK

É possível usar as políticas da organização de CMEK para aplicar o uso de CMEK aos recursos do BigQuery, incluindo exportações de faturamento, ou para exigir que a CMEK resida em um projeto aprovado. No entanto, aplicar as políticas da organização de CMEK pode ter os seguintes efeitos inesperados:

  • O processo de exportação pode falhar em conjuntos de dados preexistentes: quando você ativa uma nova restrição de política da organização, ela não é aplicada aos conjuntos de dados atuais. Isso significa que você pode ter conjuntos de dados que ainda existem, mesmo que não sejam mais permitidos. No entanto, na próxima vez que você tentar exportar para esse conjunto de dados, o processo de exportação vai falhar se não for possível criar novas tabelas devido a uma política da organização recém-aplicada.

    Para evitar essa situação, revise proativamente as configurações de exportação de faturamento sempre que atualizar as políticas da organização e atualize a configuração do conjunto de dados conforme necessário para obedecer às restrições restrictNonCmekServices e restrictCmekCryptoKeyProjects.

  • Aplicação inconsistente de políticas da organização: as políticas da organização não são aplicadas quando você cria um conjunto de dados vazio. Isso significa que é possível aplicar a restrição restrictNonCmekServices para exigir que os recursos do BigQuery usem uma CMEK para criptografia, mas criar um conjunto de dados do BigQuery configurado para usar Google-owned and Google-managed encryption keys. No entanto, a exportação de faturamento que usa esse conjunto de dados vai falhar porque a política da organização não permite criar uma tabela não protegida por CMEK enquanto a restrição restrictNonCmekServices é aplicada ao BigQuery.

    Para resolver essa situação, atualize a criptografia do conjunto de dados para definir uma chave padrão que obedeça às restrições restrictNonCmekServices e restrictCmekCryptoKeyProjects.

Segurança no nível da linha

Se você quiser usar a segurança no nível da linha do BigQuery na tabela que contém os dados exportados, conceda à conta de serviço de exportação do Cloud Billing billing-export-bigquery@system.gserviceaccount.com acesso total à tabela usando o filtro TRUE do BigQuery. O comando a seguir concede acesso à conta de serviço do Cloud Billing:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

Dados de custo de uso detalhados ou do FOCUS e GKE

Ao exportar dados de custo de uso do FOCUS ou dados detalhados de custo de uso, a exportação inclui automaticamente informações sobre o recurso sobre o Compute Engine e outros serviços. No entanto, para dados do Google Kubernetes Engine (GKE), para ver um detalhamento dos custos do cluster do GKE em uma exportação de dados FOCUS ou detalhada, também é necessário ativar a alocação de custos para o GKE.

Tags no nível do recurso

As tags no nível do recurso podem levar até uma hora para serem propagadas para as exportações do BigQuery. Se uma tag tiver sido adicionada ou removida em uma hora, ou se um recurso existir por menos de uma hora, talvez ela não apareça na exportação.

As tags no nível do recurso estão disponíveis para vários recursos na exportação de custo de uso padrão e na exportação de custo de uso detalhada.

Anterior
Configurar a exportação do FOCUS para o BigQuery
Avançar
Estrutura da exportação de dados do FOCUS