Atualizações do modelo de dados dos DFs baseados em gastos

Como parte da expansão do programa de descontos por utilização garantida (CUDs), atualizamos o modelo de dados de CUDs baseados em gastos e fornecemos ferramentas para ajudar a preparar-se para as alterações, que incluem:

  • Exportação de dados de exemplo do BigQuery: um conjunto de dados de exemplo que demonstra como a ativação altera o aspeto das exportações de dados de CUD baseados em gastos no BigQuery.
  • Consultas de exemplo de IEDs de CUD: consultas de exemplo para usar com a exportação de dados de exemplo do BigQuery para calcular indicadores essenciais de desempenho (IEDs) de CUD importantes.
  • Novos detalhes dos DFs: descrições dos novos campos dos DFs e migração de dados, por exemplo, novos IDs de SKUs de taxas de DFs, nomes de ofertas e IDs de modelos de consumo.

Exportação de dados de amostragem do BigQuery

Pode usar a exportação de dados de amostra do BigQuery para preparar os seus sistemas internos para as alterações que ocorrem nos dados de CUD baseados em gastos. O processo para usar a exportação de dados de exemplo tem estes passos principais:

  1. Verifique os pré-requisitos.
  2. Ative a exportação de dados de amostra.
  3. Permita que os novos dados se acumulem.
  4. Explore o novo modelo de dados e consultas.
  5. Atualize os seus sistemas e fluxos de trabalho internos em conformidade.

Pré-requisitos

Tem de cumprir os seguintes pré-requisitos para usar a exportação de dados de exemplo:

  • Tem de ter uma exportação de dados de faturação detalhada ou padrão configurada para a sua conta do Cloud Billing. Para mais informações, consulte o artigo Configure a exportação de dados de faturação do Google Cloud para o BigQuery

  • Tem de ter autorizações no projeto proprietário da exportação e autorizações na conta do Cloud Billing onde está a ativar a exportação. Por exemplo:

    • bigquery.datasets.create no projeto que contém o conjunto de dados.
    • billing.accounts.getUsageExportSpec na conta do Cloud Billing.

    Para encontrar funções predefinidas do Cloud Billing que contenham estas autorizações, por exemplo, Leitor da conta de faturação, Gestor de custos da conta de faturação ou Administrador da conta de faturação, consulte o artigo Controlo de acesso e autorizações do Cloud Billing. Para mais informações acerca das autorizações específicas do BigQuery, consulte as funções de IAM do BigQuery e as autorizações

  • Quando cria uma nova conta de faturação do Google Cloud, a atribuição proporcional é ativada por predefinição para compromissos baseados em gastos. Caso contrário, tem de a ter ativado para usar esta exportação. Pode fazê-lo seguindo estas instruções.

  • Se usar os VPC Service Controls para recursos do BigQuery no seu projeto ou organização, tem de criar regras de entrada e saída para ativar corretamente as exportações de dados para o BigQuery.

    1. Crie uma regra de entrada que conceda ao indivíduo acesso para criar a exportação:
      
        - ingressFrom:
            identities:
            - PRINCIPAL_IDENTIFIER_OF_USER_INITIATING_EXPORT
            sources:
            - accessLevel: "*"
        ingressTo:
            roles:
            - roles/bigquery.dataOwner
            resources:
            - projects/YOUR_PROJECT_ID_TO_HOST_EXPORT_DATA
        title: 'Ingress Rule Name'
        

      Consulte os identificadores principais para mais informações acerca dos formatos de identificadores principais.

    2. Crie uma regra de saída para permitir o Google Cloud acesso ao conjunto de dados do BigQuery através dos VPC Service Controls:
      
        - egressTo:
            roles:
            - roles/bigquery.dataOwner
            resources:
            - projects/710382390241
        egressFrom:
            identityType: ANY_IDENTITY
            sources:
            - accessLevel: "*"
            sourceRestriction: RESTRICTION_STATUS
        title: 'Egress Rule Name'
        

Ative a exportação de dados de amostra

Para ativar a exportação de dados de amostra, conclua os seguintes passos:

  1. Abra a secção Exportação de faturação da Google Cloud consola.

    Aceda à exportação de faturação

  2. Na caixa de diálogo Exportação de faturação, selecione a conta do Cloud Billing onde quer ativar a exportação de dados de amostra, conforme mostrado no ecrã seguinte. Caixa de diálogo usada para escolher a conta

  3. O processo de exportação de dados começa e demora aproximadamente um dia a ser ativado. Vai ver a seguinte nota até que esteja pronto: Ecrã que mostra a mensagem a indicar que a exportação de dados de amostra não está pronta Depois de ativar a exportação de dados de amostra, começa a recolher dados de faturação do Google Cloud, com novos dados adicionados continuamente até janeiro de 2026. Aguarde tempo suficiente para que se acumulem dados suficientes na exportação antes de atualizar os seus sistemas para se alinharem com o novo modelo de dados.

  4. Quando a exportação estiver pronta, é apresentada a seguinte notificação na secção Faturação da Google Cloud consola: Ecrã a mostrar a mensagem que indica que a exportação de dados de amostra está pronta

    A exportação de dados é criada como um conjunto de dados associado no mesmo projeto do BigQuery que contém a exportação detalhada de faturação, mas usa o projeto de exportação padrão se a exportação detalhada não estiver presente. Uma vez que é um conjunto de dados associado, não incorre em custos adicionais pela exportação de amostras. Para mais informações, consulte o artigo Introdução à partilha do BigQuery.

  5. Clique em Ver conjunto de dados de exemplo para abrir o BigQuery na Google Cloud consola, onde pode executar consultas para compreender os seus KPIs de CUD importantes.

Limitações de exportação de amostras

A exportação de dados de amostra é uma ferramenta que ajuda a preparar-se para as alterações ao modelo de dados e usa o esquema detalhado, não o esquema padrão. Não é uma substituição das exportações detalhadas ou padrão de produção. Em alternativa, o exemplo permite-lhe testar atualizações às suas consultas que se ajustam às alterações do modelo de dados. Estas alterações ao modelo de dados aplicam-se igualmente às exportações padrão e detalhadas. A exportação padrão é uma agregação da exportação detalhada e contém significativamente menos linhas. Esta diferença deve-se a duas colunas que aparecem no esquema de exportação detalhado, mas não na exportação padrão:

  • resource: uma struct que contém informações sobre os recursos.
  • subscrição: contém subscription.instance_id.

Se as suas consultas não usarem estas duas colunas, funcionam de forma idêntica nas exportações padrão e detalhadas, e produzem os mesmos resultados. No entanto, as consultas afetadas pelo número de linhas são uma exceção, por exemplo, as consultas que envolvem contagens.

Se as consultas atualizadas gerarem resultados como esperado quando testadas em comparação com a exportação de amostra, pode esperar que as consultas atualizadas gerem os resultados pretendidos quando executadas na exportação detalhada ou padrão após a migração.

A exportação de dados de amostra também difere das exportações de dados de produção nestes aspetos importantes:

  • Após a migração: não use as exportações de amostra depois de aceitar o novo modelo de dados, porque, a partir desse momento, as exportações de amostra deixam de ser precisas.
  • Tamanho do resultado: devido às diferenças na agregação de dados, o tamanho da exportação de amostras pode variar em relação à exportação real que vê depois de aceitar estas alterações.
  • Métodos de arredondamento: devido a diferenças nos métodos de arredondamento, podem ocorrer pequenas discrepâncias em valores muito pequenos ou em moedas que não sejam USD.
  • Taxas rateadas: a exportação de amostra pode sobrestimar os custos da primeira e última hora de uma compra de CUD, porque não tem em conta as taxas de compromisso de horas parciais da mesma forma. A compra de um CUD baseado em gastos rateia a taxa da primeira hora.
  • Recomendação de base de tempo para comparação: quando comparar a exportação de amostra e as exportações de produção, use usage_start_time como base para definir períodos nos dois tipos de exportações e não export_time. A agrupação por data de partição (o campo export_time) não garante uma imagem consistente da utilização, porque os dados de cada exportação são carregados em momentos diferentes.
  • Atualidade dos dados: a exportação de amostras é gerada de acordo com um horário com um atraso em comparação com a exportação de produção do BigQuery. Podem ocorrer discrepâncias, especialmente para as datas de utilização mais recentes, devido ao momento do tratamento de dados. Isto deve-se ao facto de os dados de utilização serem preenchidos mais lentamente na exportação de amostra do que na exportação de produção.
    • Recomendação para comparação: não tente fazer comparações nos dados de exportação com usage_start_time menos de uma semana no passado.
  • Integridade dos dados do histórico: o processo que gera a exportação de amostras é separado da exportação padrão. Este processo pode ser afetado por problemas operacionais ou incidentes de serviço. Em raras ocasiões, isto resultou em dados incompletos ou em falta na exportação de amostras para intervalos de datas específicos. Por exemplo, a exportação de amostras teve problemas de integridade dos dados para exportações datadas entre 6 e 9 de agosto de 2025.
    • Recomendação para comparação: quando validar a exportação de amostras, especialmente para dados do histórico, tenha em atenção que podem existir anomalias. Os testes com meses de faturas mais recentes e completos (por exemplo, setembro de 2025) podem fornecer uma pré-visualização mais precisa.

Exemplo de exportação de dados antes e depois do novo modelo CUD

O novo modelo de CUD baseado em gastos requer que planeie e ajuste os seus sistemas internos que possam consumir dados da Faturação do Google Cloud. Como resultado, apresentamos os seguintes cenários para mostrar como o esquema de exportação de dados e os dados mudam, antes e depois do novo modelo CUD. Dividimos ainda mais estes cenários em situações em que usa em excesso e usa abaixo do limite os seus CUDs para mostrar o efeito na exportação de dados.

Para ambos os cenários, considere que comprou uma VM E2-Standard-8 no US Central 1, composta por duas SKUs para RAM e núcleo. Estes SKUs usam o ID fictício de RAM SKU e Core SKU, respetivamente.

Em seguida, compra uma 1 Year GCE Flex CUD por 0,1 €/hora para o cenário de utilização excessiva e 0,3 €/hora para o cenário de utilização insuficiente. Estes são representados nos dados como o ID fictício Fee SKU.

Cenário de CUD sobreutilizado

No cenário de utilização excessiva, fez as compras mencionadas anteriormente e usou os CUDs em excesso.

Dados anteriores a

Antes do novo modelo de CUD, o esquema de exportação e os valores dos dados do Cloud Billing tinham o aspeto da tabela seguinte.

SKU custo usage.amount_in_pricing_units usage.pricing_unit price.effective_price originating-sku 1 subscription.instance_id créditos
SKU da taxa 0,046868 6.509490 hora 0,0072 SKU de RAM subscriptions/e52fd279-0851-4f53-a533-093119e27bad []
SKU da taxa 0,025132 3.490510 hora 0,0072 SKU principal subscriptions/e52fd279-0851-4f53-a533-093119e27bad []
SKU de RAM 0,174496 8 gibibyte-hora 0,02181159 nulo nulo [{"amount":-0.065095,"full_name":"Committed use discount - dollar based: GCE Commitments", "type":"COMMITTED_USAGE_DISCOUNT_DOLLAR_BASE"}]
SKU principal 0,093568 32 hora 0,00292353 nulo nulo [{"amount":-0.034905,"full_name":"Committed use discount - dollar based: GCE Commitments", "type":"COMMITTED_USAGE_DISCOUNT_DOLLAR_BASE"}]

1. Esta coluna representa o valor da etiqueta goog-originating-sku-id.

Data posterior a

Após o novo modelo de CUD, o esquema e os valores de dados de exportação do Cloud Billing têm o aspeto da tabela seguinte.

SKU custo usage.amount_in_pricing_units usage.pricing_unit consumption_model.description price.effective_price originating-sku 1 subscription.instance_id créditos
SKU da taxa 0,046868 0,046868330 hora Predefinição 1 SKU de RAM subscriptions/1fd3b130-40f8-4a79-ac6f-5753aaa0ceeb [{"amount":"-0.046868",""type":"FEE_UTILIZATION_OFFSET"}]
SKU da taxa 0,025132 0,025131670 hora Predefinição 1 SKU principal subscriptions/1fd3b130-40f8-4a79-ac6f-5753aaa0ceeb [{"amount":"-0.025132",""type":"FEE_UTILIZATION_OFFSET"}]
SKU de RAM 0,109398 5,015577498 gibibyte-hora Predefinição 0,02181159 nulo nulo []
SKU principal 0,058648 20,06066639 hora Predefinição 0,00292353 nulo nulo []
SKU de RAM 0,046868 2,984422502 gibibyte-hora DFs flexíveis de computação de 1 ano 0,01570434 nulo subscriptions/1fd3b130-40f8-4a79-ac6f-5753aaa0ceeb []
SKU principal 0,025132 11,93933361 hora DFs flexíveis de computação de 1 ano 0,00210494 nulo subscriptions/1fd3b130-40f8-4a79-ac6f-5753aaa0ceeb []

1. Esta coluna representa o valor da etiqueta goog-originating-sku-id.

Tenha em atenção o seguinte neste novo modelo de CUD:

  • Existem duas linhas para cada CUD, em vez de uma para cada.
  • Existe uma nova coluna consumption_model.description que separa as entradas CUD adicionais, onde:
    • O valor Compute Flexible CUDs 1 Year indica que recebeu o desconto de CUD esperado.
    • O valor Default indica que usou o CUD em excesso e que o custo foi revertido para o preço predefinido do valor em excesso. Isto também é indicado pelo facto de subscription.instance_id não ter valor.
    • As linhas de taxas de CUD também têm o valor Default, porque os descontos não se aplicam a elas. Em vez disso, o campo credits indica que foi aplicado um desvio negativo para anular a taxa.

Cenário de CUD subutilizado

Para este cenário pouco usado, assumimos que fez as compras mencionadas anteriormente e usou pouco os CUDs.

Dados anteriores a

Antes do novo modelo de CUD, o esquema de exportação e os valores dos dados do Cloud Billing tinham o aspeto da tabela seguinte.

SKU custo usage.amount_in_pricing_units usage.pricing_unit price.effective_price originating-sku 1 subscription.instance_id créditos
SKU da taxa 0,022994 3194 hora 0,0072 nulo subscriptions/e52fd279-0851-4f53-a533-093119e27bad []
SKU da taxa 0,125637 17 450 hora 0,0072 SKU de RAM subscriptions/e52fd279-0851-4f53-a533-093119e27bad []
SKU da taxa 0,067369 9357 hora 0,0072 SKU principal subscriptions/e52fd279-0851-4f53-a533-093119e27bad []
SKU de RAM 0,174496 8 gibibyte-hora 0,02181159 nulo nulo [{"amount":-0.174496,"full_name":"Committed use discount - dollar based: GCE Commitments", "type":"COMMITTED_USAGE_DISCOUNT_DOLLAR_BASE"}]
SKU principal 0,093568 32 hora 0,00292353 nulo nulo [{"amount":-0.093568,"full_name":"Committed use discount - dollar based: GCE Commitments", "type":"COMMITTED_USAGE_DISCOUNT_DOLLAR_BASE"}]

1. Esta coluna representa o valor da etiqueta goog-originating-sku-id.

Data posterior a

Após o novo modelo de CUD, o esquema e os valores de dados de exportação do Cloud Billing têm o aspeto da tabela seguinte.

SKU custo usage.amount_in_pricing_units usage.pricing_unit price.effective_price consumption_model.description originating-sku 1 subscription.instance_id créditos
SKU da taxa 0,022994 0,0230 hora 1 Predefinição nulo subscriptions/1fd3b130-40f8-4a79-ac6f-5753aaa0ceeb []
SKU da taxa 0,125637 0,1256371 hora 1 Predefinição SKU de RAM subscriptions/1fd3b130-40f8-4a79-ac6f-5753aaa0ceeb [{"amount":"-0.1256348",""type":"FEE_UTILIZATION_OFFSET"}]
SKU da taxa 0,067369 0,0673690 hora 1 Predefinição SKU principal subscriptions/1fd3b130-40f8-4a79-ac6f-5753aaa0ceeb [{"amount":"-0.0673581",""type":"FEE_UTILIZATION_OFFSET"}]
SKU de RAM 0,125637 8 gibibyte-hora 0,0157043448 DFs flexíveis de computação de 1 ano nulo subscriptions/1fd3b130-40f8-4a79-ac6f-5753aaa0ceeb []
SKU principal 0,067369 32 hora 0,0021049416 DFs flexíveis de computação de 1 ano nulo subscriptions/1fd3b130-40f8-4a79-ac6f-5753aaa0ceeb []

1. Esta coluna representa o valor da etiqueta goog-originating-sku-id.

Tenha em atenção o seguinte neste novo modelo de CUD:

  • Existem duas linhas para cada CUD, em vez de uma para cada.
  • Existe uma nova coluna consumption_model.description que separa as entradas CUD adicionais, onde:
    • O valor Compute Flexible CUDs 1 Year indica que recebeu o desconto de CUD esperado.
    • O valor Default indica as linhas de taxas de CUD, porque os descontos não se aplicam a elas. Em alternativa, o campo credits indica que foi aplicado um desvio negativo para anular as taxas, que foram agregadas na primeira linha.
  • A primeira linha mostra a soma das taxas de CUD.

Consultas de exemplo para os KPIs de CUD principais

Por exemplo, para consultas que mostram como usar métricas de KPIs para validar que os seus sistemas estão a funcionar bem com o novo modelo de dados, consulte Consultas de exemplo para o novo modelo de dados de CUDs.

Exportação da faturação do Google Cloud para o BigQuery

A exportação da faturação do Google Cloud para o BigQuery padrão, detalhada e de refaturação (apenas para revendedores) tem os seguintes campos novos ou alterados:

Campo Tipo Novo ou atualizado
price Struct Existente (sem alteração na exportação detalhada ou de refaturação, adicionada à exportação padrão).
price.list_price Numérico Novo campo
price.effective_price_default Numérico Novo campo
price.list_price_consumption_model Numérico Novo campo
price.effective_price Numérico Existente (descrição atualizada na exportação detalhada e de refaturação; adicionada à exportação padrão).
price.tier_start_amount Numérico Existente na exportação detalhada, adicionada à exportação padrão.
price.unit String Existente na exportação detalhada, adicionada à exportação padrão.
price.pricing_unit_quantity Numérico Existente na exportação detalhada, adicionada à exportação padrão.
cost_at_list Numérico Campo existente, descrição atualizada para refletir as alterações.
cost Numérico Campo existente, descrição atualizada para refletir as alterações.
cost_at_effective_price_default Numérico Novo
cost_at_list_consumption_model Numérico Novo
consumption_model Struct Novo
consumption_model.id String Novo
consumption_model.description String Novo

Alterações à exportação de preços

A exportação de preços da faturação do Google Cloud para o BigQuery adiciona ou altera estes campos para informações de preços:

Campo Tipo Novo/atualizado
list_price Struct Atualizado
billing_account_price Struct Atualizado
consumption_model_prices Lista de structs Novo
consumption_model_prices.consumption_model_id String Novo
consumption_model_prices.consumption_model_display_name String Novo
consumption_model_prices.list_price.tiered_rates.start_usage_amount Flutuante Novo
consumption_model_prices.list_price.tiered_rates.usd_amount Numérico Novo
consumption_model_prices.billing_account_price.tiered_rates.start_usage_amount Flutuante Novo
consumption_model_prices.billing_account_price.tiered_rates.usd_amount Numérico Novo

Informações sobre o produto do CUD

As novas SKUs de taxas de DFs substituem as SKUs de taxas de DFs existentes, e os novos IDs de ofertas e IDs de modelos de consumo aplicam-se a todos os DFs no âmbito . Pode usar os seguintes detalhes para ajudar a ajustar as suas consultas e painéis de controlo.

Migração de ofertas e ID do modelo de consumo

Para ver uma lista das ofertas e dos IDs do modelo de consumo que vão ser migrados do modelo de dados de DF antigo para o novo modelo de dados, consulte o artigo SKUs, ofertas e IDs do modelo de consumo de DFs migrados.

Migração do ID da SKU da taxa do CUD

Para ver uma lista de IDs de SKUs de taxas de DFs e IDs de modelos de consumo que são migrados do modelo de dados antigo para o novo, consulte o artigo SKUs de DFs, ofertas e IDs de modelos de consumo migrados.