A exportação do Cloud Billing para o BigQuery permite exportar dados detalhados de faturamento do Google Cloud (como uso, estimativas de custo e dados de preços) automaticamente ao longo do dia para um conjunto de dados do BigQuery. Em seguida, é possível acessar os dados do Cloud Billing pelo BigQuery para uma análise detalhada. Também é possível usar esse método para exportar dados para um arquivo JSON.
A escolha do momento é importante. Para acessar um conjunto mais abrangente de dados de faturamentoGoogle Cloud para suas necessidades de análise, recomendamos que você ative a exportação de dados do Cloud Billing para o BigQuery ao mesmo tempo que cria uma conta do Cloud Billing.
Consulte as limitações que podem afetar a exportação dos dados de faturamento para o BigQuery.
Próximas etapas
Gerenciar e informar os custos com eficiência são partes essenciais da administração financeira, independentemente de você administrar uma empresa multimilionária ou um pequeno orçamento doméstico. A tomada de decisões com base em dados sobre os custos e o uso doGoogle Cloud começa com a coleta dos dados necessários para informar essas decisões.
Consulte os guias desta seção para saber mais sobre as seguintes tarefas:
- Configurar a exportação de dados do Cloud Billing para o BigQuery
- Noções básicas sobre as tabelas de dados Cloud Billing
- Exemplo de consultas para exportação de dados do Cloud Billing
Configurar a exportação de dados do Cloud Billing para o BigQuery
Para começar a coletar seus dados do Cloud Billing, é necessário ativar a exportação de dados do Cloud Billing para o BigQuery para cada tipo de exportação de faturamento que você precisa.
Estes são os tipos de dados do Cloud Billing que podem ser ativados para exportação:
| Tipo de exportação | Descrição |
|---|---|
| Custo de uso do FOCUS (pré-lançamento) | A exportação de custo de uso do FOCUS é um conjunto de dados imutável do BigQuery que contém seus dados detalhados de custo de uso normalizados usando os padrões da especificação de custo e uso aberto da FinOps (FOCUS). O FOCUS é uma especificação aberta que define requisitos claros para geradores de dados de faturamento de tecnologia produzirem conjuntos de dados consistentes de custo e uso. As colunas na exportação do FOCUS geralmente são mapeadas para os campos na exportação detalhada de custo de uso. Saiba como ativar a exportação de faturamento de custo de uso do FOCUS. |
| Custo de uso padrão | A exportação de dados de custo de uso padrão contém informações padrão de uso de custo da conta do Cloud Billing, como ID da conta, data da fatura, serviços, SKUs, projetos, rótulos, locais, custo, uso, créditos, ajustes e moeda. Use a exportação de custo de uso padrão para analisar as tendências gerais nos dados de custo. Saiba como ativar a exportação de faturamento de custo de uso padrão. |
| Custo de uso detalhado | A exportação de dados detalhados de custo de uso contém informações detalhadas sobre o uso do custo da conta do Cloud Billing. O esquema de exportação detalhada inclui tudo nos dados de custo de uso padrão, além de dados de custo no nível do recurso, como uma máquina virtual ou SSD que gera o uso do serviço. Use a exportação detalhada de custos de uso para analisar os custos no nível do recurso e identificar recursos específicos que podem estar aumentando os custos. A exportação detalhada inclui informações de custo granulares sobre vários serviços. Para ver informações sobre o GKE, também é necessário ativar a alocação de custos em exportações detalhadas. Analise o esquema dos dados detalhados de custo de uso para mais recomendações e limitações. Saiba como ativar a exportação detalhada de faturamento de custo de uso. |
| Dados dos preços | A exportação de dados de preços contém informações de preços da conta do Cloud Billing, como ID da conta de faturamento, serviços, SKUs, produtos, metadados geográficos, unidades de preços, moeda, agregação e níveis. Saiba como ativar a exportação de preços. Também é possível receber os dados de preços da sua conta do Cloud Billing destas maneiras: |
| Exportação de descontos por compromisso de uso (pré-lançamento) | Para clientes que compram CUDs, a exportação de metadados de descontos por uso contínuo (CUD) fornece uma exportação diária de metadados de CUD para uma tabela do BigQuery, que pode ser unida a outras exportações de dados de faturamento para melhorar o gerenciamento e a geração de relatórios de CUD. Os metadados de CUD incluem informações como ID da conta de faturamento, ID do produto, ID do modelo de consumo, unidades e valores de valor de compromisso e muito mais. |
| (Somente revendedores) Exportação de dados de refaturamento | Somente para revendedores, a exportação de dados de refaturamento contém informações detalhadas de uso do custo da conta do Cloud Billing em todas as suas contas de faturamento do revendedor anotadas com atributos específicos do parceiro. Use a exportação de dados de refaturamento para gerenciar operações de faturamento dos seus clientes do Google Cloud . Saiba mais sobre as configurações de mudança de preço, que permitem gerar custos para o cliente final. |
Você gera cobranças de uso do BigQuery ao usar o serviço para armazenar e analisar dados de custo e uso de faturamento. Para mais informações, consulte Custos de uso do BigQuery.
Consulte as limitações que podem afetar a exportação dos dados de faturamento para o BigQuery.
Noções básicas sobre as tabelas de dados Cloud Billing
Depois de ativar a exportação do Cloud Billing para o BigQuery, as tabelas de dados do Cloud Billing serão criadas automaticamente no conjunto de dados do BigQuery.
Para entender o esquema de dados do conteúdo exportado, consulte as informações de referência do conteúdo dos dados do Cloud Billing exportados para cada tabela no conjunto de dados do BigQuery.
- Tabela de custo de uso do FOCUS (prévia)
- Tabela de custo de uso padrão
- Tabela detalhada de custos de uso
- Tabela de preços
- Exportação de metadados de CUD (pré-lançamento)
Exemplo de consultas para exportação de dados do Cloud Billing
Existem exemplos de consultas disponíveis para diferentes tipos de dados de faturamento exportados.
Custo de uso do FOCUS
Para dados de faturamento do FOCUS, consulte as consultas de exemplo disponíveis no site da FinOps Foundation.
Exportações de custo de uso padrão, custo de uso detalhado e preços
Para dicas e orientações sobre como usar o SQL para executar consultas nos dados do Cloud Billing sobre custo de uso padrão, custo de uso detalhado e exportações de preços, consulte os exemplos de consultas.
Na página de consultas de exemplo, você encontra vários exemplos do SQL, incluindo os exemplos a seguir:
- Retornar os custos totais em uma fatura
- Consultar seus dados usando etiquetas
- Retornar dados sobre seus descontos por uso contínuo
- Consultar custos e créditos por projeto de um mês específico da fatura
- Mesclar dados de preços com dados detalhados de custo de uso
Custos de uso do BigQuery
Você gera cobranças de uso do BigQuery ao usar o serviço para armazenar e analisar dados de custo e uso de faturamento. Os principais custos no BigQuery são armazenamento, para dados armazenados no BigQuery, e computação, usada para processamento de consultas.
Os custos do BigQuery dependem da quantidade de dados armazenados e consultados. Em geral, os custos de armazenamento são menores do que os de consulta.
Para mais informações sobre os custos do BigQuery, consulte Estimar e controlar custos no BigQuery.
Custos de armazenamento
Os custos de armazenamento incluem o custo para armazenar dados que você carrega no BigQuery e dependem do seu modelo de faturamento de armazenamento.
- O carregamento de dados no conjunto de dados designado é sem custo financeiro. Essa ação aproveita o pool de recursos compartilhados do BigQuery para carregar dados em lotes.
- Muitas operações de tabela particionada são sem custo financeiro, incluindo o carregamento de dados em partições, a cópia de partições e a exportação de dados de partições. Embora sem custo financeiro, essas operações estão sujeitas às cotas e aos limites do BigQuery.
- A exportação do FOCUS é fornecida como uma exportação imutável, usando um conjunto de dados vinculado que o Google paga. Não há custos de armazenamento para os dados de custo de uso do FOCUS dos dois anos mais recentes, a menos que você copie e armazene os dados do FOCUS em uma tabela de armazenamento de longo prazo de sua propriedade.
Para mais informações sobre práticas recomendadas de otimização do custo de armazenamento do BigQuery, consulte Controlar custos de armazenamento. Também é possível otimizar o armazenamento para melhorar o desempenho das consultas.
Custos da consulta
Ao analisar seus dados, você recebe uma cobrança por todos os dados lidos sempre que a consulta é executada. A execução de consultas pode causar um pico de custo.
- Antes de executar uma consulta, é possível visualizar para verificar os custos estimados.
- Para dados de faturamento, a consulta da exportação detalhada de custos pode custar mais do que a consulta da exportação padrão. Para otimizar os custos, recomendamos usar a exportação padrão para analisar as tendências dos custos e a exportação detalhada para acompanhar os custos no nível do recurso e identificar recursos específicos que podem estar aumentando os custos.
- Saiba mais sobre como controlar os custos de consultas individuais e como controlar os custos em uma carga de trabalho.
Para mais informações sobre práticas recomendadas de otimização de custos ao executar consultas no BigQuery, consulte Otimizar a computação de consultas.
Para saber os preços detalhados, consulte os preços do BigQuery.
Limitações
A exportação dos dados do Cloud Billing para o BigQuery está sujeita às seguintes limitações.
Esquema da tabela para as exportações de dados do Cloud Billing
O esquema da tabela de qualquer uma das exportações de dados do Cloud Billing pode mudar.
Quando o esquema da tabela muda, por exemplo, quando novos campos são adicionados a um esquema de tabela do BigQuery para uma exportação de dados do Cloud Billing, as consultas que referenciam diretamente as colunas exportadas podem falhar. Para resolver isso, recomendamos criar visualizações do BigQuery que consultam as tabelas exportadas e apresentam as informações na estrutura de sua preferência.
Depois, ajuste as consultas que alimentam seus relatórios e painéis para extrair das visualizações, em vez das tabelas exportadas. Ao usar visualizações, você pode padronizar a estrutura dos dados usados em consultas e painéis.
As visualizações criadas precisam normalizar os dados para que todas as tabelas relevantes apresentem o mesmo esquema às consultas. Isso protege você de mudanças futuras no esquema, permitindo modificar a consulta da visualização quando o esquema de dados mudar.
Exportação do FOCUS e retenção de dados
Os dados de faturamento exportados para o FOCUS BigQuery Export fornecido pelo Google estão sujeitos a uma política de tempo de vida (TTL) de dois anos. Os dados com mais de dois anos são excluídos automaticamente da tabela de exportação do FOCUS fornecida no conjunto de dados do BigQuery. Se você precisar reter o histórico de dados de faturamento do FOCUS por mais de dois anos, copie os dados do FOCUS para uma tabela de armazenamento de longo prazo de sua propriedade.
Locais do conjunto de dados do BigQuery e disponibilidade de dados
Locais do conjunto de dados do BigQuery compatíveis para uso com dados do Cloud Billing:
Os conjuntos de dados do BigQuery são configurados para usar um local que seja multirregional (UE ou EUA) ou um local de região. O local do conjunto de dados é definido no momento da criação. Depois que um conjunto de dados é criado, o local não pode ser alterado.
A exportação de dados do Faturamento do Cloud é compatível com todos os locais de multirregião (UE ou EUA), mas apenas um subconjunto de locais de região. Ao configurar as configurações de exportação do Cloud Billing, se você criar ou selecionar um conjunto de dados configurado para usar um local de região sem suporte, ao tentar salvar as configurações de exportação, você vai receber um erro Região do conjunto de dados inválida.
A tabela a seguir lista os locais multirregionais e os locais regionais compatíveis com conjuntos de dados do BigQuery que contêm dados do Cloud Billing.
| Américas | Ásia-Pacífico | Europa | Oriente Médio |
|---|---|---|---|
|
Multirregional: EUA Regiões:
|
Regiões:
|
Multirregional: UE Regiões:
|
Regiões:
|
Locais e disponibilidade de dados:
Para os conjuntos de dados do BigQuery que contêm dados de custo de uso do FOCUS, dados de custo de uso padrão ou dados detalhados de custo de uso, o tipo de local configurado no conjunto de dados afeta o tempo em que os dados de faturamento do Google Cloud são exportados para ele:
- Se você configurar o conjunto de dados para usar um local multirregional (UE ou EUA), o conjunto de dados vai incluir os dados de faturamento do Google Cloud incorridos desde o início do mês anterior ao que você ativou a exportação pela primeira vez, a menos que você a reative. Ou seja, os dados de faturamento doGoogle Cloud são adicionados retroativamente somente para o mês atual e o anterior. Para o preenchimento inicial dos dados exportados, pode levar até cinco dias para que a exportação dos dados retroativos do Cloud Billing seja concluída antes que você comece a ver os dados de uso atuais.
Se o conjunto de dados estiver configurado para usar um local de região compatível, os dados de custo de uso do FOCUS, os dados de custo de uso padrão e os dados detalhados de custo de uso refletirão apenas os dados de faturamento do Google Cloud incorridos a partir da data em que você ativou a exportação do Cloud Billing. Ou seja,os dados de faturamento Google Cloud não são adicionados de forma retroativa para locais de conjuntos de dados não multirregionais. Portanto, você não verá os dados do Cloud Billing de antes de ativar a exportação.
Para mais detalhes, consulte a disponibilidade de dados.
Os conjuntos de dados do BigQuery que contêm dados de preços coletam apenas Google Cloud dados de faturamento incorridos a partir da data em que você configurou a exportação do Cloud Billing. Ou seja, os dados de preços doGoogle Cloud não são adicionados de forma retroativa. Portanto, você não verá os dados de preços do Cloud Billing de antes de ativar a exportação. Para mais detalhes, consulte Disponibilidade de dados.
Desativar, reativar ou editar as configurações de exportação
Se você desativar, reativar ou editar as configurações de exportação para atualizar o projeto ou conjunto de dados em que os dados de faturamento exportados estão armazenados, os dados de faturamento exportados anteriormente não serão preenchidos no novo conjunto de dados. Para incluir as informações de faturamento exportadas antes da mudança para outro projeto ou conjunto de dados, faça a junção manual do novo conjunto com o anterior. Para mais informações, consulte Operação de mesclagem.
Criptografia de conjunto de dados
Os conjuntos de dados do BigQuery são configurados para usar a criptografia em repouso ao definir uma opção de chave de criptografia ao criar o conjunto de dados, seja uma Google-owned and Google-managed encryption keyou uma chave de criptografia gerenciada pelo cliente (CMEK). É possível editar a configuração de criptografia depois de criar um conjunto de dados.
Se você já tiver ativado a exportação de dados do Cloud Billing para o BigQuery e seu conjunto de dados estiver configurado para usar umGoogle-managed encryption key, atualize o conjunto de dados e as tabelas para usar uma CMEK. Para atualizar o conjunto de dados e as tabelas dele, siga estas etapas:
- Defina uma chave padrão do conjunto de dados no conjunto de dados. Ao definir uma chave padrão, você garante que todas as novas tabelas criadas no conjunto de dados sejam protegidas automaticamente com a CMEK.
- Use a ferramenta de linha de comando
bqpara ativar a CMEK em cada tabela atual no conjunto de dados. Mudar a chave padrão do conjunto de dados não recriptografa automaticamente as tabelas atuais.
Saiba como ativar a CMEK para tabelas do BigQuery.
Políticas da organização de CMEK
É possível usar políticas da organização de CMEK para aplicar o uso da CMEK nos seus recursos do BigQuery, incluindo exportações de faturamento, ou para exigir que a CMEK esteja em um projeto aprovado. No entanto, a aplicação das políticas da organização de CMEK pode ter os seguintes efeitos inesperados:
O processo de exportação pode falhar em conjuntos de dados já existentes: quando você ativa uma nova restrição de política da organização, ela não é aplicada aos conjuntos de dados atuais. Isso significa que você pode ter conjuntos de dados que ainda existem, mesmo que não sejam mais permitidos. No entanto, na próxima vez que você tentar exportar para esse conjunto de dados, o processo de exportação vai falhar se não for possível criar novas tabelas devido a uma política da organização recém-aplicada.
Para evitar essa situação, revise proativamente as configurações de exportação de faturamento atuais sempre que atualizar as políticas da organização e atualize a configuração do conjunto de dados conforme necessário para obedecer às restrições de
restrictNonCmekServiceserestrictCmekCryptoKeyProjects.Aplicação inconsistente das políticas da organização: As políticas da organização não são aplicadas quando você cria um conjunto de dados vazio. Isso significa que você pode aplicar a restrição
restrictNonCmekServicespara exigir que os recursos do BigQuery usem uma CMEK para criptografia, mas criar um conjunto de dados do BigQuery configurado para usar Google-owned and Google-managed encryption keys. No entanto, a exportação de faturamento que usa esse conjunto de dados vai falhar porque a política da organização não permite criar uma tabela não protegida por CMEK enquanto a restriçãorestrictNonCmekServicesé aplicada ao BigQuery.Para resolver essa situação, atualize a criptografia do conjunto de dados para definir uma chave padrão que esteja em conformidade com as restrições de
restrictNonCmekServiceserestrictCmekCryptoKeyProjects.
Segurança no nível da linha
Se você quiser usar a
segurança no nível da linha do BigQuery
na tabela que contém os dados exportados, conceda à
conta de serviço de exportação do Cloud Billing
billing-export-bigquery@system.gserviceaccount.com
acesso total à tabela
usando o filtro TRUE do BigQuery.
O comando a seguir concede acesso à conta de serviço do Cloud Billing:
CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);
Dados de custo de uso detalhados ou do FOCUS e GKE
Ao exportar dados de custo de uso do FOCUS ou dados detalhados de custo de uso, a exportação inclui automaticamente informações sobre o recurso sobre o Compute Engine e outros serviços. No entanto, para dados do Google Kubernetes Engine (GKE), se quiser ver um detalhamento dos custos do cluster do GKE em uma exportação de dados detalhada ou de foco, também é necessário ativar a alocação de custos para o GKE.
Tags no nível do recurso
As tags no nível do recurso podem levar até uma hora para serem propagadas para as exportações do BigQuery. Se uma tag tiver sido adicionada ou removida em uma hora, ou se um recurso existir por menos de uma hora, talvez ela não apareça na exportação.
As tags no nível do recurso estão disponíveis para vários recursos na exportação de custo de uso padrão e na exportação de custo de uso detalhada.