Configurar a exportação de dados do Cloud Billing do FOCUS para o BigQuery

Este documento mostra todas as etapas necessárias para configurar a exportação de dados do Cloud Billing para o BigQuery com o custo de uso do FOCUS. A exportação de custo de uso do FOCUS é um conjunto de dados imutável do BigQuery (conjunto de dados vinculado) que contém seus dados detalhados de custo de uso normalizados de acordo com os padrões da FinOps Open Cost and Usage Specification (FOCUS).

Para ativar a exportação de dados do Cloud Billing de custo de uso do FOCUS para o BigQuery, siga estas etapas:

  • Crie um projeto em que os dados exportados do Cloud Billing serão armazenados e ative o faturamento nele, se ainda não tiver feito isso.
  • Configure permissões no projeto e na conta do Cloud Billing.
  • Ative a exportação de faturamento do custo de uso do FOCUS.

Neste documento, explicamos os detalhes de cada uma dessas etapas.

Custos de uso do BigQuery com a exportação do FOCUS

Você gera cobranças de uso do BigQuery ao usar o serviço para armazenar e analisar seus dados de uso e custo de faturamento. Os principais custos no BigQuery são armazenamento, para dados armazenados no BigQuery, e computação, usada para processamento de consultas.

Como a exportação de dados de faturamento do FOCUS é fornecida como uma exportação imutável gerenciada pelo Google (usando um conjunto de dados vinculado), você não paga custos de armazenamento pelos dados do FOCUS. No entanto, você recebe uma cobrança quando consulta os dados do FOCUS. Para mais informações, consulte Custos de uso do BigQuery.

Sobre o console do Google Cloud

O console do Google Cloud (acesse a documentação, abra o console) é uma UI da Web usada para provisionar, configurar, gerenciar e monitorar sistemas que usam produtos doGoogle Cloud . Use o console do Google Cloud para configurar e gerenciar recursos do Google Cloud e do Cloud Billing.

Permissões exigidas para a tarefa

Para ativar e configurar a exportação de dados de custo de uso do faturamento do FOCUS, você precisa das seguintes permissões: Google Cloud

Talvez você também precise de outras permissões de projeto. Se você for membro de uma Google Cloud organização, para criar um novo projeto, vai precisar do papel de Criador de projetos na organização ou na pasta. Especificamente, para criar um novo projeto, você precisa das seguintes permissões:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Para mais informações sobre as permissões do Google Cloud , consulte:

Ativar a exportação de dados do Cloud Billing para o BigQuery.

Conclua as três etapas desta seção para ativar a exportação de custo de uso do FOCUS para o BigQuery.

1. Escolher ou criar um projeto

Os dados do Cloud Billing exportados para o BigQuery estão armazenados em um conjunto de dados do BigQuery. Um conjunto de dados fica armazenado em um projeto doGoogle Cloud que você especifica.

Recomendamos que você crie e use um projeto Google Cloud separado para conter todas as suas necessidades de FinOps e administração de faturamento de uma conta do Cloud Billing, incluindo os dados exportados do Cloud Billing. Saiba mais sobre os benefícios de usar um projeto focado em FinOps para seus casos de uso de administração de faturamento.

No console do Google Cloud , na página do seletor de projetos, selecione ou crie um projeto do Google Cloud .

Funções necessárias para selecionar ou criar um projeto

  • Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
  • Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos (roles/resourcemanager.projectCreator), que contém a permissão resourcemanager.projects.create. Saiba como conceder papéis.

Acessar o seletor de projetos

Saiba mais sobre como criar e gerenciar projetos.

2. Verificar se o faturamento está ativado

Verifique se o faturamento está ativado no projeto do Google Cloud selecionado para armazenar o conjunto de dados e se o projeto do Google Cloud está vinculado à mesma conta do Cloud Billing que contém os dados que você planeja exportar para o conjunto de dados do BigQuery.

3. Ativar a exportação do custo de uso do FOCUS para o BigQuery

Ative as exportações de dados do Cloud Billing na seção "Faturamento" do consoleGoogle Cloud .

A exportação de custo de uso do FOCUS usa um conjunto de dados imutável do BigQuery fornecido pelo Google para conter seus dados detalhados de custo de uso normalizados usando os padrões da especificação de custo e uso aberto da FinOps (FOCUS). O FOCUS é uma especificação aberta que define requisitos claros para que os geradores de dados de faturamento de tecnologia produzam conjuntos de dados consistentes de custo e uso. As colunas na exportação do FOCUS geralmente são mapeadas para os campos na exportação de custo de uso detalhado.

Para ativar a exportação dos dados do Cloud Billing para o conjunto de dados do BigQuery do FOCUS, faça o seguinte:

  1. No console Google Cloud , acesse a página Exportação de faturamento.

    Acesse a página "Exportação de faturamento"

  2. No prompt, escolha a conta do Cloud Billing para que você quer exportar dados de faturamento. A página Exportação de faturamento é aberta para a conta de faturamento selecionada.

  3. Na guia BigQuery Export, clique em Ativar exportação de FOCUS para configurar a exportação de FOCUS.

  4. Na lista Projetos, selecione o projeto que você configurou para armazenar o conjunto de dados do BigQuery.

    No BigQuery, o projeto selecionado é usado para armazenar os dados exportados no conjunto de dados FOCUS imutável fornecido pelo Google.

    Para a exportação do custo de uso do FOCUS, os dados do Cloud Billing incluem dados de uso e custo de todos os projetosGoogle Cloud pagos pela mesma conta do Cloud Billing.

  5. A API BigQuery é necessária para exportar dados ao BigQuery. Se o projeto selecionado não tiver a API BigQuery ativada, você vai receber uma solicitação para habilitá-la. Se necessário, clique em Ativar a API BigQuery.

  6. Selecione um local de dados para seu conjunto de dados do FOCUS. O local dos dados especifica a multirregião ou a região em que seus dados estão armazenados. Todas as tabelas no conjunto de dados compartilham esse local.

    1. Selecione o Tipo de local, que pode ser multirregião (recomendado) ou região.

    2. Escolha o local para o tipo de local especificado.

      Recomendamos selecionar um local multirregional (UE ou EUA) para a exportação de custo de uso do FOCUS (e também para as exportações de dados de custo de uso padrão e detalhado). A exportação do Cloud Billing é compatível com todos os locais multirregionais (UE ou EUA). No entanto, apenas um subconjunto de locais da região do conjunto de dados é compatível com a exportação do Cloud Billing para o BigQuery.

      O local selecionado pode influenciar se os dados do mês anterior são adicionados retroativamente ao conjunto de dados. Consulte as limitações para mais informações sobre locais de conjuntos de dados e disponibilidade de dados.

      Depois que você cria o conjunto de dados, o local não pode ser alterado. Saiba mais sobre os locais.

  7. Clique em Salvar.

Conjunto de dados e tabela de dados do FOCUS

Logo depois de ativar a exportação de custo pelo uso do FOCUS, o BigQuery Export cria um conjunto de dados e uma tabela com seus dados de faturamento no novo conjunto de dados, com base nas configurações de exportação do FOCUS:

  • Um conjunto de dados imutável é criado no projeto Google Cloud especificado ao ativar a exportação do FOCUS, usando este padrão de nomenclatura:

    gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location>

    O nome do conjunto de dados é composto por três componentes:

    1. gcp_billing_immutable: nome do conjunto de dados para exportação do FOCUS.
    2. Billing_account_ID: ID da conta do Cloud Billing em que a exportação do FOCUS está ativada.
    3. Location: a localização específica (região ou multirregião) que você selecionou ao ativar a exportação do FOCUS.

    Exemplo de nome do conjunto de dados: gcp_billing_immutable_010101_F0FFF0_61C528_us

  • Uma tabela de dados de faturamento do FOCUS é criada no conjunto de dados do FOCUS, chamada:

    gcp_billing_export_focus_<BILLING_ACCOUNT_ID>

    Exemplo de nome da tabela: gcp_billing_export_focus_010101_F0FFF0_61C528

Atualizar as configurações de exportação do custo de uso do FOCUS

Depois de ativar a exportação do custo de uso do FOCUS para o BigQuery, você pode mudar várias configurações de exportação de dados, por exemplo:

  • Mude o projeto em que seu conjunto de dados do FOCUS está armazenado.
  • Mude a configuração de região do seu conjunto de dados FOCUS. Isso vai criar um novo conjunto de dados imutável.
  • Desative a exportação do custo de uso do FOCUS.

Antes de atualizar o projeto ou o conjunto de dados em que os dados de faturamento estão armazenados ou desativar a exportação do FOCUS, revise as limitações e as diretrizes de disponibilidade de dados para saber como essas atualizações podem afetar os dados de faturamento do FOCUS exportados para o BigQuery.

Desativar a exportação do custo de uso do FOCUS

Para desativar um tipo de dados do Cloud Billing que está sendo exportado para o BigQuery, faça o seguinte:

  1. Selecione Desativar exportação de FOCUS.
  2. Clique em Confirmar para salvar a seleção.

Se você reativar a exportação do custo de uso do FOCUS depois, será necessário selecionar novamente o mesmo projeto e as mesmas configurações de localização para usar o mesmo conjunto de dados imutável criado quando você ativou a exportação do FOCUS pela primeira vez. Não oferecemos suporte ao preenchimento de dados que não foram exportados durante o período em que a exportação do FOCUS estava desativada.

Reativar a exportação do custo de uso do FOCUS

Para reativar uma exportação do FOCUS que foi desativada, consulte Ativar a exportação de dados do Cloud Billing para o BigQuery.

  • Para usar o mesmo conjunto de dados imutável criado quando você ativou a exportação do FOCUS pela primeira vez, selecione novamente as mesmas configurações de projeto e região usadas originalmente.
  • Se você escolher um projeto ou uma configuração de região diferente, um novo conjunto de dados imutável será criado, e seus dados do FOCUS serão exportados para ele a partir da data em que você reativou a exportação do FOCUS.

Mudar o projeto ou o conjunto de dados da exportação do custo de uso do FOCUS

Para atualizar o projeto ou conjunto de dados em que os dados de faturamento do FOCUS estão armazenados, faça o seguinte:

  1. O FOCUS usa um conjunto de dados imutável criado para você quando a exportação do custo de uso do FOCUS é ativada. Antes de editar as configurações de exportação do FOCUS, você precisa desativar a exportação do FOCUS.
  2. Em seguida, selecione Ativar exportação de FOCUS e escolha as configurações de projeto e local para a exportação de FOCUS.

  3. Selecione Salvar para confirmar as configurações da exportação do FOCUS.

    Durante o processo de ativação, se você selecionar um projeto ou uma região diferente da configuração anterior, um novo conjunto de dados imutável será criado para você no projeto selecionado.

Sobre as permissões de conjuntos de dados

A exportação do Cloud Billing para o BigQuery usa uma conta de serviço para gerenciar as permissões do conjunto de dados.

Depois de ativar a exportação do FOCUS para o BigQuery, o Google adiciona automaticamente uma conta de serviço como proprietário do conjunto de dados imutável que o Google fornece. As contas de serviço têm este aspecto:

billing-export-bigquery@system.gserviceaccount.com

A conta de serviço é de propriedade do Google e gerenciada por ele, além de fornecer as permissões necessárias para que nosso processo off-line crie o conjunto de dados e a tabela do FOCUS e grave registros do Cloud Billing nela.

Consulte as limitações que podem afetar a exportação dos dados de faturamento para o BigQuery.

Tabela de dados de custo de uso do FOCUS

Logo depois de ativar a exportação de custo de uso do FOCUS, o BigQuery cria um conjunto de dados imutável e uma tabela de dados do FOCUS no conjunto de dados imutável do BigQuery. Para saber mais sobre o esquema da tabela FOCUS, consulte Estrutura da exportação de dados do FOCUS.

Frequência de carregamentos de dados

Quando você ativa a exportação de custo de uso do FOCUS para o BigQuery pela primeira vez, pode levar algumas horas para que os dados de custo sejam propagados para o conjunto de dados do BigQuery. Google Cloud Os dados são exportados em ordem cronológica. Se a exportação estiver configurada para incluir dados retroativamente dos meses atual e anterior, pode levar até cinco dias para que os dados exportados alcancem totalmente os dados de uso atuais.

Saiba mais sobre a frequência de carregamento dos dados nas tabelas do BigQuery.

Limitações

A exportação dos dados do Cloud Billing para o BigQuery está sujeita às seguintes limitações.

Esquema da tabela para as exportações de dados do Cloud Billing

O esquema da tabela de qualquer uma das exportações de dados do Cloud Billing pode mudar.

Quando o esquema da tabela muda, por exemplo, quando novos campos são adicionados a um esquema de tabela do BigQuery para uma exportação de dados do Cloud Billing, as consultas que fazem referência direta às colunas exportadas podem falhar. Para resolver esse problema, recomendamos criar visualizações do BigQuery que consultem as tabelas exportadas e apresentem as informações na sua estrutura preferida.

É possível ajustar as consultas que alimentam os relatórios e painéis para extrair as visualizações e não as tabelas exportadas. Ao usar as visualizações, é possível padronizar a estrutura dos dados usados nas consultas e nos painéis.

As visualizações criadas precisam normalizar os dados para que todas as tabelas relevantes apresentem o mesmo esquema às consultas. Isso protege você contra futuras mudanças de esquema, permitindo modificar a consulta subjacente da visualização nas instâncias em que o esquema de dados é alterado.

Exportação do FOCUS e retenção de dados

Os dados de faturamento exportados para o BigQuery Export do FOCUS fornecido pelo Google estão sujeitos a uma política de tempo de vida (TTL) de dois anos. Os dados com mais de dois anos são excluídos automaticamente da tabela de exportação do FOCUS fornecida no conjunto de dados do BigQuery. Se você precisar manter o histórico de dados de faturamento do FOCUS por mais de dois anos, copie os dados para uma tabela de armazenamento de longo prazo que seja sua.

Locais de conjuntos de dados do BigQuery e disponibilidade de dados

Locais do conjunto de dados do BigQuery compatíveis para uso com dados do Cloud Billing:

Os conjuntos de dados do BigQuery são configurados para usar um local, que pode ser multirregional (UE ou EUA) ou regional. O local do conjunto de dados é definido no momento da criação. Depois que um conjunto de dados é criado, o local não pode ser alterado.

A exportação de dados do Faturamento do Cloud é compatível com todos os locais de multirregião (UE ou EUA), mas apenas um subconjunto de locais de região. Ao configurar as configurações de exportação do Cloud Billing, se você criar ou selecionar um conjunto de dados configurado para usar um local de região sem suporte, ao tentar salvar as configurações de exportação, você vai receber um erro Região do conjunto de dados inválida.

A tabela a seguir lista os locais multirregionais e os locais regionais compatíveis com conjuntos de dados do BigQuery que contêm dados do Cloud Billing.

Américas Ásia-Pacífico Europa Oriente Médio

Multirregional: EUA

Regiões:

  • northamerica-northeast1 (Montreal)
  • southamerica-east1 (São Paulo)
  • us-central1 (Iowa)
  • us-east1 (Carolina do Sul)
  • us-east4 (Norte da Virgínia)
  • us-west1 (Oregon)
  • us-west2 (Los Angeles)
  • us-west3 (Salt Lake City)
  • us-west4 (Las Vegas)

Regiões:

  • asia-east1 (Taiwan)
  • asia-east2 (Hong Kong)
  • asia-northeast1 (Tóquio)
  • asia-northeast2 (Osaka)
  • asia-northeast3 (Seul)
  • asia-south1 (Mumbai)
  • asia-southeast1 (Singapura)
  • asia-southeast2 (Jacarta)
  • australia-southeast1 (Sydney)

Multirregional: UE

Regiões:

  • europe-central2 (Varsóvia)
  • europe-north1 (Finlândia)
  • europe-west1 (Bélgica)
  • europe-west2 (Londres)
  • europe-west3 (Frankfurt)
  • europe-west4 (Países Baixos)
  • europe-west6 (Zurique)

Regiões:

  • me-central1 (Doha)
  • me-central2 (Damã)
  • me-west1 (Tel Aviv)

Locais e disponibilidade de dados:

  • Para os conjuntos de dados do BigQuery que contêm dados de custo de uso do FOCUS, dados de custo de uso padrão ou dados detalhados de custo de uso, o tipo de local configurado no conjunto de dados afeta o tempo em que os dados de faturamento do Google Cloud são exportados para ele:

  • Os conjuntos de dados do BigQuery que contêm dados de preços coletam apenas dados de faturamento Google Cloud incorridos a partir da data em que você configurou a exportação do Cloud Billing. Ou seja, os dados de preços doGoogle Cloud não são adicionados retroativamente. Portanto, você não verá os dados de preços do Cloud Billing antes de ativar a exportação. Para mais detalhes, consulte Disponibilidade de dados.

Desativar, reativar ou editar as configurações de exportação

Se você desativar, reativar ou editar as configurações de exportação para atualizar o projeto ou conjunto de dados em que os dados de faturamento exportados são armazenados, os dados de faturamento exportados anteriormente não serão preenchidos no novo conjunto de dados. Para incluir as informações de faturamento exportadas antes da mudança para outro projeto ou conjunto de dados, junte manualmente o novo conjunto de dados com o anterior. Para mais informações, consulte Operação de mesclagem.

Criptografia de conjunto de dados

Os conjuntos de dados do BigQuery são configurados para usar a criptografia em repouso ao definir uma opção de chave de criptografia ao criar o conjunto de dados, seja uma Google-owned and Google-managed encryption keyou uma chave de criptografia gerenciada pelo cliente (CMEK). A opção de criptografia do conjunto de dados só pode ser definida no momento da criação. Depois que um conjunto de dados é criado, a configuração de criptografia não pode ser alterada.

Se você já tiver ativado a exportação de dados do Cloud Billing para o BigQuery e seu conjunto de dados estiver configurado para usar umGoogle-managed encryption key, use a ferramenta de linha de comando bq para ativar a CMEK em cada tabela do conjunto de dados. O BigQuery usa automaticamente a chave padrão do conjunto de dados para proteger as tabelas de exportação, a menos que você configure de outra forma.

Saiba como ativar a CMEK para tabelas do BigQuery.

Segurança no nível da linha

Se você quiser usar a segurança no nível da linha do BigQuery na tabela que contém os dados exportados, conceda à conta de serviço de exportação do Cloud Billing billing-export-bigquery@system.gserviceaccount.com acesso total à tabela usando o filtro TRUE do BigQuery. O comando a seguir concede acesso à conta de serviço do Cloud Billing:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

Dados de custo de uso detalhados ou do FOCUS e GKE

Ao exportar dados de custo de uso do FOCUS ou dados detalhados de custo de uso, a exportação inclui automaticamente informações no nível do recurso sobre o Compute Engine e outros serviços. No entanto, para dados do Google Kubernetes Engine (GKE), se quiser ver um detalhamento dos custos do cluster do GKE em uma exportação de dados detalhada ou do FOCUS, também é necessário ativar a alocação de custos para o GKE.

Tags no nível do recurso

As tags no nível do recurso podem levar até uma hora para serem propagadas para as exportações do BigQuery. Se uma tag foi adicionada ou removida em uma hora, ou se um recurso existe há menos de uma hora, talvez ela não apareça na exportação.

As tags no nível do recurso estão disponíveis para vários recursos na exportação de custo de uso padrão e na exportação de custo de uso detalhada.

Anterior
Configurar a exportação de dados de faturamento para o BigQuery
Avançar
Noções básicas sobre as tabelas de dados de faturamento no BigQuery