Usar a linhagem de dados para otimizar custos

A linhagem de dados no Knowledge Catalog permite rastrear dependências downstream para tabelas e visualizações no seu projeto do BigQuery. Em seguida, é possível identificar recursos que não são usados ativamente como fontes para jobs ou fluxos de trabalho downstream e sinalizá-los como candidatos à exclusão para reduzir os custos de armazenamento.

Neste tutorial, você vai gerenciar um projeto do BigQuery com conjuntos de dados derivados do Quarterly Census of Employment and Wages (QCEW). O projeto contém várias tabelas e visualizações para painéis e análises, como o acompanhamento de tendências de emprego ou comparações salariais, o que aumenta os custos de armazenamento. Ao verificar cada recurso em busca de links downstream, é possível sinalizar sistematicamente recursos não utilizados para exclusão.

Configurar a Análise de Linhagem

Para concluir o caso de uso, primeiro configure o ambiente e execute as transformações de dados conectando um repositório remoto ao Dataform. Esse repositório contém o código necessário para configurar o conjunto de dados e transformar os dados. Para mais informações, consulte Pré-requisitos e configuração.

Depois de concluir a configuração do ambiente, use o BigQuery e o Lineage Explorer para identificar visualmente os recursos sem dependências downstream.

Identificar recursos não utilizados e otimizar custos

Depois que o conjunto de dados for preparado, identifique os recursos que não têm dependências downstream. Embora seja possível fazer isso visualmente para tabelas individuais, também é possível usar uma abordagem programática para conjuntos de dados maiores.

Neste exemplo, compare os recursos ativos com os independentes para determinar quais podem ser removidos com segurança:

  1. No console do Google Cloud , acesse a página BigQuery.
  2. Use o campo de pesquisa para encontrar uma tabela independente (por exemplo, uma tabela de análise antiga de um ano específico).
  3. Clique na guia Linhagem.
  4. No painel Explorador de linhagem, faça o seguinte:
    1. Na seção Direção, selecione Downstream.
    2. Clique em Aplicar.

Observe o gráfico. Se não houver nós downstream, o recurso não estará sendo usado como origem para outros jobs rastreados do BigQuery. Para mais informações sobre como visualizar dados com o gráfico de linhagem de dados, consulte Visualização do gráfico de linhagem.