Analisar o impacto das mudanças de dados nos fluxos de trabalho

A linhagem de dados no Knowledge Catalog (antigo Dataplex Universal Catalog) permite rastrear como as transformações de dados afetam os recursos downstream e os fluxos de trabalho que dependem deles. Rastrear dependências no nível da coluna antes de modificar tabelas ajuda a verificar a integridade dos dados e determinar se os pipelines atuais precisam de ajustes.

Neste tutorial, você mantém um banco de dados que armazena registros sobre como vários serviços fornecidos por um prestador de serviços de saúde são usados. Para facilitar o uso dos dados, você navega pelas tabelas para identificar possíveis mudanças. Antes de implementar as mudanças, use o Lineage Explorer do BigQuery para examinar colunas, inspecionar mudanças no tipo de dados e identificar se alguma melhoria afeta os fluxos de trabalho existentes ou exige ajustes adicionais.

Primeiros passos

Para concluir o caso de uso, primeiro configure o ambiente e execute as transformações de dados. Use a página de pré-requisitos e configuração para conectar um repositório remoto ao Dataform. Esse repositório contém o código necessário para configurar o conjunto de dados e transformar os dados.

Depois de concluir a configuração do ambiente, use o BigQuery e o Lineage Explorer para acompanhar as transformações de dados e o efeito delas nos fluxos de trabalho.

Analisar transformações de dados com o Lineage Explorer

Depois de preparar o conjunto de dados, analise o impacto da transformação de dados usando a guia Lineage do BigQuery.

Verificar a integridade de dados da coluna com gráficos de linhagem

Neste exemplo, analise a coluna medicare_participation_indicator, que indica se um médico ou fornecedor concorda em prestar serviços para o Medicare. O gráfico de linhagem mostra como as transformações de dados entre as tabelas derivadas resultam em mudanças no tipo de dados da coluna:

1. No console do Google Cloud , acesse a página BigQuery.
2. Use o campo de pesquisa para encontrar a tabela physicians_and_other_supplier_2012_original.
3. Clique na guia Linhagem.
4. No painel Explorador de linhagem, faça o seguinte:
   1. Na seção Linhagem no nível da coluna, selecione o nome da coluna medicare_participation_indicator na lista.
   2. Na seção Direção, selecione Downstream.
   3. Clique em Aplicar.
5. Abra o caminho de linhagem até chegar a vertex_ai_model_final_features.

6. Analise as mudanças de caminho entre a tabela supplier_stg3 e a tabela supplier_transform1:

   

   Visualização do rastreamento de linhagem para a coluna medicare_participation_indicator

   • A marcação de caminho Cópia exata indica que a coluna está passando sem alterações.
   • A marcação de caminho Outro indica uma transformação. Nesse caminho, o tipo de dados String é tratado como Boolean.

O caminho mostra que os tipos de dados da coluna mudam, o que pode exigir ajustes nos fluxos de trabalho que usam essas tabelas.

Identificar colunas downstream redundantes

Este exemplo examina a coluna nppes_credentials, que lista os Identificadores Nacionais de Provedor que os profissionais têm no Sistema Nacional de Enumeração de Planos e Provedores (NPPES, na sigla em inglês):

1. No console do Google Cloud , acesse a página BigQuery.
2. Use o campo de pesquisa para encontrar a tabela physicians_and_other_supplier_2012_original.
3. Clique na guia Linhagem.
4. No painel Explorador de linhagem, faça o seguinte:
   1. Na seção Linhagem no nível da coluna, selecione o nome da coluna nppes_credentials na lista.
   2. Na seção Direção, selecione Downstream.
   3. Clique em Aplicar.
5. Expanda o caminho para verificar se há uma linhagem downstream que leva a vertex_ai_model_final_features.

Nenhuma linhagem significa que essa coluna pode não ser relevante nesse fluxo de trabalho específico e pode até ser excluída.

Para mais informações sobre como visualizar dados com o gráfico de linhagem de dados, consulte a visualização do gráfico de linhagem.