Analisar o impacto das mudanças de dados nos fluxos de trabalho

Nesse cenário, você mantém um banco de dados que armazena registros sobre como vários serviços fornecidos por um prestador de cuidados de saúde são usados. Para facilitar o uso dos dados, navegue pelas tabelas e identifique possíveis mudanças. Antes de implementar as mudanças, identifique se alguma melhoria afeta os fluxos de trabalho atuais e se são necessários ajustes adicionais.

Neste tutorial, use a linhagem de dados para identificar como as transformações de dados afetam os recursos downstream e os fluxos de trabalho de que eles fazem parte.

Primeiros passos

Para concluir o caso de uso, primeiro configure o ambiente e execute as transformações de dados. Use a página pré-requisitos e configuração para conectar um repositório remoto ao Dataform. Esse repositório contém o código necessário para configurar o conjunto de dados e transformar os dados.

Depois de concluir a configuração do ambiente, use o BigQuery e o Explorador de linhagem para rastrear as transformações de dados e o efeito delas nos fluxos de trabalho.

Analisar transformações de dados com o Lineage Explorer

Depois de preparar o conjunto de dados, analise o impacto da transformação de dados usando a guia Linhagem do BigQuery.

Verificar a integridade de dados da coluna com gráficos de linhagem

Neste exemplo, examine a coluna medicare_participation_indicator, que indica se um médico ou fornecedor concorda em prestar serviços para o Medicare. O gráfico de linhagem mostra como as transformações de dados entre as tabelas derivadas resultam em mudanças no tipo de dados da coluna:

1. No console Google Cloud , acesse a página BigQuery.
2. Use o campo de pesquisa para encontrar a tabela physicians_and_other_supplier_2012_original.
3. Clique na guia Linhagem.
4. No painel Explorador de linhagem, faça o seguinte:
   1. Na seção Linha de execução no nível da coluna, selecione o nome da coluna medicare_participation_indicator na lista.
   2. Na seção Direção, selecione Downstream.
   3. Clique em Aplicar.
5. Expanda o caminho de linhagem até chegar a vertex_ai_model_final_features.

6. Analise as mudanças de caminho entre as tabelas supplier_stg3 e supplier_transform1:

   

   Visualização do rastreamento de linhagem para a coluna medicare_participation_indicator

   • A marcação de caminho Cópia exata indica que a coluna está passando sem alterações.
   • A marcação de caminho Outro indica uma transformação. Nesse caminho, o tipo de dados String é tratado como Boolean.

O caminho mostra que os tipos de dados das colunas mudam, o que pode exigir ajustes nos fluxos de trabalho que usam essas tabelas.

Identificar colunas downstream redundantes

Este exemplo examina a coluna nppes_credentials, que lista os Identificadores Nacionais de Provedores (NPIs, na sigla em inglês) que os profissionais têm no Sistema Nacional de Enumeração de Planos e Provedores (NPPES, na sigla em inglês):

1. No console Google Cloud , acesse a página BigQuery.
2. Use o campo de pesquisa para encontrar a tabela physicians_and_other_supplier_2012_original.
3. Clique na guia Linhagem.
4. No painel Explorador de linhagem, faça o seguinte:
   1. Na seção Linha de execução no nível da coluna, selecione o nome da coluna nppes_credentials na lista.
   2. Na seção Direção, selecione Downstream.
   3. Clique em Aplicar.
5. Expanda o caminho para verificar se há linhagem downstream que leva a vertex_ai_model_final_features.

Se não houver linhagem, essa coluna talvez não seja relevante no fluxo de trabalho específico e pode até ser excluída.

Para mais informações sobre como visualizar dados com o gráfico de linhagem de dados, consulte a visualização do gráfico de linhagem.