Usar a linhagem de dados no Dataflow

A linhagem de dados é um recurso do Dataflow que permite acompanhar como os dados se movimentam nos sistemas: de onde vêm, para onde vão e quais transformações são aplicadas a eles.

Cada pipeline executado usando o Dataflow tem vários recursos de dados associados. A linhagem de um recurso de dados inclui a origem, o que acontece com ele e para onde ele se move ao longo do tempo. Com a linhagem de dados, é possível rastrear o movimento de ponta a ponta dos seus ativos de dados, da origem ao destino final.

Quando você ativa a linhagem de dados para seus jobs do Dataflow, o Dataflow captura eventos de linhagem e os publica na API Data Lineage do Knowledge Catalog.

Para acessar informações de linhagem pelo Knowledge Catalog, consulte Usar a linhagem de dados com sistemas Google Cloud .

Antes de começar

Configure o projeto:

  1. Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

  2. Verify that billing is enabled for your Google Cloud project.

  3. Enable the Dataplex, BigQuery, and Data lineage APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  4. Verify that billing is enabled for your Google Cloud project.

  5. Enable the Dataplex, BigQuery, and Data lineage APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    6.

No Dataflow, também é necessário ativar a linhagem no nível do job. Consulte Ativar a linhagem de dados no Dataflow neste documento.

Funções exigidas

Para receber as permissões necessárias para visualizar gráficos de visualização de linhagem, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Para mais informações sobre papéis de linhagem de dados, consulte Papéis predefinidos para linhagem de dados.

Suporte e limitações

A linhagem de dados no Dataflow tem as seguintes limitações:

  • A linhagem de dados é compatível com as versões 2.63.0 e mais recentes do SDK do Apache Beam.
  • Você precisa ativar a linhagem de dados para cada job.
  • A captura de dados não é instantânea. Pode levar alguns minutos para que os dados de linhagem de jobs do Dataflow apareçam no Knowledge Catalog.

  • As seguintes fontes e destinos são compatíveis:

    • Apache Kafka
    • BigQuery (os jobs de streaming em Python usam o método legado STREAMING_INSERT, que não oferece suporte à linhagem de dados. Para usar a linhagem de dados, mude para o método STORAGE_WRITE_API recomendado. Para mais informações, consulte Gravar do Dataflow para o BigQuery.
    • Bigtable
    • Cloud Storage
    • JDBC (Java Database Connectivity)
    • Pub/Sub
    • Spanner (fluxo de alterações não disponível)

    Os modelos do Dataflow que usam essas origens e destinos também capturam e publicam automaticamente eventos de linhagem.

Ativar a linhagem de dados no Dataflow

Você precisa ativar a linhagem no nível do job. Para ativar a linhagem de dados, use a opção do serviço Dataflow enable_lineage da seguinte maneira:

Java

--dataflowServiceOptions=enable_lineage=true

Python

--dataflow_service_options=enable_lineage=true

Go

--dataflow_service_options=enable_lineage=true

gcloud

Use o comando gcloud dataflow jobs run com a opção additional-experiments. Se você estiver usando modelos Flex, use o comando gcloud dataflow flex-template run.

--additional-experiments=enable_lineage=true

Também é possível especificar um ou ambos os parâmetros a seguir com a opção de serviço:

  • process_id: um identificador exclusivo que o Knowledge Catalog usa para agrupar execuções de jobs. Se não for especificado, o nome do job será usado.
  • process_name: um nome legível para o processo de linhagem de dados. Se não for especificado, o nome do job com o prefixo "Dataflow " será usado.

Especifique as opções da seguinte maneira:

Java

--dataflowServiceOptions=enable_lineage=process_id=PROCESS_ID;process_name=DISPLAY_NAME

Python

--dataflow_service_options=enable_lineage=process_id=PROCESS_ID;process_name=DISPLAY_NAME

Go

--dataflow_service_options=enable_lineage=process_id=PROCESS_ID;process_name=DISPLAY_NAME

gcloud 

--additional-experiments=enable_lineage=process_id=PROCESS_ID;process_name=DISPLAY_NAME

Ver a linhagem no Knowledge Catalog

A linhagem de dados fornece informações sobre as relações entre os recursos do projeto e os processos que os criaram. É possível conferir informações de linhagem de dados no console do Google Cloud em forma de gráfico ou tabela única. Também é possível recuperar informações de linhagem de dados da API Data Lineage no formato de dados JSON.

Para mais informações, consulte Usar a linhagem de dados com sistemas Google Cloud .

Desativar a linhagem de dados no Dataflow

Se a linhagem de dados estiver ativada para um job específico e você quiser desativá-la, cancele o job atual e execute uma nova versão sem a opção de serviço enable_lineage.

Faturamento

O uso da linhagem de dados no Dataflow não afeta sua fatura do Dataflow, mas pode gerar cobranças adicionais na fatura do Knowledge Catalog. Para mais informações, consulte Considerações sobre a linhagem de dados e Preços do Knowledge Catalog.

A seguir