Ver a linhagem no Catálogo de Conhecimento

Nesta página, descrevemos como visualizar a linhagem de dados gerada pelos pipelines do Cloud Data Fusion com outros movimentos de dados no Google Cloudpara fins de descoberta e governança. É possível conferir os gráficos de linhagem para fontes de dados compatíveis na página Knowledge Catalog do console ou usar a API Data Lineage para recuperar registros completos de linhagem de dados.

Plug-ins que oferecem suporte à linhagem de dados do Knowledge Catalog

O Cloud Data Fusion e o Knowledge Catalog são compatíveis com a linhagem no nível do recurso para os seguintes plug-ins:

  • Amazon S3
  • BigQuery
  • Coletor de várias tabelas do BigQuery (versão 6.9.1 e mais recentes)
  • Spanner
  • Cloud Storage
  • Cloud SQL para MySQL
  • Cloud SQL para PostgreSQL
  • Knowledge Catalog
  • FTP
  • Banco de dados genérico
  • HTTP
  • MSSQL/SQL Server
  • Origem de várias tabelas de banco de dados (versão 6.9.1 e mais recentes)
  • MySQL
  • Oracle
  • PostgreSQL
  • SAP OData
  • ODP do SAP
  • Tabela SAP

Para mais informações, consulte Plug-ins do Cloud Data Fusion.

Antes de começar

Para ativar a visualização dos gráficos de linhagem do Cloud Data Fusion na página do Knowledge Catalog no console, faça o seguinte:

  1. Crie um pipeline de dados que use apenas os plug-ins compatíveis.

  2. Ative a API Data Lineage no projeto que contém sua instância do Cloud Data Fusion.

  3. Conceda o papel de produtor de eventos de linhagem de dados (roles/datalineage.producer) à conta serviço gerenciado pelo Cloud Data Fusion, o agente de serviço da API Cloud Data Fusion. O processo varia se a instância estiver executando uma versão anterior do Cloud Data Fusion e o RBAC estiver ativado.

    6.10 ou sem RBAC

    Se a instância do Cloud Data Fusion usa a versão 6.10.0 ou mais recente, ou se ela usa uma versão anterior e o RBAC não está ativado, siga estas etapas:

    1. No console do Google Cloud , acesse a página IAM.

      Acessar IAM

    2. Marque a caixa de seleção Incluir concessões de papel fornecidas pelo Google.

    3. Selecione a conta de serviço do agente de serviço da API Data Fusion e clique em Editar.

    4. Clique em Adicionar outro papel e selecione a função Produtor de eventos de linhagem de dados.

    5. Clique em Salvar.

    <6.10 com RBAC

    Se a instância do Cloud Data Fusion usar uma versão anterior a 6.10.0 e o RBAC estiver ativado, a conta de serviço não vai aparecer na lista de principais na página do IAM. É necessário inserir o nome da conta de serviço manualmente.

    Para conceder a função necessária, siga estas etapas:

    1. No console do Google Cloud , acesse a página IAM.

      Acessar IAM

    2. Clique em Conceder acesso.

    3. No campo Novos principais, insira a conta de serviço do agente de serviço da API Data Fusion do Cloud. Use o seguinte formato: datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com.

      Substitua TENANT_PROJECT_ID pelo ID do locatário da sua instância. Para conferir o ID do projeto de locatário, acesse a página Instâncias e clique no nome da instância para ver os detalhes dela.

      Acesse "Instâncias"

    4. Selecione a função Produtor de eventos de linhagem de dados.

    5. Clique em Salvar.

Ativar a linhagem de dados do Knowledge Catalog no Cloud Data Fusion

Para novas instâncias no Cloud Data Fusion, a linhagem de dados do Knowledge Catalog fica desativada por padrão. Se você criou a instância antes de 27 de janeiro de 2024 com a versão 6.8.0 ou mais recente, ela será ativada por padrão após a conclusão das etapas em Antes de começar.

Ativar a linhagem de dados do Knowledge Catalog ao criar uma instância

Console

Para ativar a linhagem de dados do Knowledge Catalog ao criar uma instância, siga estas etapas:

  1. Acesse a página Instâncias do Cloud Data Fusion e clique em Criar uma instância.

    Criar uma instância

  2. Ao configurar a instância, expanda a seção Opções avançadas e clique em Ativar a integração com a linhagem de dados do Dataplex. Para mais informações sobre como criar instâncias, consulte Criar uma instância pública.

API REST

Para ativar a linhagem de dados do Knowledge Catalog ao criar uma instância, defina a propriedade opcional dataplex_data_lineage_integration_enabled como true:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME"

Para desativar, defina a propriedade como "false" ou omita-a, já que a linhagem é desativada por padrão quando você cria uma nova instância.

Ativar ou desativar a linhagem de dados do Knowledge Catalog em uma instância atual

Console

Para ativar ou desativar a linhagem de dados do Knowledge Catalog em uma instância atual do Cloud Data Fusion, siga estas etapas:

  1. Confira os detalhes da instância:

    1. No console Google Cloud , acesse a página do Cloud Data Fusion.

    2. Clique em Instâncias e, depois, no nome da instância para acessar a página Detalhes da instância.

      Acesse "Instâncias"

  2. No campo Integração da linhagem de dados do Dataplex, clique em Editar.
  3. Ative ou desative a linhagem de dados do Knowledge Catalog e clique em Salvar.

API REST

Para ativar a linhagem de dados do Knowledge Catalog em uma instância atual do Cloud Data Fusion, defina a propriedade dataplex_data_lineage_integration_enabled como true e inclua o valor de parâmetro updateMask:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Para desativar a linhagem de dados do Knowledge Catalog em uma instância atual do Cloud Data Fusion, defina a propriedade dataplex_data_lineage_integration_enabled como false e inclua o valor de parâmetro updateMask:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "false"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Ver gráficos de linhagem de dados

Para ver gráficos de linhagem de entidades em todos os serviços do Google Cloud , faça o seguinte:

  1. Acesse sua instância no Cloud Data Fusion e execute um pipeline de dados que use plug-ins compatíveis.

  2. Confira os gráficos de linhagem na página do Knowledge Catalog no console e encontre o recurso para o qual você quer ver informações de linhagem.

Limitações

A linhagem no Knowledge Catalog tem as seguintes limitações:

A seguir