Ao planejar sua estratégia de governança de dados, entender como a linhagem de dados funciona no Knowledge Catalog pode ajudar você a tomar decisões arquitetônicas melhores. Lembre-se das seguintes considerações:
- Ativação no nível do projeto:quando você ativa a API Data Lineage, o rastreamento de linhagem de dados fica ativo em todo o projeto por padrão, informando automaticamente informações para vários sistemas, dependendo dos controles no nível do produto. Também é possível controlar a ingestão de linhagem de maneira hierárquica para serviços específicos.
- Conformidade regulatória:você tem visibilidade clara da movimentação de dados e entende exatamente quais metadados são registrados e como eles são protegidos.
- Gerenciamento de custos:você pode revisar e gerenciar de forma proativa o impacto do faturamento do rastreamento de linhagem nos seus projetos.
Controles de linhagem no nível do produto
Quando a API Data Lineage está ativada, os sistemas compatíveis informam a linhagem de acordo com os controles no nível do produto:
| Sistema | Controles de linhagem disponíveis |
|---|---|
| BigQuery, Cloud Data Fusion |
Não é possível restringir o rastreamento de linhagem apenas ao Cloud Data Fusion ou ao BigQuery quando a API Data Lineage está ativada em um projeto. É possível configurar a ingestão de linhagem de dados para o BigQuery e ativar ou desativar a ingestão automática. |
| Serviço gerenciado para Apache Airflow | O Airflow Gerenciado usa o controle de integração de linhagem de dados no nível do ambiente. A linhagem de dados é ativada automaticamente para todos os novos ambientes do Airflow Gerenciado que atendem aos requisitos. Consulte Linhagem de dados com o Airflow gerenciado para mais informações. Para ambientes atuais, use as configurações de ambiente para ativar ou desativar a integração do rastreamento da linhagem de dados. É possível configurar a ingestão de linhagem de dados para o Airflow Gerenciado e ativar ou desativar a ingestão automática. |
| Dataflow | É possível capturar eventos de linhagem com jobs do Dataflow e publicá-los na API Data Lineage. Consulte Usar a linhagem de dados no Dataflow para mais informações. |
| Serviço Gerenciado para Apache Spark | É possível capturar eventos de linhagem com jobs do Serviço Gerenciado para Apache Spark e publicá-los na API Data Lineage. Consulte Como usar a linhagem de dados do Spark para mais informações. É possível configurar a ingestão de linhagem de dados para o Serviço Gerenciado para Apache Spark e ativar ou desativar a ingestão automática. |
| Looker (Google Cloud Core) (Visualização) | É possível visualizar metadados do Looker (Google Cloud Core) de fontes do BigQuery usando a linhagem de dados. A linhagem de dados precisa ser ativada no nível do recurso do Looker (Google Cloud Core) e no nível do serviço de linhagem de dados. Consulte Rastrear a linhagem de dados com o Knowledge Catalog para mais informações. |
| Vertex AI | A linhagem de dados é ativada automaticamente para os pipelines da Vertex AI, rastreando artefatos de entrada e parâmetros de execução (como modelos, conjuntos de dados e componentes), além de recursos derivados downstream. Consulte Rastrear a linhagem de artefatos de pipeline para mais informações. |
Impacto no faturamento
Ao ativar a API Data Lineage em um projeto, analise o impacto nas cobranças de faturamento, já que a API é ativada por projeto. Consulte a seção anterior para mais detalhes. Para mais informações sobre como a linhagem de dados é cobrada, consulte Preços do Knowledge Catalog.
No BigQuery Omni, o processamento de linhagem é distribuído para regiões específicas, e os custos dependem das regiões em que o processamento é realizado.
Compliance com a linhagem de dados
- A linhagem de dados registra metadados sobre a movimentação de dados, mas não captura os dados em si. Consulte o modelo de informações de linhagem de dados e a referência da API Data Lineage para detalhes sobre quais campos estão incluídos nos metadados.
- A linhagem de dados como parte do Knowledge Catalog oferece suporte ao VPC-SC.
- O Knowledge Catalog não oferece a capacidade de usar chaves de criptografia gerenciadas pelo cliente para proteger os metadados de linhagem coletados.
Limitações da linhagem de dados
Quando você seleciona um nó no gráfico de linhagem, o painel lateral de detalhes do nó fica vazio nos seguintes casos:
- O recurso está em outra organização.
- O usuário não é membro da organização que hospeda o recurso.