Mapear métodos da API Data Catalog para o Knowledge Catalog

O Data Catalog foi descontinuado. Se você estiver migrando fluxos de trabalho, scripts, bibliotecas de cliente ou configurações do Terraform programáticos do Data Catalog para o Knowledge Catalog, atualize seu código para usar a API Dataplex.

Este documento fornece um mapeamento abrangente dos recursos, funcionalidades e métodos da API Data Catalog para os equivalentes na API Dataplex.

Para conferir o processo de migração detalhado, consulte Fazer a transição do Data Catalog para o Knowledge Catalog. Para documentação de referência da API, consulte a documentação REST da API Dataplex e a documentação RPC da API Dataplex.

Mapeamento de recursos

A tabela a seguir descreve como os recursos do Data Catalog correspondem aos recursos do Knowledge Catalog:

Recurso do Data Catalog Recurso do Knowledge Catalog Descrição
Modelo de tag público Tipo de aspecto (global) Os modelos de tag são recursos regionais do Data Catalog que podem ser usados em várias regiões. Eles correspondem aos tipos de aspecto global no Knowledge Catalog.
Tag pública Aspecto opcional As tags públicas correspondem a aspectos opcionais anexados a uma entrada ou coluna no Knowledge Catalog.
Grupo de entradas Grupo de entradas Os grupos de entradas servem como contêineres organizacionais e de segurança nos dois serviços. Para fontes Google Cloud , os grupos de entradas do sistema, como @bigquery, são estabelecidos automaticamente por projeto.
Entrada personalizada Entrada personalizada (com aspectos obrigatórios) As propriedades de entrada personalizadas padrão são modeladas como aspectos obrigatórios definidos pelo EntryType da entrada personalizada.
Entrada do sistema (Google Cloud) Entrada do sistema (com aspectos obrigatórios) Os metadados que descrevem entidades integradas (como Schema para tabelas do BigQuery) são capturados nos aspectos obrigatórios dos tipos de aspectos definidos pelo sistema.
Glossários empresariais Glossários empresariais Taxonomias de termos comerciais que padronizam o contexto de negócios em toda a empresa.

Comparação dos recursos

A tabela a seguir compara os recursos de gerenciamento de metadados do Knowledge Catalog e do Data Catalog:

Recurso Knowledge Catalog Data Catalog
Fontes Google Cloud compatíveis Todas as fontes descritas em Fontes Google Cloud compatíveis. Todas as fontes descritas na documentação do Data Catalog.
Ingestão de fontes personalizadas

Ingestão em entradas personalizadas com estrutura controlada definida por tipos de entrada.

As entradas e os grupos de entradas personalizados do Data Catalog ficam disponíveis no Knowledge Catalog no tipo de entrada generic.

 Ingestão em entradas personalizadas genéricas.
Enriquecimento de metadados

Capturados usando glossários comerciais, aspectos e tipos de aspecto.

Os links de entrada são aceitos. É possível anexar aspectos diretamente aos links de entrada.

Capturados usando glossários empresariais, tags e modelos de tag.

Não há suporte para links de entrada.
Links de entrada Compatível. Tipos integrados, como synonym, definition, related e schema-join, permitem conectar entradas e colunas. Indisponível.
Feeds de mudanças de metadados Notificações de mudança de metadados em tempo real transmitidas para o Pub/Sub. Indisponível.
Pesquisar A pesquisa é realizada em todas as fontes Google Cloud compatíveis, entradas personalizadas, aspectos e conteúdo migrado do Data Catalog na mesma organização e perímetro do VPC Service Controls. A pesquisa é realizada em fontes compatíveis, entradas personalizadas e tags criadas no Data Catalog.
Linhagem de dados Recupera detalhes de entrada para nós de recursos usando a API Dataplex. Mostra os aspectos anexados no console do Google Cloud . Recupera detalhes da entrada usando a API Data Catalog.
Glossários empresariais Permite criar taxonomias de termos comerciais e associá-las a recursos de dados (entradas) e colunas. Permite associar termos a colunas.

Mapear métodos da API Data Catalog para o Knowledge Catalog

As tabelas a seguir fornecem um mapeamento método a método entre a API Data Catalog (google.cloud.datacatalog.v1) e a API Dataplex (google.cloud.dataplex.v1.CatalogService).

Grupos de entradas

O conceito de grupos de entradas é consistente nos dois serviços:

Método da API Data Catalog Método da API Dataplex
projects.locations.entryGroups.create (REST)
CreateEntryGroup (RPC)		 projects.locations.entryGroups.create (REST)
CreateEntryGroup (RPC)
projects.locations.entryGroups.get (REST)
GetEntryGroup (RPC)		 projects.locations.entryGroups.get (REST)
GetEntryGroup (RPC)
projects.locations.entryGroups.patch (REST)
UpdateEntryGroup (RPC)		 projects.locations.entryGroups.patch (REST)
UpdateEntryGroup (RPC)
projects.locations.entryGroups.delete (REST)
DeleteEntryGroup (RPC)		 projects.locations.entryGroups.delete (REST)
DeleteEntryGroup (RPC)
projects.locations.entryGroups.list (REST)
ListEntryGroups (RPC)		 projects.locations.entryGroups.list (REST)
ListEntryGroups (RPC)

Entradas

O conceito de entradas, que representam recursos de dados, é consistente nos dois serviços:

Método da API Data Catalog Método da API Dataplex
projects.locations.entryGroups.entries.create (REST)
CreateEntry (RPC)		 projects.locations.entryGroups.entries.create (REST)
CreateEntry (RPC)
projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)		 projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Observação:também é possível usar os métodos projects.locations.modifyEntry (REST) e ModifyEntry (RPC) para atualizar entradas do sistema usando permissões do sistema de origem em vez de permissões do catálogo.
projects.locations.entryGroups.entries.delete (REST)
DeleteEntry (RPC)		 projects.locations.entryGroups.entries.delete (REST)
DeleteEntry (RPC)
projects.locations.entryGroups.entries.list (REST)
ListEntries (RPC)		 projects.locations.entryGroups.entries.list (REST)
ListEntries (RPC)
entries.lookup (REST)
LookupEntry (RPC)		 projects.locations.lookupEntry (REST)
LookupEntry (RPC)

Observação:para usar lookupEntry, você precisa informar o nome da entrada. Para traduzir um nome SQL do BigQuery, um nome totalmente qualificado ou um nome de recurso vinculado para um nome de entrada, primeiro chame projects.locations.searchEntries (REST) ou SearchEntries (RPC).
projects.locations.entryGroups.entries.modifyEntryContacts (REST)
ModifyEntryContacts (RPC)		 projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Observação:use update_mask para modificar apenas o aspecto contacts.
projects.locations.entryGroups.entries.modifyEntryOverview (REST)
ModifyEntryOverview (RPC)		 projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Observação:use update_mask para modificar apenas o aspecto overview.
projects.locations.entryGroups.entries.tags.reconcile (REST)
ReconcileTags (RPC)		 projects.locations.metadataJobs.create (REST)
CreateMetadataJob (RPC),
projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Observação:use CreateMetadataJob com o tipo de serviço de importação para importar conteúdo de metadados de várias entradas em lote. Para atualizar todos os aspectos de uma única entrada, use UpdateEntry.
catalog.search (REST)
SearchCatalog (RPC)		 projects.locations.searchEntries (REST)
SearchEntries (RPC)

Observação:o searchEntries pesquisa na organização do autor da chamada. As pesquisas entre organizações precisam ser emitidas separadamente por organização.

Modelos de tag e tipos de aspecto

Os tipos de aspecto são os sucessores dos modelos de tag do Data Catalog:

Método da API Data Catalog Método da API Dataplex
projects.locations.tagTemplates.create (REST)
CreateTagTemplate (RPC)		 projects.locations.aspectTypes.create (REST)
CreateAspectType (RPC)
projects.locations.tagTemplates.get (REST)
GetTagTemplate (RPC)		 projects.locations.aspectTypes.get (REST)
GetAspectType (RPC)
projects.locations.tagTemplates.patch (REST)
UpdateTagTemplate (RPC)		 projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
projects.locations.tagTemplates.delete (REST)
DeleteTagTemplate (RPC)		 projects.locations.aspectTypes.delete (REST)
DeleteAspectType (RPC)
catalog.search (REST) com type=tag_template
SearchCatalog (RPC) com type=tag_template		 projects.locations.aspectTypes.list (REST)
ListAspectTypes (RPC)

Campos do modelo de tag

Os campos de modelo de tag correspondem ao conteúdo do campo metadata_template em um tipo de aspecto. Use UpdateAspectType com o metadata_template modificado para criar, atualizar, renomear ou excluir campos:

Método da API Data Catalog Método da API Dataplex
projects.locations.tagTemplates.fields.create (REST)
CreateTagTemplateField (RPC)		 projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.patch (REST)
UpdateTagTemplateField (RPC)		 projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.rename (REST)
RenameTagTemplateField (RPC)		 projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.delete (REST)
DeleteTagTemplateField (RPC)		 projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)

Valores de tipo enumerado do campo de modelo de tag

Para modificar valores de enumeração, atualize o campo metadata_template no tipo de aspecto correspondente:

Método da API Data Catalog Método da API Dataplex
projects.locations.tagTemplates.fields.enumValues.rename (REST)
RenameTagTemplateFieldEnumValue (RPC)		 projects.locations.aspectTypes.patch (REST)
UpdateAspectType (RPC)

Tags e aspectos

Os aspectos são os sucessores das tags do Data Catalog. Os aspectos são encapsulados diretamente nas entradas ou links de entrada principais e são gerenciados usando o método UpdateEntry com update_mask:

Método da API Data Catalog Método da API Dataplex
projects.locations.entryGroups.entries.tags.create (REST)
CreateTag (RPC)		 projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.list (REST)
ListTags (RPC)		 projects.locations.entryGroups.entries.get (REST)
GetEntry (RPC)

Observação:para filtrar aspectos na resposta, use os parâmetros views, aspect_types e paths.
projects.locations.entryGroups.entries.tags.patch (REST)
UpdateTag (RPC)		 projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.delete (REST)
DeleteTag (RPC)		 projects.locations.entryGroups.entries.patch (REST)
UpdateEntry (RPC)

Tags de política e taxonomias

As APIs para tags de política e taxonomias não vão mudar e não exigem migração. Eles continuam sendo veiculados no endpoint datacatalog.googleapis.com (serviço do Gerenciador de tags de política). A API Data Catalog (datacatalog.googleapis.com) precisa permanecer ativada em projetos que usam o controle de acesso no nível da coluna do BigQuery ou o mascaramento dinâmico de dados.

Recursos indisponíveis no Knowledge Catalog

Os seguintes comportamentos e recursos do Data Catalog não são compatíveis ou funcionam de maneira diferente no Knowledge Catalog:

  • Tipos de aspectos particulares: o conceito de aspectos e tipos de aspectos particulares (as contrapartes de tags e modelos de tags particulares no Data Catalog) não existe. Todos os tipos de aspectos personalizados são regidos pelas permissões do Identity and Access Management do projeto e do grupo de entradas.
  • Pesquisa de tags de política: não é possível pesquisar tags de política usando os predicados policytag ou policytagid na pesquisa do catálogo.
  • Transferência de permissões: quando você importa grupos de entradas, entradas, modelos de tags e tags personalizados do Data Catalog para o Knowledge Catalog, as permissões originais não são transferidas. Você precisa configurar as permissões do IAM para os recursos importados. Para uma comparação detalhada das permissões legadas e de substituição, consulte Mapear permissões do IAM entre o Data Catalog e o Knowledge Catalog.
  • Resultados da inspeção da Proteção de dados sensíveis: não é possível enviar os resultados da inspeção da Proteção de dados sensíveis diretamente para o Knowledge Catalog. Em vez disso, envie os resultados da inspeção para o Data Catalog e faça a transição deles para o Knowledge Catalog.
  • Listagem de tipos entre projetos: não é possível listar tipos de entradas, tipos de links de entradas e tipos de aspectos em projetos com uma única chamada de API. As solicitações precisam ser limitadas a um único projeto.
  • Pesquisa do administrador: a pesquisa do administrador (recuperação total) não é compatível. Em vez disso, exporte os metadados para o Cloud Storage e consulte-os usando o BigQuery.

A seguir

Guia

Guia detalhado para migrar modelos de tag, entradas personalizadas e fluxos de trabalho.

Conceito

Saiba mais sobre o metamodelo flexível do Knowledge Catalog e o Active Context Graph.

Referência

Procure a documentação de referência da API REST para o serviço Dataplex Catalog.

Referência

Navegue pela documentação de referência da API gRPC para o serviço Dataplex Catalog.