O Data Catalog foi descontinuado. Se você estiver migrando fluxos de trabalho, scripts, bibliotecas de cliente ou configurações do Terraform programáticos do Data Catalog para o Knowledge Catalog, atualize seu código para usar a API Dataplex.
Este documento oferece um mapeamento abrangente dos recursos, funcionalidades e métodos da API Data Catalog para os equivalentes na API Dataplex.
Para conferir o processo de migração detalhado, consulte Fazer a transição do Data Catalog para o Knowledge Catalog. Para acessar a documentação de referência da API, consulte a documentação da API REST do Dataplex e a documentação da API RPC do Dataplex.
Mapeamento de recursos
A tabela a seguir descreve como os recursos do Data Catalog correspondem aos do Knowledge Catalog:
| Recurso do Data Catalog | Recurso do Knowledge Catalog | Descrição |
|---|---|---|
| Modelo de tag público | Tipo de aspecto (global) |
Os modelos de tag são recursos regionais do Data Catalog que podem ser usados em várias regiões. Eles correspondem aos tipos de aspecto global no Knowledge Catalog. |
| Tag pública | Aspecto opcional | As tags públicas correspondem a aspectos opcionais anexados a uma entrada ou coluna no Knowledge Catalog. |
| Grupo de entradas | Grupo de entradas | Os grupos de entradas servem como contêineres organizacionais e de segurança nos dois
serviços. Para Google Cloud sources, os grupos de entradas do sistema, como
@bigquery, são estabelecidos automaticamente por projeto. |
| Entrada personalizada | Entrada personalizada (com aspectos obrigatórios) | As propriedades de entrada personalizadas padrão são modeladas como aspectos obrigatórios
definidos pelo EntryType da entrada personalizada. |
| Entrada do sistema (Google Cloud) | Entrada do sistema (com aspectos obrigatórios) | Os metadados que descrevem entidades integradas (como Schema para tabelas do BigQuery) são capturados nos aspectos obrigatórios dos tipos de aspectos definidos pelo sistema. |
| Glossários empresariais | Glossários empresariais | Taxonomias de termos comerciais que padronizam o contexto de negócios em toda a empresa. |
Comparação dos recursos
A tabela a seguir compara os recursos de gerenciamento de metadados do Knowledge Catalog e do Data Catalog:
| Recurso | Knowledge Catalog | Data Catalog |
|---|---|---|
| Fontes Google Cloud compatíveis | Todas as fontes descritas em Fontes Google Cloud compatíveis. | Todas as fontes descritas na documentação do Data Catalog. |
| Ingestão de fontes personalizadas | Ingestão em entradas personalizadas com estrutura controlada definida por tipos de entrada. As entradas e os grupos de entradas personalizados do Data Catalog ficam disponíveis no Knowledge Catalog no tipo de entrada |
Ingestão em entradas personalizadas genéricas. |
| Enriquecimento de metadados | Capturados usando glossários comerciais, aspectos e tipos de aspectos. Os links de entrada são compatíveis. É possível anexar aspectos diretamente aos links de entrada. |
Capturados usando glossários empresariais, tags e modelos de tag. Não é possível usar links de entrada. |
| Links de entrada | Compatível. Os tipos integrados, como synonym, definition, related e schema-join, permitem conectar entradas e colunas. |
Indisponível. |
| Feeds de mudanças de metadados | Notificações de mudança de metadados quase em tempo real transmitidas para o Pub/Sub. | Indisponível. |
| Pesquisar | A pesquisa é realizada em todas as fontes Google Cloud compatíveis, entradas personalizadas, aspectos e conteúdo migrado do Data Catalog na mesma organização e perímetro do VPC Service Controls. | A pesquisa é realizada em fontes compatíveis, entradas personalizadas e tags criadas no Data Catalog. |
| Linhagem de dados | Recupera detalhes de entrada para nós de recursos usando a API Dataplex. Mostra os aspectos anexados no console do Google Cloud . | Recupera detalhes de entrada usando a API Data Catalog. |
| Glossários empresariais | Permite criar taxonomias de termos comerciais e associá-las a recursos de dados (entradas) e colunas. | Permite associar termos a colunas. |
Mapear métodos da API Data Catalog para o Knowledge Catalog
As tabelas a seguir fornecem um mapeamento método a método entre a API Data Catalog (google.cloud.datacatalog.v1) e a API Dataplex (google.cloud.dataplex.v1.CatalogService).
Grupos de entradas
O conceito de grupos de entradas é consistente nos dois serviços:
| Método da API Data Catalog | Método da API Dataplex |
|---|---|
projects.locations.entryGroups.create (REST)CreateEntryGroup (RPC) |
projects.locations.entryGroups.create (REST)CreateEntryGroup (RPC) |
projects.locations.entryGroups.get (REST)GetEntryGroup (RPC) |
projects.locations.entryGroups.get (REST)GetEntryGroup (RPC) |
projects.locations.entryGroups.patch (REST)UpdateEntryGroup (RPC) |
projects.locations.entryGroups.patch (REST)UpdateEntryGroup (RPC) |
projects.locations.entryGroups.delete (REST)DeleteEntryGroup (RPC) |
projects.locations.entryGroups.delete (REST)DeleteEntryGroup (RPC) |
projects.locations.entryGroups.list (REST)ListEntryGroups (RPC) |
projects.locations.entryGroups.list (REST)ListEntryGroups (RPC) |
Entradas
O conceito de entradas, que representam recursos de dados, é consistente nos dois serviços:
| Método da API Data Catalog | Método da API Dataplex |
|---|---|
projects.locations.entryGroups.entries.create (REST)CreateEntry (RPC) |
projects.locations.entryGroups.entries.create (REST)CreateEntry (RPC) |
projects.locations.entryGroups.entries.get (REST)GetEntry (RPC) |
projects.locations.entryGroups.entries.get (REST)GetEntry (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
Observação:também é possível usar os métodos |
projects.locations.entryGroups.entries.delete (REST)DeleteEntry (RPC) |
projects.locations.entryGroups.entries.delete (REST)DeleteEntry (RPC) |
projects.locations.entryGroups.entries.list (REST)ListEntries (RPC) |
projects.locations.entryGroups.entries.list (REST)ListEntries (RPC) |
entries.lookup (REST)LookupEntry (RPC) |
projects.locations.lookupEntry (REST)LookupEntry (RPC)
Observação:para usar |
projects.locations.entryGroups.entries.modifyEntryContacts (REST)ModifyEntryContacts (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC)
Observação:use |
projects.locations.entryGroups.entries.modifyEntryOverview (REST)ModifyEntryOverview (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC)
Observação:use |
projects.locations.entryGroups.entries.tags.reconcile (REST)ReconcileTags (RPC) |
projects.locations.metadataJobs.create (REST)CreateMetadataJob (RPC),projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC)
Observação:use |
catalog.search (REST)SearchCatalog (RPC) |
projects.locations.searchEntries (REST)SearchEntries (RPC)
Observação:o |
Modelos de tag e tipos de aspecto
Os tipos de aspecto são os sucessores dos modelos de tag do Data Catalog:
| Método da API Data Catalog | Método da API Dataplex |
|---|---|
projects.locations.tagTemplates.create (REST)CreateTagTemplate (RPC) |
projects.locations.aspectTypes.create (REST)CreateAspectType (RPC) |
projects.locations.tagTemplates.get (REST)GetTagTemplate (RPC) |
projects.locations.aspectTypes.get (REST)GetAspectType (RPC) |
projects.locations.tagTemplates.patch (REST)UpdateTagTemplate (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.delete (REST)DeleteTagTemplate (RPC) |
projects.locations.aspectTypes.delete (REST)DeleteAspectType (RPC) |
catalog.search (REST) com type=tag_templateSearchCatalog (RPC) com type=tag_template |
projects.locations.aspectTypes.list (REST)ListAspectTypes (RPC) |
Campos do modelo de tag
Os campos de modelo de tag correspondem ao conteúdo do campo metadata_template
em um tipo de aspecto. Use UpdateAspectType com o metadata_template modificado
para criar, atualizar, renomear ou excluir campos:
| Método da API Data Catalog | Método da API Dataplex |
|---|---|
projects.locations.tagTemplates.fields.create (REST)CreateTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.fields.patch (REST)UpdateTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.fields.rename (REST)RenameTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
projects.locations.tagTemplates.fields.delete (REST)DeleteTagTemplateField (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
Valores de enumeração de campos de modelo de tag
Para modificar valores de enumeração, atualize o campo metadata_template no
tipo de aspecto correspondente:
| Método da API Data Catalog | Método da API Dataplex |
|---|---|
projects.locations.tagTemplates.fields.enumValues.rename (REST)RenameTagTemplateFieldEnumValue (RPC) |
projects.locations.aspectTypes.patch (REST)UpdateAspectType (RPC) |
Tags e aspectos
Os aspectos são os sucessores das tags do Data Catalog. Os aspectos são encapsulados diretamente nas entradas ou links de entrada principais e gerenciados usando o método UpdateEntry com update_mask:
| Método da API Data Catalog | Método da API Dataplex |
|---|---|
projects.locations.entryGroups.entries.tags.create (REST)CreateTag (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
projects.locations.entryGroups.entries.tags.list (REST)ListTags (RPC) |
projects.locations.entryGroups.entries.get (REST)GetEntry (RPC)
Observação:para filtrar aspectos na resposta, use os parâmetros |
projects.locations.entryGroups.entries.tags.patch (REST)UpdateTag (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
projects.locations.entryGroups.entries.tags.delete (REST)DeleteTag (RPC) |
projects.locations.entryGroups.entries.patch (REST)UpdateEntry (RPC) |
Tags de política e taxonomias
As APIs para tags de política e taxonomias não vão mudar e não exigem migração. Eles continuam sendo veiculados no endpoint datacatalog.googleapis.com (serviço do Gerenciador de tags de política). A API Data Catalog (datacatalog.googleapis.com) precisa permanecer ativada em projetos que usam o controle de acesso no nível da coluna do BigQuery ou a mascaramento dinâmico de dados.
Recursos indisponíveis no Knowledge Catalog
Os seguintes comportamentos e recursos do Data Catalog não são compatíveis ou funcionam de maneira diferente no Knowledge Catalog:
- Tipos de aspectos particulares: o conceito de aspectos e tipos de aspectos particulares (as contrapartes de tags e modelos de tags particulares no Data Catalog) não existe. Todos os tipos de aspectos personalizados são regidos pelas permissões do Identity and Access Management do projeto e do grupo de entradas.
- Pesquisa de tags de política: não é possível pesquisar tags de política usando os predicados
policytagoupolicytagidna pesquisa do catálogo. - Transferência de permissões: quando você importa grupos de entradas, entradas, modelos de tags e tags personalizados do Data Catalog para o Knowledge Catalog, as permissões originais não são transferidas. Você precisa configurar as permissões do IAM para os recursos importados. Para uma comparação detalhada das permissões legadas e de substituição, consulte Mapear permissões do IAM entre o Data Catalog e o Knowledge Catalog.
- Resultados da inspeção da Proteção de dados sensíveis: não é possível enviar os resultados da inspeção da Proteção de dados sensíveis diretamente para o Knowledge Catalog. Em vez disso, envie os resultados da inspeção para o Data Catalog e faça a transição para o Knowledge Catalog.
- Listagem de tipos entre projetos: não é possível listar tipos de entradas, tipos de links de entradas e tipos de aspectos em vários projetos em uma única chamada de API. As solicitações precisam ser limitadas a um único projeto.
- Pesquisa do administrador: não há suporte para a pesquisa do administrador (recall total). Em vez disso, exporte os metadados para o Cloud Storage e consulte-os usando o BigQuery.
A seguir
Fazer a transição do Data Catalog
Guia detalhado para migrar modelos de tag, entradas personalizadas e fluxos de trabalho.
Sobre metadados no Knowledge Catalog
Saiba mais sobre o metamodelo flexível do Knowledge Catalog e o Active Context Graph.
Referência da API REST do Dataplex
Navegue pela documentação de referência da API REST do serviço Dataplex Catalog.
Referência da API RPC do Dataplex
Navegue pela documentação de referência da API gRPC para o serviço de catálogo do Dataplex.