Sobre o gerenciamento de metadados no Catálogo de Conhecimento

O Knowledge Catalog (antigo Dataplex Universal Catalog) é um serviço totalmente gerenciado que automatiza a descoberta e o inventário dos seus dados distribuídos e recursos de IA. Ela cria uma base de conhecimento unificada e pesquisável que governa dados no Google Cloud e em outros ambientes, garantindo que seus modelos de análise e IA sejam criados com base em informações confiáveis e em conformidade.

Observação: é possível definir a experiência de catálogo padrão como Knowledge Catalog. Se você estiver usando o Data Catalog, faça a transição do conteúdo e do uso independente do Data Catalog para o Knowledge Catalog. Para mais informações, consulte Transição do Data Catalog para o Knowledge Catalog.

Casos de uso

• Acelere a descoberta de dados para IA e análise. Supera o problema de inicialização a frio dos dados usando insights de dados com tecnologia de IA para gerar automaticamente o contexto de negócios. Cientistas e analistas de dados e agentes de IA podem descobrir, entender e verificar instantaneamente a qualidade de dados usando a pesquisa semântica em linguagem natural, sem esperar pelo suporte manual de engenharia.

• Estruture agentes de IA e controle produtos de dados. Cria um gráfico de contexto unificado que vincula conjuntos de dados físicos com semântica de negócios e relações de uso. Isso garante que os aplicativos de IA generativa downstream que acessam dados usando interfaces padrão, como o Protocolo de Contexto de Modelo (MCP), dependam de informações certificadas e aprovadas pela empresa, reduzindo significativamente as alucinações de IA.

• Descobrir dados ocultos. Analisa arquivos brutos e não estruturados (como PDFs no Cloud Storage) usando Insights de dados para dados não estruturados para extrair entidades e relacionamentos automaticamente. Também converte dados não estruturados em recursos consultáveis no BigQuery para análises avançadas e agentes de IA fundamentada.

• Simplifique a conformidade e as proteções semânticas. Automatiza o rastreamento da linhagem de dados para mapear como as informações sensíveis, incluindo informações de identificação pessoal (PII), fluem e são transformadas em todo o patrimônio de dados. Isso estabelece uma base de dados confiável, garantindo que os fluxos de trabalho de análise tradicionais e os modelos autônomos de IA operem dentro de limites seguros e em conformidade com as políticas.

Como o Knowledge Catalog funciona

Pense no Knowledge Catalog como uma biblioteca inteligente automatizada para sua empresa. Em vez de indexar metadados manualmente, o sistema ingere automaticamente metadados técnicos dos seus sistemas de armazenamento, como o BigQuery.

Em seguida, é possível enriquecer esses metadados com contexto de negócios, como pontuações de qualidade de dados ou propriedade, e organizar os dados em grupos lógicos. Isso garante que, quando os usuários pesquisarem o catálogo, eles vão encontrar recursos detectáveis e regidos por políticas de segurança ativas.

Além disso, o Knowledge Catalog pode transmitir mudanças de metadados quase em tempo real usando feeds de mudanças de metadados. Um feed de mudanças de metadados envia notificações sobre criação, atualizações ou exclusão de metadados para um tópico do Pub/Sub especificado por você. O Pub/Sub é um serviço de mensagens assíncrono e escalonável. Em seguida, use um cliente assinante para se inscrever no tópico do Pub/Sub e receber essas notificações. É possível processar mudanças de metadados, acionar fluxos de trabalho ou integrar com outros sistemas para agir com base nessas notificações. Por exemplo, é possível usar essas notificações para acionar automaticamente verificações de qualidade de dados quando um esquema de tabela muda. Para mais informações, consulte Feeds de mudança de metadados.

Terminologia

Os recursos de gerenciamento de metadados do Knowledge Catalog são baseados nos seguintes conceitos:

Entrada

Uma entrada representa um recurso de dados. Isso é semelhante às entradas no Data Catalog.

Exemplo: uma tabela do BigQuery chamada test-project.sales_data.customer_orders é representada como uma entrada.

Uma coluna de uma entrada representa uma subseção específica de um recurso de dados, como uma única coluna em uma tabela do BigQuery ou um campo em um arquivo JSON. Com as colunas, é possível anexar metadados a campos individuais em uma entrada, não apenas à entrada como um todo. As colunas não são definidas diretamente. Elas são criadas quando você anexa um aspecto do tipo schema a uma entrada. As colunas também são chamadas de caminhos.

Exemplo: para descrever o campo email_address na entrada customer_orders como contendo informações de identificação pessoal (PII), anexe um aspecto à coluna email_address.

Para mais informações sobre entradas, consulte Entradas.

Link de entrada

Um link de entrada estabelece uma relação entre dois recursos de dados (entradas) no Knowledge Catalog. Os links podem ser simétricos (não direcionais), como synonym, related items ou schema-join, ou assimétricos (direcionais), como definition, com uma origem e um destino explícitos. Os links podem fazer referência a uma entrada inteira ou a um caminho específico (por exemplo, uma única coluna em um esquema), exceto o link de entrada schema-join.

Exemplo: um link de entrada synonym associa o termo comercial lucro como um sinônimo de ganhos.

Para mais informações sobre links de entrada, consulte EntryLinks.

Tipo de link de entrada

Um tipo de link de entrada é um modelo reutilizável para links de entrada que descreve o significado da relação entre duas entradas. Cada link de entrada é uma instância de um tipo de link de entrada. A direcionalidade dos links de entrada é definida no nível do tipo de link de entrada.

Exemplo: para indicar que os dados nas entradas vinculadas podem ser unidos com base no esquema delas, use um tipo de link de entrada schema-join. Para explicar o significado das colunas em uma tabela, use um tipo de link de entrada definition para vincular essas colunas e os termos do glossário empresarial.

O Knowledge Catalog é compatível com os seguintes tipos de link de entrada: synonym, related, definition e schema-join.

Aspecto

Um aspecto é um conjunto de campos de metadados relacionados. É possível anexar um aspecto a uma entrada para descrever a entrada ou o link dela como um todo. A maioria dos metadados é descrita por aspectos em uma entrada. Isso é semelhante às tags no Data Catalog. No entanto, os aspectos são armazenados em entradas ou links de entrada, e não como recursos independentes.

Exemplo: para definir todas as colunas da entrada customer_orders, como order_id, order_date e email_address, anexe um aspecto schema à entrada customer_orders. Para especificar que a coluna email_address contém um endereço de e-mail, anexe um aspecto schema à coluna email_address.

Para mais informações sobre aspectos, consulte Aspectos.

Para mais informações sobre como usar aspectos para qualidade de dados, consulte Reutilizar regras de qualidade de dados.

Tipo de entrada

Um tipo de entrada é um modelo para criar entradas. Ele estabelece os elementos essenciais de metadados, descritos como uma lista de aspectos necessários para entradas desse tipo. Um tipo de entrada especifica quais tipos de aspectos são obrigatórios para um recurso de dados específico.

Exemplo: para garantir que todas as entradas tenham os metadados necessários, crie um tipo de entrada chamado StandardOperationalTable que exija um aspecto OwnerInfo para ser anexado a qualquer nova entrada desse tipo.

Para mais informações sobre os tipos de entradas, consulte Tipos de entradas.

Tipo de aspecto

Um tipo de aspecto é um modelo reutilizável de aspectos. Todo aspecto é uma instância de um tipo de aspecto. Isso é semelhante aos modelos de tag no Data Catalog.

Por exemplo, para definir um modelo reutilizável de dados de contato, você pode definir um tipo de aspecto chamado ContactInfo com campos para owner_name, email e support_team. Em seguida, crie aspectos ContactInfo com base nesse modelo e anexe-os a entradas ou colunas.

Para mais informações sobre os tipos de aspectos, consulte Tipos de aspectos.

Grupo de entradas

Um grupo de entradas é um contêiner de entradas e links de entrada que serve como uma unidade de gerenciamento para essas entradas e links. Por exemplo, use um grupo de entradas para configurar o controle de acesso do Identity and Access Management, a atribuição de projeto ou o local das entradas e dos links de entrada no grupo. Isso é semelhante aos grupos de entradas no Data Catalog.

Exemplo: uma equipe financeira quer gerenciar as permissões de todas as tabelas de uma só vez. Eles podem criar um grupo de entradas chamado production_finance_data e incluir as entradas das tabelas customer_orders, quarterly_revenue e employee_salaries nele.

Para mais informações sobre grupos de entradas, consulte Grupos de entradas.

Figura 1. Grupos de entradas, entradas e links de entrada

Figura 2. Tipos de aspecto e tipos de entrada

Figura 3. Link de entrada com entradas, aspectos e tipos vinculados

Knowledge Catalog x Data Catalog

O Knowledge Catalog oferece recursos integrados para gerenciar seus metadados. O armazenamento de metadados e os métodos de API são integrados à API Dataplex.

Os principais recursos de gerenciamento de metadados no Knowledge Catalog incluem o seguinte:

• Metamodelo mais robusto

  • Entradas digitadas. É possível aplicar padrões mínimos de metadados definindo o conteúdo de metadados necessário para entradas personalizadas.
  • Metamodelo configurável pelo usuário para entradas personalizadas, que ajuda a tornar a ingestão personalizada mais robusta e melhora a consistência e a abrangência dos metadados personalizados.
  • Suporte a uma variedade e complexidade maiores de metadados, incluindo estruturas de aninhamento, como listas, mapas e matrizes.

• Melhor escalonabilidade, incluindo a capacidade de interagir com todos os metadados associados a uma entrada por meio de operações CRUD atômicas únicas e de buscar várias anotações de metadados associadas em respostas de pesquisa ou lista.

A tabela a seguir compara os recursos de gerenciamento de metadados do Knowledge Catalog e do Data Catalog:

Comparação entre o Knowledge Catalog e o Data Catalog

Recurso	Knowledge Catalog	Data Catalog
Fontes Google Cloud compatíveis	Todas as fontes descritas na seção Fontes Google Cloud aceitas deste documento.	Todas as fontes descritas em Entradas e grupos de entradas.
Ingestão de fontes personalizadas	Ingestão em entradas personalizadas com estrutura controlada, definida por tipos de entrada. As entradas e os grupos de entradas personalizados do Data Catalog ficam disponíveis no Knowledge Catalog no tipo de entrada generic.	Ingestão em entradas personalizadas genéricas.
Aprimoramento de metadados	O contexto dos metadados para entradas é capturado usando glossários de negócios, aspectos e tipos de aspecto. Os links de entrada são compatíveis. É possível anexar aspectos a um link de entrada.	O contexto dos metadados das entradas é capturado usando glossários empresariais, tags e modelos de tags. Não é possível usar links de entrada.
Links de entrada	Os links de entrada são compatíveis. Os tipos de links de entrada, como schema-join, permitem anexar aspectos a eles.	Indisponível.
Feeds de mudanças de metadados	Notificações de mudança de metadados quase em tempo real são transmitidas para o Pub/Sub.	Indisponível.
Pesquisar	A pesquisa é realizada nos seguintes itens: Todas as fontes Google Cloud descritas em Fontes Google Cloud compatíveis Entradas personalizadas criadas no Knowledge Catalog Aspectos criados no Knowledge Catalog, exceto aqueles anexados aos links de entrada. Entradas personalizadas criadas no Data Catalog e transferidas para o Knowledge Catalog Os resultados da pesquisa incluem apenas os recursos que pertencem à mesma organização e ao mesmo perímetro do VPC Service Controls que o projeto em que a pesquisa é realizada. Ao usar o console Google Cloud , esse é o projeto selecionado nele. Para pesquisar entradas, você precisa de pelo menos uma das seguintes funções do IAM no projeto usado para pesquisa: administrador do Dataplex Catalog, editor do Dataplex Catalog ou leitor do Dataplex Catalog. As permissões nos resultados da pesquisa são verificadas independentemente do projeto selecionado.	A pesquisa é realizada nos seguintes itens: Todas as fontes de Google Cloud descritas em Entradas e grupos de entradas Entradas personalizadas criadas no Data Catalog Tags criadas no Data Catalog
Linhagem de dados	A linhagem de dados recupera detalhes de entrada para nós de recursos usando a API Dataplex. O console do Google Cloud mostra os aspectos anexados.	A linhagem de dados recupera detalhes de entrada para nós de recursos usando a API Data Catalog.
Glossários de negócios	Com o glossário empresarial, você cria uma taxonomia para termos comerciais e os associa a recursos e colunas de dados. Você pode usar a pesquisa para descobrir recursos vinculados a um termo.	Com o glossário empresarial, você pode criar uma taxonomia para termos comerciais e associá-los a colunas. Você pode usar a pesquisa para descobrir recursos vinculados a um termo.

A tabela a seguir descreve como os recursos do Knowledge Catalog correspondem aos do Data Catalog:

Mapeamento entre recursos do Knowledge Catalog e do Data Catalog

Recurso do Knowledge Catalog	Recurso do Data Catalog	Descrição
Tipo de aspecto (global)	Modelo de tag público	Os modelos de tag são recursos regionais. No entanto, é possível usá-las para criar tags em várias regiões. Os modelos de tag correspondem aos tipos de aspecto global no Knowledge Catalog.
Aspecto opcional	Tag pública	As tags públicas no Data Catalog correspondem a aspectos opcionais no Knowledge Catalog.
Grupo de entradas	Grupo de entradas	Para fontes Google Cloud , os grupos de entradas do sistema, como @bigquery, são estabelecidos por projeto no Knowledge Catalog.
Aspectos obrigatórios da entrada personalizada	Entrada personalizada	O Data Catalog e o Knowledge Catalog compartilham conceitos semelhantes para entradas personalizadas. As propriedades de entrada padrão são modeladas como aspectos obrigatórios no Knowledge Catalog.
Aspectos obrigatórios para entradas do sistema	Entrada do sistema (Google Cloud)	Os metadados que descrevem entidades integradas, como Schema para tabelas do BigQuery, são capturados nos aspectos obrigatórios dos tipos de aspectos definidos pelo sistema.
Glossários de negócios	Glossários de negócios	Use glossários para criar uma taxonomia de termos comerciais, padronizando o contexto de negócios em toda a empresa.

Para mais informações sobre os recursos disponíveis no Data Catalog, mas não no Knowledge Catalog, consulte a seção Recursos de gerenciamento de metadados que não são compatíveis com o Knowledge Catalog neste documento.

Para usuários atuais do Data Catalog

Se você já estiver usando o Data Catalog, observe o seguinte:

• As entradas personalizadas, o contexto da visão geral, os glossários e os grupos de entradas que você criou no Data Catalog ficam disponíveis no Knowledge Catalog.
• Como administrador, você pode disponibilizar simultaneamente o conteúdo de tags e modelos de tags do Data Catalog no Knowledge Catalog. Para mais informações, consulte Transição do Data Catalog para o Knowledge Catalog.
• Ao pesquisar recursos de dados no Knowledge Catalog, os metadados criados diretamente nele e os metadados trazidos do Data Catalog para o Knowledge Catalog são incluídos.
• Ao pesquisar recursos de dados no Data Catalog, somente os metadados criados nele são incluídos.
• As descrições de grupos de entradas no Data Catalog que excedem 1.024 caracteres são truncadas para 1.024 caracteres no Knowledge Catalog.
• Como administrador, para disponibilizar no Knowledge Catalog os glossários e links associados entre termos comerciais e colunas criados no Data Catalog, consulte Migrar glossários para o Knowledge Catalog.

Para mais informações sobre como fazer a transição do conteúdo e do uso independente do Data Catalog para o Knowledge Catalog, consulte Fazer a transição do Data Catalog para o Knowledge Catalog.

Mapear métodos da API Data Catalog para o Knowledge Catalog

Se você estiver migrando do Data Catalog para o Knowledge Catalog, será necessário atualizar seus fluxos de trabalho programáticos para usar a API Dataplex. Esta seção fornece um mapeamento entre a API Data Catalog e Dataplex.

Para mais informações sobre os métodos da API Dataplex, consulte a documentação da API Dataplex para métodos REST e a documentação da API Dataplex para métodos RPC.

As tabelas a seguir fornecem um mapeamento dos métodos da API Data Catalog para os equivalentes na API Dataplex.

Grupos de entradas

O conceito de grupos de entradas é o mesmo no Knowledge Catalog e no Data Catalog.

Método da API Data Catalog	Método da API Dataplex
projects.locations.entryGroups.create (REST) CreateEntryGroup (RPC)	projects.locations.entryGroups.create (REST) CreateEntryGroup (RPC)
projects.locations.entryGroups.get (REST) GetEntryGroup (RPC)	projects.locations.entryGroups.get (REST) GetEntryGroup (RPC)
projects.locations.entryGroups.patch (REST) UpdateEntryGroup (RPC)	projects.locations.entryGroups.patch (REST) UpdateEntryGroup (RPC)
projects.locations.entryGroups.delete (REST) DeleteEntryGroup (RPC)	projects.locations.entryGroups.delete (REST) DeleteEntryGroup (RPC)
projects.locations.entryGroups.list (REST) ListEntryGroups (RPC)	projects.locations.entryGroups.list (REST) ListEntryGroups (RPC)

Entradas

O conceito de entradas, que representam recursos de dados, é semelhante no Knowledge Catalog e no Data Catalog.

Método da API Data Catalog	Método da API Dataplex
projects.locations.entryGroups.entries.create (REST) CreateEntry (RPC)	projects.locations.entryGroups.entries.create (REST) CreateEntry (RPC)
projects.locations.entryGroups.entries.get (REST) GetEntry (RPC)	projects.locations.entryGroups.entries.get (REST) GetEntry (RPC)
projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Observação:também é possível usar os métodos projects.locations.modifyEntry (REST) e ModifyEntry (RPC) para atualizar entradas do sistema usando permissões do sistema de origem em vez de permissões do Knowledge Catalog.
projects.locations.entryGroups.entries.delete (REST) DeleteEntry (RPC)	projects.locations.entryGroups.entries.delete (REST) DeleteEntry (RPC)
projects.locations.entryGroups.entries.list (REST) ListEntries (RPC)	projects.locations.entryGroups.entries.list (REST) ListEntries (RPC)
entries.lookup (REST) LookupEntry (RPC)	projects.locations.lookupEntry (REST) LookupEntry (RPC) Observação:para usar os métodos projects.locations.lookupEntry (REST) e LookupEntry (RPC), você precisa fornecer o nome da entrada do Knowledge Catalog. Para traduzir um nome SQL do BigQuery, um nome totalmente qualificado ou um nome de recurso vinculado para um nome de entrada do Knowledge Catalog, primeiro chame o método projects.locations.searchEntries (REST) ou SearchEntries (RPC).
projects.locations.entryGroups.entries.modifyEntryContacts (REST) ModifyEntryContacts (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Observação:ao migrar do método entries.modifyEntryContacts do Data Catalog, use update_mask para modificar apenas o aspecto contacts.
projects.locations.entryGroups.entries.modifyEntryOverview (REST) ModifyEntryOverview (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Observação:ao migrar do método entries.modifyEntryOverview do Data Catalog, use update_mask para modificar apenas o aspecto overview.
projects.locations.entryGroups.entries.tags.reconcile (REST) ReconcileTags (RPC)	projects.locations.metadataJobs.create (REST) CreateMetadataJob (RPC), projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC) Observação:ao migrar do método projects.locations.entryGroups.entries.reconcileTags do Data Catalog, use o método projects.locations.metadataJobs.create (REST) ou CreateMetadataJob (RPC) com o tipo de serviço de importação para importar conteúdo do catálogo para várias entradas. Para atualizar todos os aspectos de uma única entrada, use o método projects.locations.entryGroups.entries.patch (REST) ou UpdateEntry (RPC).
catalog.search (REST) SearchCatalog (RPC)	projects.locations.searchEntries (REST) SearchEntries (RPC) Observação:os métodos projects.locations.searchEntries (REST) e SearchEntries (RPC) do Knowledge Catalog não permitem pesquisar em várias organizações. É necessário emitir chamadas de API separadas para cada uma das suas organizações.

Modelos de tag e tags

No Knowledge Catalog, os tipos de aspectos são os sucessores dos modelos de tag do Data Catalog, e os aspectos são os sucessores das tags do Data Catalog.

Método da API Data Catalog	Método da API Dataplex
projects.locations.tagTemplates.create (REST) CreateTagTemplate (RPC)	projects.locations.aspectTypes.create (REST) CreateAspectType (RPC)
projects.locations.tagTemplates.get (REST) GetTagTemplate (RPC)	projects.locations.aspectTypes.get (REST) GetAspectType (RPC)
projects.locations.tagTemplates.patch (REST) UpdateTagTemplate (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.delete (REST) DeleteTagTemplate (RPC)	projects.locations.aspectTypes.delete (REST) DeleteAspectType (RPC)
catalog.search (REST) com predicado type=tag_template SearchCatalog (RPC) com predicado type=tag_template	projects.locations.aspectTypes.list (REST) ListAspectTypes (RPC)

Campos do modelo de tag

Os campos de modelo de tag correspondem ao conteúdo do campo metadata_template em um tipo de aspecto. Para migrar uma operação no nível do campo do Data Catalog, use a operação UpdateAspectType com a carga correspondente no Knowledge Catalog.

Método da API Data Catalog	Método da API Dataplex
projects.locations.tagTemplates.fields.create (REST) CreateTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.patch (REST) UpdateTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.rename (REST) RenameTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)
projects.locations.tagTemplates.fields.delete (REST) DeleteTagTemplateField (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)

Valores de enumeração de campo do modelo de tag

Assim como os campos de modelo de tag, é possível editar valores de enumeração na API Dataplex modificando o campo metadata_template no tipo de aspecto correspondente.

Método da API Data Catalog	Método da API Dataplex
projects.locations.tagTemplates.fields.enumValues.rename (REST) RenameTagTemplateFieldEnumValue (RPC)	projects.locations.aspectTypes.patch (REST) UpdateAspectType (RPC)

Tags

Os aspectos são os sucessores das tags do Data Catalog. Os aspectos não são recursos independentes e são encapsulados nas entradas principais. O parâmetro field_mask pode ser usado para atualizar seletivamente um único aspecto de uma entrada.

Método da API Data Catalog	Método da API Dataplex
projects.locations.entryGroups.entries.tags.create (REST) CreateTag (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.list (REST) ListTags (RPC)	projects.locations.entryGroups.entries.get (REST) GetEntry (RPC) Observação:para limitar a resposta apenas aos aspectos necessários, use os parâmetros views, aspect_types e paths.
projects.locations.entryGroups.entries.tags.patch (REST) UpdateTag (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)
projects.locations.entryGroups.entries.tags.delete (REST) DeleteTag (RPC)	projects.locations.entryGroups.entries.patch (REST) UpdateEntry (RPC)

Tags de política e taxonomias

Essas APIs não vão mudar e, portanto, não precisam ser migradas.

Fontes compatíveis

• Descoberta automática de dados do Cloud Storage

• Os metadados das seguintes fontes do Google Cloud são ingeridos automaticamente no Knowledge Catalog:

  • Trocas e listagens do BigQuery Sharing (antigo Analytics Hub)
  • Conjuntos de dados, tabelas, visualizações, modelos, rotinas, conexões e conjuntos de dados vinculados do BigQuery
  • Instâncias, clusters e tabelas do Bigtable (incluindo detalhes do grupo de colunas)
  • Repositórios do Dataform e recursos de código
  • Serviços, bancos de dados e tabelas do Dataproc Metastore
  • Instâncias, painéis, elementos de painel, Looks, projetos, modelos, análises detalhadas e visualizações do Looker (Google Cloud Core) (prévia)
  • Tópicos do Pub/Sub
  • Instâncias, bancos de dados, tabelas e visualizações do Spanner
  • Modelos, conjuntos de dados, grupos de recursos, visualizações de recursos e instâncias de loja on-line da Vertex AI

  • Tabelas do catálogo REST do Iceberg (incluindo o catálogo de ambiente de execução do Lakehouse IRC, o IRC do Databricks Unity, o IRC do catálogo de dados do AWS Glue e o IRC do Snowflake Horizon) Google Cloud

    Observação: o suporte federado para o IRC do Databricks Unity, o IRC do AWS Glue Data Catalog e o IRC do Snowflake Horizon está em pré-lançamento.

• Se a integração do Knowledge Catalog estiver ativada, os metadados das seguintes fontes Google Cloud serão ingeridos automaticamente no Knowledge Catalog:

  • Clusters, instâncias, bancos de dados, esquemas, tabelas e visualizações do AlloyDB para PostgreSQL. Consulte Ativar a integração do AlloyDB para PostgreSQL (pré-lançamento).
  • Instâncias, bancos de dados, esquemas, tabelas e visualizações do Cloud SQL. Consulte Ativar a integração do Cloud SQL

Para importar metadados de uma fonte terceirizada para o Knowledge Catalog, use um pipeline de conectividade gerenciada. Para mais informações, consulte a Visão geral da conectividade gerenciada.

Restrições de projeto e local

Os recursos do catálogo no Knowledge Catalog estão em vários projetos e locais. Considere as seguintes limitações:

• Local:

  • Entradas:

    • O local de uma entrada precisa corresponder ao local do tipo de entrada ou o tipo de entrada precisa ser global.
    • Um aspecto adicionado a uma entrada precisa ser baseado em um tipo de aspecto armazenado no mesmo local que a entrada ou o tipo de aspecto precisa ser global.
    • Um tipo de entrada precisa ser composto de tipos de aspecto armazenados no mesmo local que o tipo de entrada.

  • Links de entrada:

    • O local de um link de entrada precisa corresponder ao local do tipo de link de entrada ou o tipo de link de entrada precisa ser global.
    • Um aspecto adicionado a um link de entrada precisa ser baseado em um tipo de aspecto armazenado no mesmo local que o link de entrada ou o tipo de aspecto precisa ser global.
    • Um tipo de link de entrada precisa ser composto de tipos de aspecto armazenados no mesmo local que o tipo de link de entrada.

• Projeto:

  • Se um tipo de entrada fizer referência a tipos personalizados de aspecto, eles precisarão estar no mesmo local e projeto que o tipo de entrada.

Recursos de gerenciamento de metadados que não são compatíveis com o Knowledge Catalog

Os seguintes recursos disponíveis no Data Catalog não são compatíveis com o Knowledge Catalog:

• O conceito de aspectos e tipos de aspectos particulares (equivalentes a tags e modelos de tags particulares no Data Catalog) não existe no Knowledge Catalog.
• A pesquisa de tags de política não é compatível com a pesquisa do Knowledge Catalog. Consequentemente, os predicados policytag e policytagid não funcionam na pesquisa do Knowledge Catalog.
• Quando você traz grupos de entradas personalizadas, entradas personalizadas, modelos de tags e tags do Data Catalog para o Knowledge Catalog, as permissões originais não são transferidas. É necessário configurar explicitamente permissões do IAM para os metadados copiados antes de usá-los.
• Não é possível enviar os resultados da inspeção da Proteção de dados sensíveis diretamente para o catálogo no Knowledge Catalog. Em vez disso, é possível enviar os resultados da inspeção da Proteção de dados sensíveis para o Data Catalog e, em seguida, fazer a transição dos resultados para o Knowledge Catalog.
• Não é possível listar tipos de entradas, tipos de links de entradas e tipos de aspectos em projetos usando a API. É possível restringir a solicitação de lista a um projeto.
• Não é possível registrar lakes, zonas, recursos e entidades como entradas do Knowledge Catalog. Isso significa que os metadados do Data Catalog anexados a lakes, zonas, recursos e entidades não são transferidos para o catálogo no Knowledge Catalog. Além disso, ao usar a pesquisa do Knowledge Catalog, não é possível pesquisar zonas e entidades nem filtrar por lagos e zonas. É possível usar lagos e zonas de forma independente do catálogo no Knowledge Catalog.
• A pesquisa de administrador, que garante o recall completo, não é compatível. Em vez disso, é possível exportar metadados para o Cloud Storage e consultá-los no BigQuery.

Para uma comparação dos recursos e recursos compatíveis com o Knowledge Catalog e o Data Catalog, consulte a seção Knowledge Catalog x Data Catalog neste documento.

Preços

O Knowledge Catalog usa a SKU de armazenamento de metadados para cobrar pelo armazenamento de metadados. Para mais informações, consulte os preços do Knowledge Catalog.

Não há cobranças para usar o seguinte:

• Como criar e gerenciar recursos do catálogo no Knowledge Catalog
• Chamadas da API Search para o Knowledge Catalog
• Consultas de pesquisa realizadas na página do Knowledge Catalog no console Google Cloud

A seguir

• Saiba como pesquisar recursos no Knowledge Catalog.
• Saiba como gerenciar aspectos e enriquecer metadados.
• Saiba como gerenciar entradas e ingerir fontes personalizadas.
• Saiba mais sobre a transição do Data Catalog para o Knowledge Catalog.
• Saiba mais sobre a transição de glossários para o Knowledge Catalog.
• Confira os casos de uso do Knowledge Catalog.