Com a pesquisa do Knowledge Catalog (antigo Dataplex Universal Catalog), é possível descobrir recursos em toda a organização com suporte para pesquisa em linguagem natural com correspondência semântica, pesquisa por palavra-chave e uma sintaxe de pesquisa abrangente.
Casos de uso
A lista a seguir descreve casos de uso comuns de pesquisa, além de descrições e exemplos de consultas:
Pesquisa de recursos segmentada: encontre um recurso específico pesquisando palavras-chave relacionadas ao nome, às colunas ou à descrição dele.
Exemplo de consultas
retail_transactions_2026customer_idcolumn:customer_id
Descoberta de dados abrangente: identifique recursos relevantes em toda a organização usando consultas de linguagem natural ou palavras-chave abertas.
Exemplo de consultas
quarterly financial reportsad campaign click through rates tablesserver health metricsaudit logs system=bigquery
Recuperação de recursos com escopo para fluxos de trabalho: enumere recursos em um contêiner específico, como um projeto, ou com propriedades específicas, como tipo ou sistema. Essa abordagem é usada com frequência em fluxos de trabalho programáticos e com agentes.
Exemplo de consultas
type=table projectid:banking-prod aspect:classification.tier=PIIsystem=spanner projectid:inventory-service (parent=marketing_analytics OR parent=finance_analytics)
Acessar a pesquisa no Knowledge Catalog
Você tem as seguintes opções para acessar a pesquisa no Knowledge Catalog:
- Na página Pesquisa do console do Google Cloud . Para mais informações, consulte a seção Pesquisar recursos neste documento.
gcloud dataplex entries searchCLI gcloud.- API
searchEntriese bibliotecas de cliente do Cloud. - Servidor MCP remoto e MCP Toolbox for Databases para uso interativo e para impulsionar suas cargas de trabalho programáticas e de agentes.
Como funciona
A Pesquisa indexa automaticamente todo o contexto dos recursos de dados mantidos no Knowledge Catalog. Isso inclui o seguinte:
- Metadados ingeridos automaticamente de fontes de dados do Google Cloud , como BigQuery e Cloud SQL
- Contexto para recursos ingeridos por conectores e integrações
- Contexto adicional criado para recursos (por exemplo, representando contexto comercial ou descrevendo semântica de dados) e capturado na forma de aspectos ou termos comerciais vinculados.
Ao processar sua consulta, a pesquisa aplica uma combinação de correspondência semântica e de palavra-chave. A tabela a seguir descreve os tipos de consultas que você pode usar com a pesquisa do Knowledge Catalog, além de descrições e exemplos de consultas:
| Tipo de consulta | Uso | Exemplos |
|---|---|---|
| Palavra-chave única | Para correspondência exata e de substring em elementos de metadados, como nome, descrição e esquema do recurso. | prd_fin_invoices_fct_v02 |
| Palavras-chave parciais e fragmentos tokenizados | Encontra substrings no conteúdo de metadados, encontrando recursos mesmo com termos abreviados, palavras separadas ou variações de nomenclatura. | fin transactions 2026 (corresponde a
prd_fin_transactions_fy2026_raw) |
| Consultas em linguagem natural | Usa a correspondência semântica sem exigir correspondências exatas de nome ou coluna. | customer churn prediction features |
| Predicados estruturados | Combina consultas de texto livre com filtros de predicado explícitos para restringir os resultados da pesquisa. | audit logs system=bigquery |
| Sintaxe estendida | Para pesquisa precisa, restrita a um escopo específico. A sintaxe estendida é mais usada em casos de uso agênticos e programáticos. Para mais informações, consulte Sintaxe de pesquisa. | (system:bigquery OR system:spanner) AND
column:credit_card_number aspect:classification.tier=PII
-projectid:sandbox-project |
Escopo de pesquisa
Os resultados da pesquisa no Knowledge Catalog respeitam as permissões que você tem sobre os recursos correspondentes nos sistemas de origem.
Por exemplo, se você tiver acesso de leitura de metadados do BigQuery a um objeto, ele vai aparecer nos resultados da pesquisa do Knowledge Catalog. Se você tiver acesso a uma tabela do BigQuery, mas não ao conjunto de dados que contém essa tabela, ela ainda vai aparecer como esperado na pesquisa do Knowledge Catalog.
Por padrão, a pesquisa é limitada à sua organização. Os resultados incluem apenas recursos da mesma organização do projeto em que você está pesquisando.
Os resultados da pesquisa incluem apenas os recursos que pertencem ao mesmo perímetro do VPC Service Controls que o projeto em que a pesquisa é realizada. Ao usar o consoleGoogle Cloud , esse é o projeto selecionado no console.
Para ampliar o escopo dos resultados da pesquisa além dos recursos no perímetro do VPC Service Controls do projeto, use as regras de entrada e saída do VPC Service Controls. Essas regras facilitam a troca de dados privada e eficiente em toda a organização. É possível configurar regras de entrada e saída usando o console do Google Cloud ou arquivos JSON ou YAML. Consulte o exemplo de YAML a seguir e a documentação do VPC Service Controls para adaptar a regra aos seus requisitos específicos.
egressPolicies:
- egressFrom:
identityType: ANY_USER_ACCOUNT
egressTo:
# Specify which resources should be present in the search results. In this example,
# BigQuery.
operations:
- methodSelectors:
- method: '*'
serviceName: bigquery.googleapis.com
# Specify project ids under which the search is performed.
resources:
- projects/SEARCH_PROJECT_ID
ingressPolicies:
- ingressFrom:
identityType: ANY_USER_ACCOUNT
sources:
- accessLevel: '*'
ingressTo:
# Specify which resources should be present in the search results. In this example,
# BigQuery.
operations:
- methodSelectors:
- method: '*'
serviceName: bigquery.googleapis.com
# Specify project ids to expose in search results.
resources:
- projects/INGRESS_PROJECT_ID
Para mais informações sobre os papéis do Identity and Access Management que você precisa usar na pesquisa do Knowledge Catalog, consulte Papéis do IAM do Knowledge Catalog.
Isolar resultados da pesquisa por ambiente usando o VPC Service Controls
Para isolar os resultados da pesquisa do Knowledge Catalog entre ambientes como desenvolvimento, teste e produção, configure perímetros separados do VPC Service Controls para cada ambiente. Atribua os projetos que contêm os recursos de dados e os projetos usados para realizar pesquisas ao perímetro do ambiente correspondente. As pesquisas realizadas em um projeto dentro de um perímetro específico só retornam resultados de recursos que também estão localizados nesse mesmo perímetro.
Limitações de recall na pesquisa
As consultas de pesquisa do Knowledge Catalog não garantem o recall total, o que significa que a pesquisa pode não retornar resultados que correspondam à sua consulta. Além disso, os resultados retornados (e não retornados) podem variar se você repetir as consultas de pesquisa.
Para consultar todos os metadados do Knowledge Catalog, exporte-os para o Cloud Storage e faça consultas no BigQuery. Para mais informações, consulte Exportar metadados.
Antes de começar
Antes de fazer a pesquisa, verifique se você tem os papéis necessários e ativou a API necessária.
Funções exigidas
Para ter as permissões necessárias para pesquisar entradas e acessar resultados da pesquisa no Knowledge Catalog, peça ao administrador para conceder a você os seguintes papéis do IAM:
-
Pesquisar entradas:
- Administrador do catálogo do Dataplex (
roles/dataplex.catalogAdmin) no projeto usado para pesquisa - Editor do catálogo do Dataplex (
roles/dataplex.catalogEditor) no projeto usado para pesquisa - Leitor do Dataplex Catalog (
roles/dataplex.catalogViewer) no projeto usado para pesquisa
- Administrador do catálogo do Dataplex (
-
Pesquisar metadados de conjuntos de dados e tabelas do BigQuery:
Visualizador de metadados do BigQuery (
roles/bigquery.metadataViewer) no conjunto de dados ou na tabela -
Pesquisar entradas personalizadas:
Leitor do Dataplex Catalog (
roles/dataplex.catalogViewer) no projeto
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
As permissões nos resultados da pesquisa são verificadas independentemente do projeto selecionado.
O escopo dos resultados da pesquisa no Knowledge Catalog é definido de acordo com sua função. Para pesquisar um recurso no Knowledge Catalog, você precisa ter permissões para acessar o recurso correspondente no sistema de origem. Para mais informações, consulte a seção Escopo da pesquisa deste documento.
Por exemplo, para pesquisar conjuntos de dados, tabelas, visualizações e modelos do BigQuery, você precisa ter as permissões correspondentes para essas entradas. Para mais informações, consulte permissões do BigQuery.
A lista a seguir descreve as permissões mínimas necessárias:
- Para pesquisar uma tabela, você precisa da permissão
bigquery.tables.getpara ela. - Para pesquisar um conjunto de dados, você precisa da permissão
bigquery.datasets.getpara ele.
Por exemplo, para pesquisar instâncias, bancos de dados, esquemas, tabelas e visualizações do Cloud SQL, você precisa ter as permissões correspondentes nessas entradas. Para mais informações, consulte Papéis e permissões do Cloud SQL.
Ativar a API
Ativar a API Dataplex.
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você
criou o projeto, provavelmente já tem essa permissão com o papel de
Proprietário (roles/owner). Caso contrário, é possível receber essa permissão com o papel de
Administrador do Service Usage (roles/serviceusage.serviceUsageAdmin).
Saiba como conceder papéis.
Pesquisar recursos
Console
Para pesquisar recursos, siga estas etapas:
No console Google Cloud , acesse a página Pesquisa do Knowledge Catalog.
Se aparecer o botão Tente fazer uma pesquisa com linguagem natural, clique nele. Por padrão, a pesquisa com linguagem natural é selecionada.
No campo Encontre recursos em todos os projetos com linguagem natural, insira sua consulta e clique em Enter.
Para refinar a pesquisa, clique em Filtros. Para ver a lista de filtros disponíveis, consulte Filtros.
Para ver mais informações sobre o recurso pesquisado, clique no nome dele nos resultados da pesquisa. A página de detalhes da entrada será aberta.
CLI do Google Cloud
Para pesquisar recursos, use o
comando gcloud dataplex entries search:
gcloud dataplex entries search 'foo' \ --project=PROJECT_ID \ [--semantic-search]
Substitua PROJECT_ID pelo ID do projeto Google Cloud .
C#
C#
Antes de testar esta amostra, siga as instruções de configuração do C# no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog C#.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Go
Antes de testar esta amostra, siga as instruções de configuração do Go no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog Go.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Java
Antes de testar esta amostra, siga as instruções de configuração do Java no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog Java.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Node.js
Antes de testar esta amostra, siga as instruções de configuração do Node.js no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog Node.js.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
PHP
Antes de testar esta amostra, siga as instruções de configuração do PHP no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog PHP.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Python
Antes de testar esta amostra, siga as instruções de configuração do Python no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog Python.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Ruby
Ruby
Antes de testar esta amostra, siga as instruções de configuração do Ruby no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog Ruby.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Para pesquisar recursos, use o
método searchEntries com o parâmetro semanticSearch definido como true.
POST https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:searchEntries?query=foo&semanticSearch=true
Substitua:
- PROJECT_ID: ID do projeto Google Cloud
- LOCATION: a região em que o projeto está localizado (por exemplo,
us-central1)
Filtros
Os filtros permitem restringir os resultados da pesquisa.
Quando você fornece filtros em várias seções, eles são avaliados usando o operador lógico AND. Os resultados da pesquisa contêm recursos que correspondem a pelo menos uma condição de cada seção selecionada. Por exemplo, se você selecionar o sistema BigQuery e o tipo de recurso do conjunto de dados, os resultados da pesquisa vão incluir conjuntos de dados do BigQuery, mas não da Vertex AI.
Se você selecionar vários filtros em uma única seção, eles serão avaliados usando o operador lógico OR. Por exemplo, se você selecionar o tipo de recurso "conjunto de dados" e o tipo de recurso "tabela", os resultados da pesquisa vão incluir conjuntos de dados e tabelas.
Os seguintes filtros estão disponíveis:
- Escopo: pesquise em toda a organização (padrão), no projeto atual ou apenas nos recursos marcados com estrela. Para mais informações, consulte a seção Escopo da pesquisa deste documento.
- Sistemas: o serviço Google Cloud a que o recurso pertence, como o BigQuery. O sistema do Knowledge Catalog contém grupos de entradas.
- Projetos: os projetos em que pesquisar.
- Tipo: o tipo de recurso, como conexão do BigQuery, bucket do Cloud Storage ou banco de dados. Dependendo do tipo de recurso, também é possível filtrar por subtipo, como o tipo de conexão ou o dialeto SQL.
- Selecionar locais: os locais em que pesquisar.
- Selecionar conjuntos de dados: os resultados da pesquisa são limitados aos recursos do BigQuery que pertencem aos conjuntos de dados selecionados. No campo Digite para filtrar, insira o nome do conjunto de dados.
- Tipos de aspecto: os tipos de aspecto do Knowledge Catalog associados ao recurso que você está procurando. Para filtrar por valores de aspecto, clique em Filtrar por valores de tipo de aspecto e selecione os valores.
Ver detalhes de um recurso retornado pela pesquisa
Console
Use a pesquisa do Knowledge Catalog para conferir os detalhes de um recurso.
Pesquise um recurso no Knowledge Catalog.
Nos resultados da pesquisa, clique no recurso para ver os detalhes.
A página de detalhes da entrada é aberta. A página inclui as seguintes seções:
- Detalhes da entrada: inclui informações como tipo de entrada, sistema, plataforma, nome totalmente qualificado, hora de criação, hora da última modificação, descrição e administradores.
- Visão geral: uma visão geral da entrada, se disponível.
- Aspectos: os aspectos obrigatórios e opcionais definidos para a entrada. Para mais informações, consulte Categorias de aspectos.
gcloud
comando gcloud dataplex entries lookup:
gcloud dataplex entries lookup ENTRY_ID \ --entry-group=ENTRY_GROUP_ID \ --location=LOCATION \ --project=PROJECT_ID
Substitua:
ENTRY_ID: o ID da entradaENTRY_GROUP_ID: o ID do grupo de entradasLOCATION: a região em que o projeto existe.PROJECT_ID: o ID do projeto Google Cloud
C#
C#
Antes de testar esta amostra, siga as instruções de configuração do C# no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog C#.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Go
Go
Antes de testar esta amostra, siga as instruções de configuração do Go no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog Go.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Java
Java
Antes de testar esta amostra, siga as instruções de configuração do Java no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog Java.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Node.js
Node.js
Antes de testar esta amostra, siga as instruções de configuração do Node.js no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog Node.js.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
PHP
PHP
Antes de testar esta amostra, siga as instruções de configuração do PHP no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog PHP.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Python
Python
Antes de testar esta amostra, siga as instruções de configuração do Python no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog Python.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
Ruby
Ruby
Antes de testar esta amostra, siga as instruções de configuração do Ruby no Guia de início rápido do Knowledge Catalog: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Knowledge Catalog Ruby.
Para autenticar no Knowledge Catalog, configure o Application Default Credentials. Para mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.
REST
Para ver os detalhes de um recurso, use o método lookupEntry.
Modo de pesquisa somente por palavra-chave
O Knowledge Catalog oferece um modo de pesquisa somente por palavra-chave para compatibilidade com versões anteriores. O modo de pesquisa padrão é compatível com a correspondência semântica e de palavra-chave.
Recomendamos usar o modo de pesquisa padrão, a menos que a pesquisa somente por palavra-chave seja necessária para compatibilidade com versões anteriores.
Filtros de pesquisa somente com palavras-chave
Na pesquisa de palavras-chave, os filtros são agrupados nas seguintes seções:
- Sistemas como BigQuery, Cloud SQL e outros. O sistema do Knowledge Catalog contém entradas personalizadas.
- A lista Aspectos mostra todos os aspectos disponíveis para você. Para filtrar por valores de aspecto, clique em Filtrar por valores de aspecto e selecione os valores.
- Projeto lista todos os projetos disponíveis para você.
- Os aliases de tipo são tipos de dados associados a um tipo de entrada. Um tipo de entrada pode ter o nome
projects/test-project/locations/us/entryTypes/my-entry-type, mas você pode pesquisar usando os aliases de tipoTABLEouDATABASE. É possível definir um ou mais aliases de tipo ao criar ou atualizar um tipo de entrada. - Os conjuntos de dados são provenientes do BigQuery.
Os filtros Sistemas, Aliases de tipo, Projeto e Conjuntos de dados são mostrados dependendo da consulta atual no campo Pesquisar.
Usar a pesquisa somente por palavra-chave
Para usar a pesquisa somente por palavra-chave, faça o seguinte:
Console
- Se você estiver no modo de pesquisa em linguagem natural, clique em Voltar à pesquisa por palavras-chave.
- No campo Encontrar recursos em todos os projetos, insira sua consulta.
Para refinar sua pesquisa, use o painel Filtros.
Para conferir a lista de filtros disponíveis, consulte Filtros de pesquisa por palavra-chave.
É possível adicionar manualmente os seguintes filtros:
- Adicione um filtro de projeto: em Projeto, clique em Adicionar projeto. Procure um projeto específico, selecione-o e clique em Abrir.
- Adicione um filtro de tipo de aspecto: em Aspectos, clique no menu Adicionar mais tipos de aspecto. Procure um modelo específico, selecione-o e clique em OK.
Opcional: além dos recursos disponíveis para você, é possível pesquisar recursos disponíveis publicamente em Google Cloud selecionando Incluir conjuntos de dados públicos.
Use as dicas a seguir para criar uma consulta de pesquisa:
- Coloque sua expressão de pesquisa entre aspas se ela contiver espaços. Por exemplo,
"search terms". - Preceda uma palavra-chave com
NOTpara corresponder à negação lógica do filtrokeyword:term. Você também pode usar os operadores booleanosANDeORpara combinar expressões de pesquisa. Os operadoresAND,OReNOTnão diferenciam maiúsculas de minúsculas.
Por exemplo,
NOT column:termlista todas as colunas, exceto aquelas que correspondem ao termo especificado. Para uma lista de palavras-chave e outros termos que você pode usar em uma expressão de pesquisa do Knowledge Catalog, consulte Sintaxe de pesquisa.- Coloque sua expressão de pesquisa entre aspas se ela contiver espaços. Por exemplo,
gcloud
Para pesquisar recursos usando o modo de pesquisa somente por palavra-chave, use o
comando gcloud dataplex entries search
e omita a flag --semantic-search ou use a
flag --no-semantic-search.
REST
Para pesquisar recursos usando o modo de pesquisa somente por palavra-chave, use o método searchEntries com o parâmetro de consulta semanticSearch definido como false.
Limitações
A Pesquisa tem as seguintes limitações:
- Os recursos públicos estão fora do escopo da pesquisa com linguagem natural.
- Os aspectos anexados aos links de entrada estão fora do escopo da pesquisa em linguagem natural.
A seguir
- Entenda a sintaxe de pesquisa do Knowledge Catalog.
- Saiba mais sobre o gerenciamento de metadados no Knowledge Catalog.
- Saiba como enriquecer entradas e links de entrada com metadados usando aspectos.
- Saiba como gerenciar entradas e ingerir fontes personalizadas.
- Confira os casos de uso do Knowledge Catalog.
- Use o agente de descoberta do Knowledge Catalog para responder a consultas complexas em linguagem natural.