Sintaxe de pesquisa do Dataplex Universal Catalog

Este documento descreve a sintaxe da pesquisa por palavras-chave do Dataplex Universal Catalog e das pesquisas de IA em linguagem natural.

Com o Dataplex Universal Catalog, é possível descobrir, catalogar, gerenciar e entender de forma centralizada os dados da sua organização. Para encontrar recursos de dados específicos no catálogo de dados com eficiência, use consultas de pesquisa avançadas. A sintaxe das consultas de pesquisa inclui:

• Pesquisa simples: como encontrar recursos de dados usando um único termo de pesquisa.
• Predicados qualificados: como refinar sua pesquisa usando campos de metadados específicos, como nome, local ou descrição.
• Pesquisa de aspectos: como pesquisar entradas com base nos metadados comerciais e técnicos anexados.
• Operadores lógicos: como combinar vários critérios de pesquisa usando AND e OR para criar consultas complexas. Ao entender essa sintaxe, você pode localizar rapidamente os dados necessários.

Antes de começar

Entenda as entradas, os aspectos, os tipos de aspecto, os grupos e os tipos de entrada do Dataplex Universal Catalog. Consulte Sobre o gerenciamento de metadados no Dataplex Universal Catalog.

O Dataplex Universal Catalog oferece dois modos de pesquisa: por palavras-chave e com linguagem natural.

• Com a pesquisa por palavra-chave, você encontra recursos usando palavras-chave, filtros e uma sintaxe definida.
• A pesquisa em linguagem natural usa a IA para entender consultas de pesquisa semântica. Ele permite encontrar recursos usando linguagem cotidiana, eliminando a necessidade de sintaxe complexa.

Este documento aborda a sintaxe da pesquisa por palavra-chave e com linguagem natural.

Para iniciar uma consulta de pesquisa do Dataplex Universal Catalog no console doGoogle Cloud , acesse a página Pesquisa do Dataplex Universal Catalog e selecione Dataplex Universal Catalog como a plataforma de pesquisa.

Acesse Pesquisar

Para mais informações, consulte Pesquisar recursos no Dataplex Universal Catalog.

Pesquisa de texto livre

Para encontrar recursos, insira um termo ou uma frase sem sintaxe específica. O Dataplex Universal Catalog realiza uma pesquisa ampla comparando sua consulta com vários campos de metadados, incluindo:

• Nome, nome de exibição ou descrição de um recurso
• Tipo de um recurso
• ID do projeto
• Descrição da visão geral
• Nome da coluna (ou nome da coluna aninhada) no esquema de um recurso.
• Descrição da coluna
• Nome totalmente qualificado
• Contatos
• Aspectos

Pesquisar com a sintaxe de consulta

Para pesquisas mais precisas, crie uma consulta usando uma sintaxe específica, incluindo qualificadores, operadores lógicos e pesquisas de aspectos.

Predicados qualificados

Você pode qualificar um predicado usando um prefixo com uma chave que restringe a correspondência a uma parte específica dos metadados:

• Um sinal de igual (=) restringe a pesquisa a uma correspondência exata.
• Dois pontos (:) após a chave corresponde ao predicado em um substring ou token dentro do valor nos resultados da pesquisa.

A tokenização divide o fluxo de texto em uma série de tokens, cada um geralmente correspondente a uma palavra.

Exemplo:

• name:foo seleciona recursos com nomes que contêm a substring foo, como foo1 e barfoo.
• description:foo seleciona recursos com o token foo na descrição, como bar e foo.
• location=foo corresponde a recursos em um local especificado com foo como nome do local.

O comportamento desses qualificadores pode variar um pouco entre os modos de pesquisa, conforme detalhado nas seções a seguir.

Pesquisa por palavra-chave

As chaves de predicado type, system, location e orgid aceitam apenas o qualificador de correspondência exata (=), não o qualificador de substring (:). Por exemplo, type=foo ou orgid=number.

O Dataplex Universal Catalog é compatível com os seguintes qualificadores para pesquisa por palavra-chave:

Qualificador	Descrição
name:x	Corresponde a x como uma substring do ID do recurso.
displayname:x	Corresponda x como substring do nome de exibição do recurso.
column:x	Corresponde x como uma substring do nome da coluna (ou nome da coluna aninhada) no esquema do recurso.
description:x	Corresponde x como um token na descrição do recurso.
label:bar	Corresponde a recursos do BigQuery que têm um rótulo (com algum valor) e a chave de rótulo tem bar como substring.
label=bar	Corresponde a recursos do BigQuery que têm um rótulo (com algum valor) e a chave do rótulo é igual a bar como uma string.
label:bar:x	Corresponde a x como uma substring no valor de um rótulo com a chave bar anexada a um recurso do BigQuery.
label=foo:bar	Corresponde a recursos do BigQuery em que a chave é igual a foo e o valor da chave é igual a bar.
label.foo=bar	Corresponde a recursos do BigQuery em que a chave é igual a foo e o valor da chave é igual a bar.
label.foo	Corresponde a recursos do BigQuery que têm um rótulo cuja chave é igual a foo como uma string.
type=TYPE	Corresponde a recursos de um tipo de entrada específico ou ao alias dele.
projectid:bar	Corresponde a recursos em projetos Google Cloud que correspondem abarcomo uma substring no ID.
parent:x	Corresponde a x como uma substring do caminho hierárquico de um recurso. O caminho principal é um fully_qualified_name do recurso principal.
orgid=number	Corresponde os recursos em uma organização Google Cloud ao valor exato do ID de number.
system=SYSTEM	Corresponde a recursos de um sistema especificado.
location=LOCATION	Corresponde recursos em um local especificado com um nome exato. Por exemplo, location=us-central1 corresponde a recursos hospedados em Iowa. Os recursos do BigQuery Omni oferecem suporte a esse qualificador usando o nome do local do BigQuery Omni. Por exemplo, location=aws-us-east-1 corresponde a recursos do BigQuery Omni no norte da Virgínia.
createtime	Encontra recursos criados em, antes ou depois de uma determinada data ou hora. Exemplo: createtime:2019-01-01 corresponde a recursos criados em 01/01/2019. createtime<2019-02 corresponde a recursos criados antes de 2019-02-01T00:00:00. createtime>2019-02 corresponde a recursos criados após 2019-02-01T00:00:00. Formato do carimbo de data/hora: YYYY-MM-DDThh:mm:ss Todas as marcações de tempo precisam estar em GMT. Fusos horários não são aceitos. Timestamps parciais e separadores de data com hífen (-) e barra (/) são aceitos. Exemplo: 2010-10-22T05:36:24 2010-10-22T05:36 2010-10-22T05 2010-10-22 2010-10 2010 2010/10/22
updatetime	Encontra recursos que foram atualizados em, antes ou depois de uma determinada data ou hora. Exemplo: updatetime:2019-01-01 corresponde aos recursos atualizados em 2019-01-01. updatetime<2019-02 corresponde a recursos atualizados antes de 2019-02-01T00:00:00. updatetime>2019-02 corresponde a recursos atualizados após 2019-02-01T00:00:00. Formato do carimbo de data/hora: YYYY-MM-DDThh:mm:ss Todas as marcações de tempo precisam estar em GMT. Fusos horários não são aceitos. Timestamps parciais e separadores de data com hífen (-) e barra (/) são aceitos. Exemplo: 2010-10-22T05:36:24 2010-10-22T05:36 2010-10-22T05 2010-10-22 2010-10 2010 2010/10/22
fully_qualified_name:x	Corresponde a x como uma substring de fully_qualified_name.
fully_qualified_name=x	Corresponde a x como fully_qualified_name.

Pesquisa com linguagem natural

As chaves de predicado type, system, location e description, e a pesquisa de aspectos (exceto has) oferecem suporte apenas ao qualificador de correspondência exata (=), não ao qualificador de substring (:). Por exemplo, type=foo.

O Dataplex Universal Catalog é compatível com os seguintes qualificadores para pesquisa em linguagem natural:

Qualificador	Descrição
name:x	Corresponde a x como uma substring do ID ou do nome de exibição do recurso.
displayname:x	Corresponda x como substring do nome de exibição do recurso.
column:x	Corresponde x como uma substring do nome da coluna (ou nome da coluna aninhada) no esquema do recurso.
description:x	Corresponde x como um token na descrição do recurso.
labels:bar	Corresponde a recursos do BigQuery que têm um rótulo (com algum valor) e a chave de rótulo tem bar como substring.
labels=bar	Corresponde a recursos do BigQuery que têm um rótulo (com algum valor) e a chave do rótulo é igual a bar como uma string.
labels.bar:x	Corresponde a x como uma substring no valor de um rótulo com a chave bar anexada a um recurso do BigQuery.
labels.foo=bar	Corresponde a recursos do BigQuery em que a chave é igual a foo e o valor da chave é igual a bar.
type=TYPE	Corresponde a recursos de um tipo de entrada específico ou ao alias dele.
projectid:bar	Corresponde a recursos em projetos Google Cloud que correspondem abarcomo uma substring no ID.
parent:x	Corresponde a x como uma substring do caminho hierárquico de um recurso.
system=SYSTEM	Corresponde a recursos de um sistema especificado.
location=LOCATION	Corresponde recursos em um local especificado com um nome exato. Por exemplo, location=us-central1 corresponde a recursos hospedados em Iowa. Os recursos do BigQuery Omni oferecem suporte a esse qualificador usando o nome do local do BigQuery Omni. Por exemplo, location=aws-us-east-1 corresponde a recursos do BigQuery Omni no norte da Virgínia.
createtime	Encontra recursos criados em, antes ou depois de uma determinada data ou hora. Exemplo: createtime:2019-01-01 corresponde a todos os recursos criados em 2019-01-01. createtime<2019-02 corresponde a todos os recursos criados antes de 2019-02-01T00:00:00. createtime>2019-02 corresponde a todos os recursos criados após 2019-02-01T00:00:00. createtime>-30d corresponde a todos os recursos criados nos últimos 30 dias. createtime<=-30d corresponde a todos os recursos criados há 30 dias ou antes. createtime<=-1d corresponde a todos os recursos criados no dia anterior. Formato do carimbo de data/hora: YYYY-MM-DDThh:mm:ss Todas as marcações de tempo precisam estar em GMT. Fusos horários não são aceitos. Timestamps parciais e separadores de data com hífen (-) e barra (/) são aceitos. Exemplo: 2010-10-22T05:36:24 2010-10-22T05:36 2010-10-22T05 2010-10-22 2010-10 2010 2010/10/22
updatetime	Encontra recursos que foram atualizados em, antes ou depois de uma determinada data ou hora. Exemplo: updatetime:2019-01-01 corresponde a todos os recursos atualizados em 01/01/2019. updatetime<2019-02 corresponde a todos os recursos atualizados antes de 2019-02-01T00:00:00. updatetime>2019-02 corresponde a todos os recursos atualizados após 2019-02-01T00:00:00. updatetime>-30d corresponde a todos os recursos atualizados nos últimos 30 dias. updatetime<-30d corresponde a todos os recursos atualizados há 30 dias ou mais. updatetime=-1d corresponde a todos os recursos atualizados no dia anterior. updatetime>=-30d corresponde a todos os recursos atualizados nos últimos 30 dias. updatetime<=-30d corresponde a todos os recursos atualizados há 30 dias ou mais. Formato do carimbo de data/hora: YYYY-MM-DDThh:mm:ss Todas as marcações de tempo precisam estar em GMT. Fusos horários não são aceitos. Timestamps parciais e separadores de data com hífen (-) e barra (/) são aceitos. Exemplo: 2010-10-22T05:36:24 2010-10-22T05:36 2010-10-22T05 2010-10-22 2010-10 2010 2010/10/22

Pesquisa de aspectos

Para pesquisar entradas com base nos aspectos anexados, use a seguinte sintaxe de consulta.

Observação: a correspondência de substring tenta corresponder a um número limitado de aspectos. Se não for possível encontrar a entrada usando um fragmento do caminho, use o caminho completo para restringir a pesquisa e aumentar a recuperação.

Pesquisa por palavra-chave

Qualificador	Descrição
aspect:x	Corresponde a x como uma substring do caminho completo para o tipo de aspecto de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.
aspect=x	Corresponde a x como o caminho completo para o tipo de aspecto de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.
aspect:xOPERATORvalue	Pesquisa valores de campo de aspecto. Corresponde x como uma substring do caminho completo para o tipo de aspecto e o nome do campo de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.FIELD_NAME. A lista de operadores compatíveis depende do tipo de campo no aspecto, da seguinte forma: String: = (correspondência exata) e : (substring) Todos os tipos de números: =, :, <, >, <=, >=, =>, =< Enum: = Data e hora: igual aos números, mas os valores a serem comparados são tratados como datas e horas em vez de números. Booleano: = Somente campos de nível superior do aspecto podem ser pesquisados. Por exemplo, todas as consultas a seguir correspondem a entradas em que o valor do campo is-enrolled no aspecto employee-info é true. Outras entradas que correspondem à substring também são retornadas. aspect:example-project.us-central1.employee-info.is-enrolled=true aspect:example-project.us-central1.employee=true aspect:employee=true

Pesquisa com linguagem natural

Qualificador	Descrição
has:x	Corresponde a x como uma substring do caminho completo para o tipo de aspecto de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.
has=x	Corresponde a x como o caminho completo para o tipo de aspecto de um aspecto anexado à entrada, no formato projectid.location.ASPECT_TYPE_ID.
xOPERATORvalue	Pesquisa valores de campo de aspecto. Corresponde a x como uma substring do caminho completo para o tipo de aspecto e o nome do campo de um aspecto anexado à entrada, nos seguintes formatos: Sintaxe para tipos de aspecto do sistema: ASPECT_TYPE_ID.FIELD_NAME dataplex-types.ASPECT_TYPE_ID.FIELD_NAME dataplex-types.LOCATION.ASPECT_TYPE_ID.FIELD_NAME Por exemplo, as consultas a seguir correspondem a entradas em que o valor do campo type no aspecto bigquery-dataset é default: bigquery-dataset.type=default dataplex-types.bigquery-dataset.type=default dataplex-types.global.bigquery-dataset.type=default Sintaxe para tipos de aspecto personalizado: Se o aspecto for criado na região global: PROJECT_ID.ASPECT_TYPE_ID.FIELD_NAME Se o aspecto for criado em uma região específica: PROJECT_ID.REGION.ASPECT_TYPE_ID.FIELD_NAME Por exemplo, as consultas a seguir correspondem a entradas em que o valor do campo is-enrolled no aspecto employee-info é true. example-project.us-central1.employee-info.is-enrolled=true example-project.employee-info.is-enrolled=true A lista de operadores compatíveis depende do tipo de campo no aspecto, da seguinte forma: String: = (correspondência exata) Todos os tipos de números: =, :, <, >, <=, >=, =>, =< Enum: = Data e hora: igual aos números, mas os valores a serem comparados são tratados como datas e horas em vez de números. Booleano: = Somente campos de nível superior do aspecto podem ser pesquisados.

Operadores lógicos

Uma consulta pode ser composta por vários predicados com operadores lógicos. Se você não especificar um operador, o AND lógico ficará implícito. Por exemplo, foo bar retorna recursos que correspondem aos predicados foo e bar.

Os operadores lógicos AND e OR são compatíveis. Por exemplo, foo OR bar.

É possível negar um predicado com um prefixo - (hífen) ou NOT. Por exemplo, -name:foo retorna recursos com nomes que não correspondem ao predicado foo.

Observação: na pesquisa de palavras-chave, os operadores lógicos não diferenciam maiúsculas de minúsculas. Na pesquisa em linguagem natural, os operadores lógicos diferenciam maiúsculas de minúsculas e precisam estar em letras maiúsculas.

Sintaxe abreviada

Uma sintaxe de pesquisa abreviada também está disponível, usando | (barra vertical) para operadores OR e , (vírgula) para operadores AND.

Por exemplo, para procurar entradas dentro de um dos vários projetos usando o operador OR, use a seguinte sintaxe abreviada:

projectid:(id1|id2|id3|id4)

A mesma pesquisa sem usar a sintaxe abreviada seria assim:

projectid:id1 OR projectid:id2 OR projectid:id3 OR projectid:id4

Para pesquisar entradas com nomes de coluna correspondentes, use o seguinte:

• AND: column:(name1,name2,name3)
• OR: column:(name1|name2|name3)

Essa sintaxe abreviada funciona para os predicados qualificados, exceto label na pesquisa de palavras-chave.

A seguir

• Saiba como pesquisar recursos no Dataplex Universal Catalog
• Saiba mais sobre o gerenciamento de metadados no Dataplex Universal Catalog.
• Saiba como enriquecer entradas com metadados usando aspectos.
• Saiba como gerenciar entradas e ingerir fontes personalizadas.