Ver insights do Knowledge Catalog

Ver insights do Knowledge Catalog

Você pode pesquisar e gerenciar seus recursos do Firestore usando o Knowledge Catalog, uma plataforma para armazenar, gerenciar e acessar seus metadados. É possível usar o Knowledge Catalog para analisar os metadados do Firestore e ajudar em tarefas como:

• Análise, incluindo dependências e adequação a um caso de uso
• Gestão da mudança
• Evolução do esquema

O Knowledge Catalog é ativado por padrão em bancos de dados do Firestore novos e atuais e recupera automaticamente os seguintes metadados:

Recurso	Tipo	Campos
Banco de dados	Plano de controle	Edição Modos Local (incluindo multirregiões) ID do projeto Nome do banco de dados Horário de criação
Database schema	Plano de dados	Nome Coleção Campo: tipos de dados Esquema

Antes de começar

Para usar os insights do Knowledge Catalog com o Firestore, primeiro você precisa ter um banco de dados do Firestore. Para mais informações, consulte Criar e gerenciar bancos de dados.

Papéis necessários para acessar os resultados da pesquisa

Para pesquisar e visualizar metadados do Firestore no Knowledge Catalog, os principais precisam ter permissões para acessar recursos do Firestore, incluindo a permissão dataplex.projects.search.

Para conceder essas permissões a principais (como usuários, grupos ou contas de serviço), atribua a eles o papel do IAM de Leitor do Cloud Datastore (roles/datastore.viewer) no projeto que contém os recursos do Firestore.

Operação do Knowledge Catalog	Recurso do Firestore	Funções ou permissões necessárias
Pesquisar recursos do Firestore	Banco de dados	datastore.databases.getMetadata
	Database schema	datastore.schemas.get

Para mais informações sobre como conceder papéis, consulte Gerenciar o acesso. Para mais informações sobre os papéis do IAM do Firestore, consulte Papéis e permissões do Firestore.

Papéis necessários para pesquisar entradas

Para pesquisar entradas, você precisa de pelo menos um dos seguintes papéis do IAM no projeto usado para pesquisa:

• Administrador do catálogo do Dataplex (roles/dataplex.catalogAdmin)
• Editor de catálogo do Dataplex (roles/dataplex.catalogEditor)
• Leitor do catálogo do Dataplex (roles/dataplex.catalogViewer)

As permissões nos resultados da pesquisa são verificadas independentemente do projeto selecionado. Para mais informações, consulte Pesquisar recursos de dados com o Knowledge Catalog.

Tipos de descoberta de metadados

A descoberta de metadados do Knowledge Catalog é um processo automatizado que verifica fontes de dados conectadas, como o Firestore, para identificar recursos de dados (como coleções e bancos de dados) e extrair metadados técnicos, como esquemas, descrições e locais, para o catálogo do Knowledge Catalog. Esse processo é executado periodicamente para manter o catálogo sincronizado com os sistemas de origem.

Importante: os IDs de Database e grupo de coleções precisam seguir a seguinte convenção de nomenclatura para aparecer no Knowledge Catalog: conter apenas letras, números ou caracteres em ""'-._~%%!$&'()*+,;=@/' e não estar no formato UUID ou vazio. Os IDs não podem começar com uma barra (/) nem conter duas barras seguidas (//).

Pesquisa por palavra-chave e com linguagem natural

O Knowledge Catalog aceita pesquisas por palavras-chave e linguagem natural.

• Com a pesquisa por palavra-chave, é possível encontrar recursos usando palavras-chave e filtros específicos, além de uma sintaxe definida. Por exemplo, você pode inserir system=Firestore AND type=Database para ver todos os bancos de dados do Firestore.
• A pesquisa em linguagem natural (prévia) usa a IA para entender consultas semânticas. Ele permite encontrar recursos usando linguagem cotidiana, eliminando a necessidade de sintaxe complexa. Por exemplo, você pode inserir consultas como List all Firestore databases related to sales.

Para mais informações, consulte Sintaxe de pesquisa do Knowledge Catalog.

Exemplo: descobrir um esquema de grupo de coleções do Firestore

Para entender o processo de descoberta de metadados, considere um banco de dados do Firestore chamado user-firestore-database. Nesse banco de dados, você tem um esquema de grupo de coleta chamado user-schema.

Depois que a descoberta for concluída, você poderá pesquisar esses recursos (user-firestore-database e user-schema) na página do Knowledge Catalog do consoleGoogle Cloud ou usando a API Knowledge Catalog. Em seguida, é possível conferir detalhes sobre os recursos e enriquecê-los com metadados operacionais ou de negócios adicionais.

Enriquecer metadados usando aspectos

Os tipos de aspecto são recursos reutilizáveis que podem ser usados como modelos para aspectos. Os tipos de aspecto ajudam a evitar a duplicação de trabalho e aspectos incompletos. É possível usar o Knowledge Catalog para criar os tipos de aspecto que você precisa.

Depois de criar tipos personalizados de aspecto, é possível anexar aspectos aos seus recursos do Firestore. Ao anexar aspectos aos seus recursos você pode fazer o seguinte:

• Adicionar metadados comerciais aos recursos
• Pesquise recursos por metadados da empresa e outros metadados personalizados

Para saber mais sobre como criar tipos de aspecto e anexar aspectos ao Firestore, consulte Gerenciar aspectos e aprimorar metadados.

Pesquisar recursos do Firestore

Use a página de pesquisa do Knowledge Catalog no console Google Cloud para pesquisar recursos do Firestore.

1. Acesse a página Pesquisa do Knowledge Catalog.

   Acesse Pesquisar

2. No painel Filtros, clique em Sistemas e selecione Firestore.

3. Opcional. Em Aliases de tipo, é possível filtrar os resultados da pesquisa para um tipo específico de recurso do Firestore selecionando um ou mais dos seguintes aliases de tipo:

   • Banco de dados
   • Database schema
   • Outro

Usar consultas para fazer pesquisas por palavra-chave

Use o campo de pesquisa no Knowledge Catalog para realizar consultas de pesquisa por palavra-chave. Por exemplo, insira system=Firestore AND type=Database para ver todos os bancos de dados do Firestore.

Para mais informações, consulte Sintaxe de pesquisa do Knowledge Catalog.

Para ver todos os recursos do Firestore, insira system=Firestore. Você pode inserir palavras-chave específicas. Por exemplo, para ver todos os bancos de dados do Firestore:

system=Firestore AND type=Database

Também é possível usar parênteses e os operadores lógicos AND e OR para expressões complexas. Para saber mais sobre as expressões que você pode usar no campo de pesquisa, consulte Sintaxe de pesquisa para o Knowledge Catalog.

É possível inserir diretamente consultas de pesquisa para recursos específicos do Firestore no campo de pesquisa. O formato da string de consulta é o seguinte:

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

Substitua:

• QUERY_STRING: use a lista a seguir para identificar uma string de consulta com base no tipo de recurso do Firestore que você quer consultar:

  • firestore-database
  • firestore-schema

Um exemplo de consulta pode ser semelhante ao seguinte:

type="projects/1234567890/locations/global/entryTypes/firestore-schema"

Pesquisar por tipo de aspecto

O Knowledge Catalog inclui alguns tipos de aspectos integrados que você pode usar para realizar pesquisas.

Para pesquisar por tipo de aspecto, siga estas etapas:

1. No painel Aspectos, clique no menu Adicionar mais tipos de aspecto.
2. Insira Firestore e selecione um ou mais dos seguintes tipos de aspecto para limitar os resultados da pesquisa a esse tipo.
   • Banco de dados do Firestore
   • Esquema do Firestore
3. Clique em OK.
4. Na tabela de resultados, clique no nome do recurso para visualizar os metadados dele.
5. Opcional: aprimore ou visualize seus recursos. Você pode fazer o seguinte:
   • Para adicionar uma descrição em rich text do recurso, em Visão geral, clique em Adicionar .
   • Para anexar um aspecto ao recurso, em Aspectos, clique em Adicionar .
   • Para ver os bancos de dados de membros de uma instância, clique na guia Lista de entradas e depois em Mostrar todas as entradas filhas na pesquisa.
   • Em Detalhes da entrada, confira todos os detalhes do recurso. Clique no nome da entrada para detalhar até entradas adicionais.

Pesquisa com linguagem natural no Firestore

A pesquisa em linguagem natural (prévia) usa a IA para entender consultas semânticas. Ele permite encontrar recursos usando linguagem cotidiana, eliminando a necessidade de sintaxe complexa. Por exemplo, você pode inserir consultas como List all Firestore collections related to sales.

Para mais informações, consulte Sintaxe de pesquisa do Knowledge Catalog.

Pesquisa de sintaxe no Firestore

Com a pesquisa por palavra-chave, é possível encontrar recursos usando palavras-chave e filtros específicos, além de uma sintaxe definida. Por exemplo, você pode inserir system=Firestore AND type=Database para ver todos os bancos de dados do Firestore.

Para mais informações, consulte Sintaxe de pesquisa do Knowledge Catalog.

Exemplo de fluxo de trabalho: detalhamento do banco de dados para o esquema

Para fazer o detalhamento de um banco de dados até um esquema, siga estas etapas:

1. Acesse a página Pesquisa do Knowledge Catalog.

   Acesse Pesquisar

2. No painel Filtros, selecione Sistemas e, em seguida, Firestore. Se preferir, digite system=Firestore no campo de pesquisa.

3. Selecione um banco de dados.

4. Na página Detalhes do Firestore, clique na guia Lista de entradas e depois em Mostrar todas as entradas filhas na pesquisa.

   Observação: se não houver uma guia Lista de entrada, volte à página Pesquisa e escolha um banco de dados diferente.

5. Na página Detalhes do banco de dados do Firestore, clique na guia Lista de entradas e depois em Mostrar todas as entradas filhas na pesquisa. O Knowledge Catalog mostra os grupos de coleta no banco de dados.

6. Selecione um nome de grupo de coleta e, na página Detalhes do grupo de coleta, clique em Esquema para conferir o esquema.

7. Opcional: para adicionar um tipo de aspecto a um banco de dados, clique no botão Adicionar aspecto.

Preços

Não há custos para armazenar metadados técnicos do Firestore no Knowledge Catalog. Os preços padrão do Knowledge Catalog se aplicam a chamadas de API e ao aprimoramento de outros metadados comerciais. Para mais informações, consulte a página de preços do Knowledge Catalog.

Limitações

• Os resultados da consulta são truncados depois que 10.000 grupos de coleta são ingeridos.
• Durante a ingestão em lote, pode levar até 48 horas para que as atualizações no seu banco de dados sejam refletidas no Knowledge Catalog.
• Durante a ingestão em tempo real, pode levar até 5 minutos para que as atualizações no banco de dados sejam refletidas no Knowledge Catalog.
• Os grupos de coleta não são atualizados durante a ingestão em tempo real.
• Os esquemas de grupo de coleta são atualizados durante o processamento em tempo real, mas essa atualização abrange apenas os primeiros 100 campos primitivos de nível superior em ordem alfabética. As demais informações do esquema são atualizadas de 24 a 48 horas após a ingestão em tempo real.
• O processo de extração pode levar vários minutos.

A seguir

• Sobre o gerenciamento do catálogo de dados no Knowledge Catalog
• Papéis do Identity and Access Management do Knowledge Catalog