Conferir insights do Knowledge Catalog

Conferir insights do Knowledge Catalog

É possível pesquisar e gerenciar seus recursos do Firestore usando o Knowledge Catalog, que é uma plataforma para armazenar, gerenciar e acessar seus metadados. Você pode usar o Knowledge Catalog para analisar os metadados do Firestore e ajudar em tarefas como:

• Análise, incluindo dependências e adequação a um caso de uso
• Gestão da mudança
• Evolução do esquema

O Knowledge Catalog é ativado por padrão em bancos de dados do Firestore novos e atuais e recupera automaticamente os seguintes metadados:

Recurso	Tipo	Campos
Banco de dados	Plano de controle	Edição Modo(s) Localização (incluindo multirregiões) ID do projeto Nome do banco de dados Horário de criação
Database schema	Plano de dados	Nome Coleção Campo: tipo(s) de dados Esquema

Antes de começar

Para usar os insights do Knowledge Catalog com o Firestore, primeiro é necessário ter um banco de dados do Firestore. Para mais informações, consulte Criar e gerenciar bancos de dados.

Papéis necessários para acessar os resultados da pesquisa

Para pesquisar e visualizar metadados do Firestore no Knowledge Catalog, os principais precisam ter permissões para visualizar recursos do Firestore, incluindo a permissão dataplex.projects.search.

Para conceder essas permissões a principais, como usuários, grupos ou contas de serviço, atribua a eles o papel do IAM de Leitor do Cloud Datastore (roles/datastore.viewer) no projeto que contém os recursos do Firestore.

Operação do Knowledge Catalog	Recurso do Firestore	Papéis ou permissões necessários
Pesquisar recursos do Firestore	Banco de dados	datastore.databases.getMetadata
	Database schema	datastore.schemas.get

Para mais informações sobre como conceder papéis, consulte Gerenciar o acesso. Para mais informações sobre os papéis do IAM do Firestore, consulte Papéis e permissões do Firestore.

Papéis necessários para pesquisar entradas

Para pesquisar entradas, você precisa de pelo menos um dos seguintes papéis do IAM no projeto usado para pesquisa:

• Administrador de catálogo do Dataplex (roles/dataplex.catalogAdmin)
• Editor de catálogo do Dataplex (roles/dataplex.catalogEditor)
• Leitor do Dataplex Catalog (roles/dataplex.catalogViewer)

As permissões nos resultados da pesquisa são verificadas de forma independente do projeto selecionado. Para mais informações, consulte Pesquisar recursos de dados com o Knowledge Catalog.

Tipos de descoberta de metadados

A descoberta de metadados do Knowledge Catalog é um processo automatizado que verifica fontes de dados conectadas, como o Firestore, para identificar recursos de dados (como coleções e bancos de dados) e extrair os metadados técnicos deles, como esquemas, descrições e locais, para o catálogo do Knowledge Catalog. Esse processo é executado periodicamente para manter o catálogo sincronizado com os sistemas de origem.

Importante: os IDs de banco de dados e de grupo de coleções precisam seguir a convenção de nomenclatura a seguir para aparecer no Knowledge Catalog: precisam conter apenas letras, números ou caracteres em ""'-._~%%!$&'()*+,;=@/', e não podem estar no formato UUID ou vazios. Os IDs não podem começar com uma barra (/) ou conter duas barras seguidas (//).

Pesquisa por palavra-chave e linguagem natural

O Knowledge Catalog oferece suporte a pesquisas por palavra-chave e linguagem natural.

• A pesquisa por palavra-chave permite encontrar recursos usando palavras-chave, filtros e uma sintaxe definidos. Por exemplo, você pode inserir system=Firestore AND type=Database para visualizar todos os bancos de dados do Firestore.
• A pesquisa com linguagem natural (visualização) usa a IA para entender consultas semânticas. Ela permite encontrar recursos usando linguagem cotidiana, eliminando a necessidade de sintaxe complexa. Por exemplo, você pode inserir consultas como List all Firestore databases related to sales.

Para mais informações, consulte Sintaxe de pesquisa do Knowledge Catalog.

Exemplo: descobrir um esquema de grupo de coleções do Firestore

Para entender o processo de descoberta de metadados, considere um banco de dados do Firestore chamado user-firestore-database. Nesse banco de dados, você tem um esquema de grupo de coleções chamado user-schema.

Depois que a descoberta for concluída, você poderá pesquisar esses recursos (user-firestore-database e user-schema) na página do Google Cloud console do Knowledge Catalog ou usando a API Knowledge Catalog. Em seguida, você pode conferir detalhes sobre os recursos e enriquecê-los com outros metadados comerciais ou operacionais.

Enriquecer metadados usando aspectos

Os tipos de aspecto são recursos reutilizáveis que podem ser usados como modelos. Os tipos de aspecto ajudam a evitar a duplicação de trabalho e aspectos incompletos. É possível usar o Knowledge Catalog para criar os tipos de aspecto que você precisa.

Depois de criar tipos personalizados de aspecto, é possível anexar aspectos aos seus recursos do Firestore. Ao anexar aspectos aos seus recursos, você pode fazer o seguinte:

• Adicionar metadados comerciais aos recursos
• Pesquise recursos por metadados da empresa e outros metadados personalizados

Para saber mais sobre como criar tipos de aspecto e anexar aspectos ao Firestore, consulte Gerenciar aspectos e enriquecer metadados.

Pesquisar recursos do Firestore

Use a página de pesquisa do Knowledge Catalog no Google Cloud console para pesquisar recursos do Firestore.

1. Acesse a página Pesquisa do Knowledge Catalog.

   Acesse Pesquisar

2. No painel Filtros , clique em Sistemas e selecione Firestore.

3. Opcional. Em Pseudônimos de tipo, é possível filtrar os resultados da pesquisa para um tipo específico de recurso do Firestore selecionando um ou mais dos seguintes pseudônimos de tipo:

   • Banco de dados
   • Database schema
   • Outro

Usar consultas para realizar pesquisas por palavra-chave

É possível usar o campo de pesquisa no Knowledge Catalog para realizar consultas de pesquisa por palavra-chave. Por exemplo, você pode inserir system=Firestore AND type=Database para visualizar todos os bancos de dados do Firestore.

Para mais informações, consulte Sintaxe de pesquisa do Knowledge Catalog.

Para visualizar todos os recursos do Firestore, insira system=Firestore. É possível inserir palavras-chave específicas. Por exemplo, para visualizar todos os bancos de dados do Firestore:

system=Firestore AND type=Database

Também é possível usar parênteses e os operadores lógicos AND e OR para expressões complexas. Para saber mais sobre as expressões que você pode usar em o campo de pesquisa, consulte Sintaxe de pesquisa do Knowledge Catalog.

É possível inserir diretamente consultas de pesquisa para recursos específicos do Firestore no campo de pesquisa. O formato da string de consulta é o seguinte:

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

Substitua:

• QUERY_STRING: use a lista a seguir para identificar uma string de consulta com base no tipo de recurso do Firestore que você quer consultar:

  • firestore-database
  • firestore-schema

Um exemplo de consulta pode ser semelhante ao seguinte:

type="projects/1234567890/locations/global/entryTypes/firestore-schema"

Pesquisar por tipo de aspecto

O Knowledge Catalog inclui alguns tipos de aspectos integrados que você pode usar para realizar pesquisas.

Para pesquisar por tipo de aspecto, siga estas etapas:

1. No painel Aspectos, clique no menu Adicionar mais tipos de aspecto.
2. Insira Firestore e selecione um ou mais dos seguintes tipos de aspecto para limitar os resultados da pesquisa a esse tipo.
   • Banco de dados do Firestore
   • Esquema do Firestore
3. Clique em OK.
4. Na tabela de resultados, clique no nome de um recurso para visualizar os metadados dele.
5. Opcional: aprimore ou visualize seus recursos. Em seguida, realize uma destas ações:
   • Para adicionar uma descrição em rich text do recurso, em Visão geral, clique em Adicionar .
   • Para anexar um aspecto ao recurso, em Aspectos, clique em Adicionar .
   • Para visualizar os bancos de dados dos membros de uma instância, clique na guia Lista de entradas e depois em Mostrar todas as entradas filhas na pesquisa.
   • Em Detalhes da entrada, confira todos os detalhes do recurso. Clique no nome da entrada para detalhar até entradas adicionais.

Pesquisa com linguagem natural no Firestore

A pesquisa com linguagem natural (visualização) usa a IA para entender consultas semânticas. Ela permite encontrar recursos usando linguagem cotidiana, eliminando a necessidade de sintaxe complexa. Por exemplo, você pode inserir consultas como List all Firestore collections related to sales.

Para mais informações, consulte Sintaxe de pesquisa do Knowledge Catalog.

Pesquisa de sintaxe no Firestore

A pesquisa por palavra-chave permite encontrar recursos usando palavras-chave, filtros e uma sintaxe definidos. Por exemplo, você pode inserir system=Firestore AND type=Database para visualizar todos os bancos de dados do Firestore.

Para mais informações, consulte Sintaxe de pesquisa do Knowledge Catalog.

Exemplo de fluxo de trabalho: detalhamento do banco de dados para o esquema

Para detalhar um banco de dados em um esquema, siga estas etapas:

1. Acesse a página Pesquisa do Knowledge Catalog.

   Acesse Pesquisar

2. No painel Filtros, selecione Sistemas e, em seguida, Firestore. Se preferir, digite system=Firestore no campo de pesquisa.

3. Selecione um banco de dados.

4. Na página Detalhes do Firestore , clique na guia Lista de entradas e depois em Mostrar todas as entradas filhas na pesquisa.

   Observação: se não houver uma guia Lista de entrada, volte à página Pesquisa e escolha um banco de dados diferente.

5. Na página Detalhes do banco de dados do Firestore , clique na guia Lista de entradas e depois em Mostrar todas as entradas filhas na pesquisa. O Knowledge Catalog mostra os grupos de coleções no banco de dados.

6. Selecione um nome de grupo de coleções e, na página Detalhes do grupo de coleções , clique em Esquema para visualizar o esquema.

7. Opcional: para adicionar um tipo de aspecto a um banco de dados, clique no botão Adicionar aspecto.

Preços

Não há custos para armazenar metadados técnicos do Firestore no Knowledge Catalog. Os preços padrão do Knowledge Catalog se aplicam a chamadas de API e ao enriquecimento de outros metadados comerciais. Para mais informações, consulte a página de preços do Knowledge Catalog.

Limitações

• Os resultados da consulta são truncados depois que 10.000 grupos de coleções são ingeridos.
• Durante a ingestão em lote, pode levar até 48 horas para que as atualizações do banco de dados sejam refletidas no Knowledge Catalog.
• Durante a ingestão ao vivo, pode levar até 5 minutos para que as atualizações do banco de dados sejam refletidas no Knowledge Catalog.
• Os grupos de coleções não são atualizados durante a ingestão ao vivo.
• Os esquemas de grupo de coleções são atualizados durante a ingestão ao vivo. No entanto, essa atualização abrange apenas os 100 primeiros campos primitivos de nível superior em ordem alfabética. As informações restantes do esquema são atualizadas de 24 a 48 horas após a ingestão ao vivo.
• O processo de extração pode levar vários minutos.

A seguir

• Sobre o gerenciamento do catálogo de dados no Knowledge Catalog
• Papéis do Identity and Access Management do Knowledge Catalog