Gerenciar seus recursos do Datastream usando o Knowledge Catalog

Visualizar

Este recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

É possível pesquisar e gerenciar seus recursos do Datastream usando o Knowledge Catalog, uma plataforma para armazenar, gerenciar e acessar seus metadados. Use o Catálogo de Conhecimento para ajudar você com o seguinte:

• Descobrir, analisar e entender os metadados do Datastream.
• Navegar pelos recursos do Datastream, como streams, perfis de conexão e configurações de conectividade.
• Melhorar a visibilidade operacional para resolver problemas e gerenciar pipelines de dados.
• Estabelecer mecanismos quase em tempo real e periódicos para ingestão consistente de metadados com sincronização em tempo real e em lote. Para mais informações, consulte Modos de sincronização.

Modelagem do Catálogo de Conhecimento

Os recursos do Datastream são modelados no Knowledge Catalog em um grupo de entradas reservado e de propriedade do Knowledge Catalog e tipos de entradas específicos.

Entidade do Knowledge Catalog	Identificador do recurso
Grupo de entradas	@datastream
Tipo de entrada	datastream-stream
Tipo de entrada	datastream-connection-profile
Tipo de entrada	datastream-private-connection

Tipos de descoberta de metadados

A descoberta de metadados do Knowledge Catalog é um processo automatizado que verifica fontes de dados conectadas, como o Datastream, para identificar ativos de dados e extrair os metadados técnicos deles para o Knowledge Catalog.

Esse processo usa a sincronização em tempo real e periódica para manter o catálogo consistente com o sistema de origem. Para o Datastream, os metadados de todos os streams, perfis de conexão e configurações de conectividade particular são descobertos por padrão:

Resource type	Metadados recuperados
Streams	Nome Local Estado (por exemplo, RUNNING, PAUSED, FAILED) Estratégia de preenchimento Nomes dos perfis de conexão de origem e destino Configurações de origem e destino
Perfis de conexão	Nome Local Tipo (por exemplo, MYSQL, ORACLE, BIGQUERY) Opção de conectividade Nome do host, porta e nome do banco de dados
Configurações de conectividade particular	Nome Estado Método de conectividade (por exemplo, Private Service Connect ou peering de VPC) Detalhes da rede e da sub-rede VPC

Observação :o Knowledge Catalog se refere aos recursos no Datastream e em outros serviços do Google Cloud como recursos.

Modos de sincronização

O Datastream usa os seguintes modos de sincronização para manter o Knowledge Catalog consistente com o sistema de origem.

• Sincronização em tempo real: nesse modo, o Datastream publica eventos em tópicos do Pub/Sub quando ocorrem mudanças nos metadados. Isso permite que o Catálogo de dados de conhecimento receba atualizações quase em tempo real ao se inscrever nesses temas.
• Sincronização em lote: nesse modo, o Datastream publica periodicamente exportações completas de metadados (checkpoints) em buckets designados do Cloud Storage, de onde o Knowledge Catalog ingere os dados.

Pesquisa por palavra-chave e com linguagem natural

O Knowledge Catalog é compatível com pesquisas por palavras-chave e linguagem natural.

• Com a pesquisa de palavras-chave, você encontra recursos usando palavras-chave, filtros e uma sintaxe definida. Por exemplo, insira system=Datastream AND type=Stream para ver todos os fluxos do Datastream.
• A pesquisa em linguagem natural (prévia) usa IA para entender consultas semânticas. Ele permite encontrar recursos usando linguagem cotidiana, eliminando a necessidade de sintaxe complexa. Por exemplo, você pode inserir consultas como List all Datastream streams with BigQuery destination.

Para mais informações, consulte Sintaxe de pesquisa do Knowledge Catalog.

Antes de começar

Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Ativar a API Dataplex para o projeto.

   Ativar a API Dataplex

2. Verifique se você tem as permissões necessárias.

Papéis necessários do IAM

Nesta seção, descrevemos os papéis e as permissões necessários para pesquisar recursos e acessar os resultados da pesquisa.

Papéis necessários para acessar os resultados da pesquisa

Para pesquisar e visualizar metadados do Datastream no Knowledge Catalog, os principais precisam ter permissões para acessar recursos do Datastream, incluindo a permissão dataplex.projects.search.

Para conceder a principais (como usuários, grupos ou contas de serviço) essas permissões, atribua a eles o papel do IAM de Leitor do Datastream (roles/datastream.viewer) no projeto que contém os recursos do Datastream.

Operação do Catálogo de Conhecimento	Recurso do Datastream	Funções ou permissões necessárias
Pesquisar recursos do Datastream	Streams	datastream.streams.get
	Perfis de conexão	datastream.connectionProfiles.get
	Configurações de conectividade particular	datastream.privateConnections.get

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso. Para mais informações sobre os papéis do IAM do Datastream, consulte Papéis e permissões do IAM para o Datastream.

Funções necessárias para pesquisar entradas

Para pesquisar entradas, você precisa de pelo menos um dos seguintes papéis do IAM no projeto usado para pesquisa:

• Administrador do catálogo do Dataplex (roles/dataplex.catalogAdmin)
• Editor de catálogo do Dataplex (roles/dataplex.catalogEditor)
• Leitor do catálogo do Dataplex (roles/dataplex.catalogViewer)

As permissões nos resultados da pesquisa são verificadas independentemente do projeto selecionado. Para mais informações, consulte Pesquisar recursos de dados com o Knowledge Catalog.

Pesquisar recursos do Datastream

Use a página de pesquisa do Knowledge Catalog no console Google Cloud para pesquisar recursos do Datastream.

1. Acesse a página Pesquisa do Knowledge Catalog.

   Acesse Pesquisar

2. Em Escolher plataforma de pesquisa, selecione Knowledge Catalog.

3. No painel Filtros, clique em Sistemas e selecione Datastream.

4. Opcional. Em Aliases de tipo, é possível filtrar os resultados da pesquisa para um tipo específico de recurso do Datastream selecionando um ou mais dos seguintes aliases de tipo:

   • Fluxo de dados: para pesquisar fluxos do Datastream.
   • Perfil de conexão: para pesquisar perfis de conexão do Datastream.
   • Conexão: para pesquisar configurações de conectividade privada do Datastream.

Usar consultas para fazer pesquisas por palavra-chave

Use o campo de pesquisa no Knowledge Catalog para fazer consultas de pesquisa de palavras-chave. Por exemplo, insira system=Datastream AND type=Stream para ver todos os fluxos do Datastream.

Para mais informações, consulte Sintaxe de pesquisa do Knowledge Catalog.

Para conferir todos os recursos do Datastream, insira system=Datastream.

Em seguida, insira palavras-chave específicas. Por exemplo, para ver todos os fluxos do Datastream:

system=Datastream AND type=Stream

Para conferir todos os perfis de conexão, insira a seguinte consulta:

system=Datastream AND type=ConnectionProfile

Também é possível usar parênteses e os operadores lógicos AND e OR para expressões complexas. Para saber mais sobre as expressões que você pode usar no campo de pesquisa, consulte Sintaxe de pesquisa para o Knowledge Catalog.

É possível inserir diretamente consultas de pesquisa para recursos específicos do Datastream no campo de pesquisa. O formato da string de consulta é o seguinte:

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

Substitua:

• QUERY_STRING: use a lista a seguir para identificar uma string de consulta com base no tipo de recurso do Datastream que você quer consultar:

  • datastream-stream
  • datastream-connection-profile
  • datastream-private-connection

Um exemplo de consulta pode ser semelhante ao seguinte:

type="projects/dataplex-types/locations/global/entryTypes/datastream-stream"

Preços

Não há custos para armazenar metadados técnicos do Datastream no Knowledge Catalog. Os preços padrão do Knowledge Catalog se aplicam a chamadas de API e ao aprimoramento de outros metadados comerciais. Para mais informações, consulte a página de preços do Knowledge Catalog.

A seguir

• Saiba mais sobre o gerenciamento de metadados no Knowledge Catalog.
• Saiba mais sobre os papéis do Identity and Access Management Knowledge Catalog.