Fazer a transição do Data Catalog para o Knowledge Catalog

O Knowledge Catalog (antigo Dataplex Universal Catalog) substitui o Data Catalog, oferecendo um gerenciamento de metadados mais complexo, recursos avançados de governança de dados, uma pesquisa de dados mais eficiente, controle de acesso menos complexo e uma API unificada para facilitar o desenvolvimento. Este documento mostra como fazer a transição do conteúdo e do uso do Data Catalog para o Knowledge Catalog.

Se você não conhece o catálogo, comece com o Knowledge Catalog configurando-o como sua experiência de catálogo padrão.

O Knowledge Catalog tem uma interface da Web e uma API unificadas. A transição para o Knowledge Catalog permite que suas cargas de trabalho e usuários atuais e futuros aproveitem os recursos e funcionalidades aprimorados. Para mais informações, consulte Sobre o gerenciamento de metadados no Knowledge Catalog.

Para uma comparação entre o Knowledge Catalog e o Data Catalog, consulte Knowledge Catalog x Data Catalog.

Antes de começar

Antes de iniciar a transição, confira os recursos de gerenciamento de metadados que não são compatíveis com o Knowledge Catalog.

Observação: as tags de política e as taxonomias de tag de política, que são usadas para controle de acesso no nível da coluna no BigQuery, não estão descontinuadas.

Visão geral da transição

A página Gerenciar transição para o Knowledge Catalog no console Google Cloud oferece um único ponto de acesso para gerenciar a transição.

Esta seção descreve os vários cenários de transição e o processo de transição para cada um deles.

Se você não tiver metadados personalizados no Data Catalog ou nunca tiver usado o serviço

Se você usa o Data Catalog e não tem metadados personalizados, como tags, modelos de tags, entradas personalizadas ou grupos de entradas, ou se nunca usou o Data Catalog, conclua a transição definindo a experiência padrão da UI do catálogo como o Knowledge Catalog.

Observação: se você não tiver metadados personalizados no Data Catalog ou nunca tiver usado esse serviço, pule todas as outras tarefas descritas neste documento.

Se você tiver metadados personalizados do Data Catalog ou cargas de trabalho programáticas

Se você estiver usando o Data Catalog com metadados personalizados (como tags, modelos de tags, entradas personalizadas ou grupos de entradas), o Knowledge Catalog poderá importar automaticamente esses metadados personalizados como read-only. Para ativar essa capacidade, são necessárias mudanças na configuração, conforme descrito na fase preparatória.

A segunda fase é a de upgrade, em que o estado ativo (read-write) dos metadados personalizados é movido para o Knowledge Catalog. Durante essa fase, também é necessário atualizar todas as cargas de trabalho programáticas (como API, bibliotecas de cliente, módulos do Terraform e comandos da Google Cloud CLI) para interagir com o Knowledge Catalog.

Confira mais detalhes sobre cada fase do processo de transição:

1. Fase preparatória: execute as tarefas de configuração necessárias para disponibilizar o conteúdo do Data Catalog simultaneamente no Knowledge Catalog como read-only. Durante essa fase, o Data Catalog continua sendo a fonte confiável do conteúdo de metadados.

   A fase preparatória inclui as seguintes tarefas:

   1. Atualize os modelos de tag particulares do Data Catalog para públicos.
   2. Configure as permissões do IAM do Knowledge Catalog para seus metadados personalizados.

   Para mais informações, consulte Fase preparatória.

2. Fase de upgrade: mova o uso do catálogo e o estado ativo (read-write) dos metadados personalizados para o Knowledge Catalog.

   A fase de upgrade inclui as seguintes tarefas:

   1. Defina a experiência padrão da UI do catálogo como Knowledge Catalog.
   2. Faça upgrade dos metadados personalizados do Data Catalog para o Knowledge Catalog.
   3. Atualize cargas de trabalho programáticas.

   Quando você concluir a fase de upgrade, o Knowledge Catalog vai se tornar a fonte confiável de todos os seus metadados, e você não precisará usar o Data Catalog.

   Para mais informações, consulte Fase de upgrade.

Funções exigidas

Para receber as permissões necessárias para fazer a transição do Data Catalog para o Knowledge Catalog, conceda os seguintes papéis do IAM no recurso:

• Atualizar modelos de tag particulares para públicos: Proprietário de TagTemplate do Data Catalog (roles/datacatalog.tagTemplateOwner)

  Esse papel predefinido contém a permissão datacatalog.tagTemplates.update, que é necessária para atualizar modelos de tag particulares para públicos.

• Defina a experiência padrão da UI do catálogo como Knowledge Catalog: Administrador de configuração de migração do DataCatalog (roles/datacatalog.migrationConfigAdmin)

  Esse papel predefinido contém a permissão datacatalog.migrationConfig.set, que é necessária para definir a experiência padrão da UI do catálogo.

• Fazer upgrade dos modelos de tag públicos do Data Catalog para o Knowledge Catalog: Proprietário de TagTemplate do Data Catalog (roles/datacatalog.tagTemplateOwner)

  Esse papel predefinido contém a permissão datacatalog.tagTemplates.update, que é necessária para fazer upgrade dos modelos de tag pública.

• Fazer upgrade dos entryGroups do Data Catalog para o Knowledge Catalog: Proprietário de entryGroup do Data Catalog (roles/datacatalog.entryGroupOwner)

  Esse papel predefinido contém a permissão datacatalog.entryGroups.update, que é necessária para fazer upgrade de grupos de entradas.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Fase preparatória

Observação: realize as tarefas descritas nesta seção somente se você tiver metadados personalizados ou cargas de trabalho programáticas do Data Catalog.

Esta fase envolve tarefas para disponibilizar simultaneamente o conteúdo de metadados do Data Catalog no Knowledge Catalog, no modo read-only.

Confira os principais pontos a serem lembrados durante a fase preparatória:

• O Data Catalog continua sendo a fonte confiável dos seus metadados personalizados.
• A pesquisa do Knowledge Catalog pode não incluir todos os modelos de tag e tags públicos do Data Catalog até que você conclua a fase preparatória.

Saiba mais sobre a disponibilidade simultânea de metadados do Data Catalog no Knowledge Catalog

Os grupos de entradas, entradas, tags e modelos de tags públicos personalizados do Data Catalog ficam disponíveis automaticamente no Knowledge Catalog como recursos read-only.

A tabela a seguir mostra o mapeamento entre os recursos do Data Catalog e do Knowledge Catalog quando os recursos do Data Catalog são disponibilizados simultaneamente no Knowledge Catalog:

Mapeamento entre o Data Catalog e o Knowledge Catalog

Recurso do Data Catalog	Recurso correspondente do Knowledge Catalog	Descrição
Modelo de tag	Tipo de aspecto (global)	Os modelos de tag no Data Catalog são recursos regionais. O conteúdo deles fica disponível simultaneamente como tipos de aspectos globais no Knowledge Catalog. Isso preserva as referências entre regiões entre tags e modelos de tags. As definições de tipos de aspecto globais são replicadas para todas as regiões do Google Cloud . Conceitos padrão, como Schema, são representados por tipos de aspecto do sistema, que o Knowledge Catalog oferece. Para mais informações, consulte Categorias de tipos de aspectos.
Tag	Aspecto opcional	As tags são disponibilizadas simultaneamente como aspectos opcionais no Knowledge Catalog. Para mais informações, consulte Categorias de aspectos.
Grupo de entradas	Grupo de entradas	Os grupos de entrada para entradas do sistema são estabelecidos por projeto e por região no Knowledge Catalog. Os grupos de entradas criados no Data Catalog são disponibilizados simultaneamente no Knowledge Catalog.
Entrada personalizada	Entrada personalizada	Todas as entradas personalizadas no Data Catalog são disponibilizadas simultaneamente como entradas de GenericEntryType no Knowledge Catalog. Para mais informações, consulte Categorias de tipos de entrada.
Entrada do sistema (Google Cloud)	Aspecto obrigatório da entrada do sistema	Os metadados que descrevem entradas do sistema, como Schema para tabelas do BigQuery, são capturados nos aspectos obrigatórios dos tipos de aspectos definidos pelo sistema.

Observação:normalmente, as atualizações no conteúdo do Data Catalog são propagadas para o Knowledge Catalog em até 10 minutos. Em alguns casos, pode levar mais tempo. Para verificar a consistência dos dados, recomendamos interromper todas as gravações no Data Catalog e verificar os recursos do Knowledge Catalog em relação aos recursos do Data Catalog ou ao sistema de origem original antes do uso.

Atualizar modelos de tag particulares do Data Catalog para públicos

Observação: realize esta tarefa somente se você estiver usando modelos de tags e tags particulares no Data Catalog.
Os administradores ou stewards de dados precisam realizar essa tarefa.

O Knowledge Catalog não oferece suporte ao conceito de aspectos particulares (equivalentes a tags particulares). Por isso, as tags e os modelos de tags particulares não são disponibilizados simultaneamente no Knowledge Catalog. Para propagar tags e modelos de tags particulares no Knowledge Catalog, torne-os públicos.

Antes de continuar, revise a estrutura dos modelos de tags particulares para verificar se a estrutura e os metadados são consistentes com a visibilidade das tags públicas.

Para atualizar modelos de tag e tags particulares para públicos, siga estas etapas:

Console

1. No console do Google Cloud , acesse a página Modelos de tag.

   Acesse Modelos de tag

2. Clique em Gerenciar transição para o Knowledge Catalog.

3. Clique na guia Modelos de tag particulares.

4. Clique em Gerenciar modelos de tag.

5. Na página Modelos de tag, clique no modelo de tag particular que você quer atualizar.

6. Na página Detalhes do modelo, clique em Editar.

7. Na seção Visibilidade, selecione Público.

8. Clique em Atualizar.

REST

Para atualizar os modelos de tags particulares para públicos, use o método tagTemplates.patch.

Configurar permissões do IAM do Knowledge Catalog para seus metadados personalizados

Os tipos de aspectos e os grupos de entradas personalizadas do Knowledge Catalog que representam modelos de tags e grupos de entradas do Data Catalog não herdam as permissões originais do IAM do Data Catalog. As permissões específicas do IAM necessárias também variam entre o Knowledge Catalog e o Data Catalog.

Por exemplo, se você quiser criar aspectos usando um tipo propagado (que representa um modelo de tag do Data Catalog), configure as permissões necessárias do IAM para esse tipo de aspecto. Da mesma forma, ao ingerir metadados personalizados, para criar entradas personalizadas em um grupo de entradas personalizadas propagado, é necessário configurar as permissões do IAM necessárias para esse grupo.

Se você estiver usando papéis do IAM do Data Catalog para gerenciar o acesso no Data Catalog em um nível de projeto ou superior, as permissões necessárias do Knowledge Catalog serão incluídas automaticamente. No entanto, se você estiver usando papéis personalizados ou atribuindo papéis do IAM diretamente a recursos específicos, será necessário configurar manualmente as permissões do Knowledge Catalog para esses aspectos específicos e grupos de entradas personalizados.

Para mais informações sobre como as permissões do IAM no Data Catalog correspondem às do Knowledge Catalog, consulte Mapeamento de permissões do IAM entre o Data Catalog e o Knowledge Catalog.

Para configurar as permissões necessárias do IAM do Knowledge Catalog para tipos de aspectos e grupos de entradas personalizados, siga estas etapas:

Console

1. No console do Google Cloud , acesse a página Modelos de tag.

   Acesse Modelos de tag

2. Clique em Gerenciar transição para o Knowledge Catalog.

3. Clique na guia Permissões de IAM do Dataplex.

4. Para configurar as permissões do IAM do Knowledge Catalog para tipos de aspecto, clique em Tipos de aspecto e modelos de tag.

   1. Para o modelo de tag propagado do Data Catalog, clique em > Permissões.

   2. Clique em Adicionar principais.

   3. Adicione um novo principal e atribua os papéis necessários.

   4. Clique em Salvar.

5. Para configurar as permissões do IAM do Knowledge Catalog para grupos de entradas, clique em Grupos de entradas.

   1. Para o grupo de entradas propagado do Data Catalog, clique em > Permissões.

   2. Clique em Adicionar principais.

   3. Adicione um novo principal e atribua os papéis necessários.

   4. Clique em Salvar.

REST

Para configurar as permissões do IAM do Knowledge Catalog para tipos de aspecto, use o método aspectTypes.setIamPolicy.

Para configurar as permissões do IAM do Knowledge Catalog para grupos de entradas, use o método entryGroups.setIamPolicy.

Fase de upgrade

Observação: realize as tarefas descritas nesta seção somente se você tiver metadados personalizados ou cargas de trabalho programáticas do Data Catalog.

Esta fase envolve tarefas para mover o estado ativo (read-write) dos seus metadados personalizados do Data Catalog para o Knowledge Catalog.

Estes são os pontos principais a serem lembrados durante a fase de upgrade:

• É possível descobrir e ler os metadados do Data Catalog e do Knowledge Catalog no Knowledge Catalog.
• Para atualizar os metadados no console Google Cloud , você será redirecionado para a fonte deles. Por exemplo, se você estiver atualizando modelos de tag do Data Catalog, será redirecionado para a página de modelos de tag no Data Catalog.

Definir a experiência padrão da interface do catálogo como Knowledge Catalog

Observação: para uma organização do Google Cloud , o administrador precisa configurar essa opção no nível da organização. Você também pode configurar o recurso para seu próprio projeto, sem afetar as configurações de toda a organização. Para projetos sem uma organização, o administrador precisa configurar essa definição para projetos individuais.

Definir a experiência padrão da UI do catálogo como Knowledge Catalog significa o seguinte:

• A interface da Web incentiva você a criar novos recursos no Knowledge Catalog. Por exemplo, o padrão é Criar tipos de aspecto em vez de Criar modelos de tag e Criar grupo de entradas (Knowledge Catalog) em vez de Criar grupo de entradas (Data Catalog).

• Definir a experiência padrão da UI de catálogo como Knowledge Catalog é geralmente uma operação unidirecional. No entanto, o Knowledge Catalog permite reverter mudanças em casos excepcionais, por exemplo, quando você quer mudar a experiência padrão da interface do catálogo de volta para o Data Catalog. Se você reverter as mudanças, não poderá acessar nenhum conteúdo criado no Knowledge Catalog na interface da Web do Data Catalog.

Para definir a experiência padrão da UI do catálogo como Knowledge Catalog, siga estas etapas:

Console

1. No console do Google Cloud , acesse a página Modelos de tag.

   Acesse Modelos de tag

2. Clique em Gerenciar transição para o Knowledge Catalog.

3. Clique na guia Experiência UI de catálogo padrão.

4. Clique em Definir a experiência padrão da UI do catálogo como Knowledge Catalog.

REST

Para definir a experiência padrão da UI do catálogo como Knowledge Catalog, use o método setConfig.

Fazer upgrade dos metadados personalizados do Data Catalog para o Knowledge Catalog

Observação: administradores, responsáveis ou engenheiros de dados precisam realizar essa tarefa.

É possível fazer upgrade dos modelos de tags públicas e dos grupos de entradas personalizados do Data Catalog para o Knowledge Catalog. Faça upgrade de cada modelo de tag e grupo de entradas personalizadas separadamente.

Aviso: a ação de upgrade é irreversível. Depois de atualizar os modelos de tag e grupos de entrada do Data Catalog para o Knowledge Catalog, não será possível atualizá-los no Data Catalog. No entanto, é possível excluir esses recursos no Data Catalog porque isso não afeta a versão atualizada para o Knowledge Catalog.

Confira um resumo do processo de upgrade:

• Efeito

  • Transfere o estado ativo dos recursos do Data Catalog para o Knowledge Catalog. Após o upgrade, para modificar o recurso ou acessar o estado atual, use o Knowledge Catalog.

• Mudanças no conteúdo e no fluxo de dados

  • Marca o recurso como read-only no Data Catalog.
  • Marca o recurso como read-write no Knowledge Catalog.
  • Interrompe a disponibilidade simultânea deste recurso.

• Dependências

  • Ao fazer upgrade de um modelo de tag, todas as tags que usam esse modelo também são atualizadas.
  • Ao fazer upgrade de grupos de entrada, todas as entradas associadas também são atualizadas.
  • O upgrade de entradas não afeta o status de upgrade das tags e dos respectivos modelos de tag.

Antes do upgrade, para modificar o contexto comercial de uma entrada (por exemplo, overview, contacts), use a API Data Catalog e a API Dataplex. Depois do upgrade, use apenas a API Dataplex.

A seguir, descrevemos quais operações são permitidas para uma entrada personalizada do Data Catalog com tag, dependendo do status de upgrade do grupo de entradas personalizadas e do modelo de tag relacionados:

• Quando um modelo de tag está ativo no Data Catalog, é possível usá-lo para criar tags. Depois de fazer upgrade do modelo de tag para o Knowledge Catalog, não será possível usá-lo para criar tags no Data Catalog.
• Só é possível criar aspectos usando tipos de aspecto propagados de modelos de tag do Data Catalog depois de fazer upgrade dos modelos de tag.

Para fazer upgrade dos modelos de tags e grupos de entradas personalizados do Data Catalog para o Knowledge Catalog, siga estas etapas:

Console

1. No console do Google Cloud , acesse a página Modelos de tag.

   Acesse Modelos de tag

2. Clique em Gerenciar transição para o Knowledge Catalog.

3. Clique na guia Fazer upgrade para o Knowledge Catalog.

4. Para fazer upgrade dos modelos de tag do Data Catalog para o Knowledge Catalog, clique em Ver tipos de aspecto e modelos de tag.

   1. Selecione os modelos de tag que você quer atualizar.

   2. Clique em Fazer upgrade.

   3. Na caixa de diálogo, clique em Confirmar.

5. Para fazer upgrade dos grupos de entrada personalizados do Data Catalog para o Knowledge Catalog, clique em Ver grupos de entrada.

   1. Selecione os grupos de entradas que você quer fazer upgrade.

   2. Clique em Fazer upgrade.

   3. Na caixa de diálogo, clique em Confirmar.

REST

Para fazer upgrade de modelos de tags e grupos de entradas personalizados do Data Catalog para o Knowledge Catalog, use o método tagTemplates.patch.

Quando você concluir a fase de upgrade, o Knowledge Catalog vai se tornar a fonte confiável de todos os seus metadados, e você não precisará usar o Data Catalog.

Observação: pode haver um pequeno atraso após o upgrade antes que todas as mudanças do Data Catalog sejam refletidas no Knowledge Catalog. Para verificar a consistência dos dados em workloads sensíveis ao tempo, recomendamos verificar os recursos do Knowledge Catalog em relação aos recursos do Data Catalog ou ao sistema de origem original antes do uso.

Atualizar cargas de trabalho programáticas

O Knowledge Catalog vem com uma nova API, bibliotecas de cliente, módulos do Terraform e comandos da Google Cloud CLI. Portanto, é necessário atualizar todas as cargas de trabalho atuais com uso programático do Data Catalog para o Knowledge Catalog. Confira exemplos de código do Knowledge Catalog.

Alinhe a atualização das cargas de trabalho programáticas com o upgrade dos recursos dependentes, como modelos de tags e grupos de entradas personalizadas. Isso é necessário porque o upgrade move o estado ativo (read-write) de um recurso do Data Catalog para o Knowledge Catalog.

Confira a seguir um exemplo de sequência de atualização de cargas de trabalho programáticas para interagir com o Knowledge Catalog, coordenada com o upgrade dos recursos dependentes:

1. Se as cargas de trabalho puderem tolerar a consistência posterior, mova as operações read das cargas de trabalho para o Knowledge Catalog.

2. Mova as cargas de trabalho que realizam operações de inclusão de tags write para o Knowledge Catalog e faça upgrade dos modelos de tag correspondentes.

3. Mova as cargas de trabalho que realizam operações de ingestão personalizadas write para o Knowledge Catalog e faça upgrade dos respectivos grupos de entrada personalizados.

Se você precisar desacoplar a atualização de cargas de trabalho e o upgrade dos recursos correspondentes, considere implementar uma lógica nas cargas de trabalho para encaminhar read-write ao Data Catalog ou ao Knowledge Catalog com base no status de upgrade do recurso. Assim, as cargas de trabalho vão operar de forma independente do status de upgrade do recurso relacionado.

Observação: o Knowledge Catalog não oferece suporte ao gerenciamento de entradas e aspectos personalizados usando o Terraform. Em vez disso, gerencie programaticamente seus metadados personalizados em grande escala usando um pipeline de conectividade gerenciada ou os métodos da API de importação de metadados.

A seguir

• Saiba mais sobre o gerenciamento de metadados no Knowledge Catalog.
• Saiba como pesquisar recursos no Knowledge Catalog.
• Saiba como gerenciar aspectos e enriquecer metadados.
• Saiba como gerenciar entradas e ingerir fontes personalizadas.
• Consulte a referência da API Dataplex.