Fazer a transição do Data Catalog para o Knowledge Catalog

O Knowledge Catalog (antigo Dataplex Universal Catalog) substitui o Data Catalog, oferecendo um gerenciamento de metadados mais complexo, recursos avançados de governança de dados, pesquisa de dados mais eficiente, controle de acesso menos complexo e uma API unificada para facilitar o desenvolvimento. Este documento mostra como fazer a transição do conteúdo e do uso do Data Catalog para o Knowledge Catalog.

Se você não conhece o catálogo, comece pelo Knowledge Catalog configurando-o como sua experiência de catálogo padrão.

O Knowledge Catalog tem uma interface da Web e uma API unificadas. A transição para o Knowledge Catalog permite que suas cargas de trabalho e usuários atuais e futuros se beneficiem dos recursos e capacidades aprimorados. Para mais informações, consulte Sobre metadados no Knowledge Catalog.

Para uma comparação entre o Knowledge Catalog e o Data Catalog, consulte Knowledge Catalog x Data Catalog.

Antes de começar

Antes de iniciar a transição, revise os recursos de gerenciamento de metadados que não são compatíveis com o Knowledge Catalog.

Observação: as tags de política e as taxonomias de tag de política, usadas para controle de acesso no nível da coluna no BigQuery, não foram descontinuadas.

Visão geral da transição

A página Gerenciar a transição para o Knowledge Catalog no Google Cloud console oferece um único ponto de acesso para gerenciar a transição.

Esta seção descreve os vários cenários de transição e descreve o processo de transição para cada um deles.

Se você não tiver metadados personalizados no Data Catalog ou nunca tiver usado o Data Catalog

Se você estiver usando o Data Catalog e não tiver metadados personalizados, como tags, modelos de tags, entradas personalizadas ou grupos de entrada, ou se você nunca tiver usado o Data Catalog, conclua a transição definindo a experiência padrão da UI de catálogo como Knowledge Catalog.

**Observação** :se você não tiver metadados personalizados no Data Catalog ou nunca tiver usado o Data Catalog, pule todas as outras tarefas descritas neste documento.

Se você tiver metadados personalizados ou cargas de trabalho programáticas do Data Catalog

Se você estiver usando o Data Catalog com metadados personalizados (como tags, modelos de tags, entradas personalizadas ou grupos de entrada), o Knowledge Catalog poderá importar esses metadados personalizados automaticamente como read-only. Para ativar esse recurso, são necessárias mudanças de configuração, conforme descrito na fase preparatória.

A segunda fase é a fase de upgrade, em que o estado ativo (read-write) dos metadados personalizados é movido para o Knowledge Catalog. Durante essa fase, você também precisa atualizar todas as cargas de trabalho programáticas (como API, bibliotecas de cliente, módulos do Terraform e comandos da Google Cloud CLI) para interagir com o Knowledge Catalog.

A seguir, apresentamos mais detalhes sobre cada fase do processo de transição:

1. Fase preparatória: execute as tarefas de configuração necessárias para disponibilizar o conteúdo do Data Catalog simultaneamente no Knowledge Catalog como read-only. Durante essa fase, o Data Catalog permanece a fonte autoritativa do conteúdo de metadados.

   A fase preparatória inclui as seguintes tarefas:

   1. Atualize os modelos de tag particulares do Data Catalog para públicos.
   2. Configure as permissões do IAM do Knowledge Catalog para seus metadados personalizados.

   Para mais informações, consulte Fase preparatória.

2. Fase de upgrade: mova o uso do catálogo e o estado ativo (read-write) dos metadados personalizados para o Knowledge Catalog.

   A fase de upgrade inclui as seguintes tarefas:

   1. Defina a experiência padrão da UI de catálogo como Knowledge Catalog.
   2. Faça upgrade dos metadados personalizados do Data Catalog para o Knowledge Catalog.
   3. Atualize cargas de trabalho programáticas.

   Quando você concluir a fase de upgrade, o Knowledge Catalog se tornará a fonte autoritativa de todos os metadados, e você não precisará usar o Data Catalog.

   Para mais informações, consulte Fase de upgrade.

Funções exigidas

Para receber as permissões necessárias para fazer a transição do Data Catalog para o Knowledge Catalog, conceda as seguintes funções do IAM no recurso:

• Atualizar modelos de tag particulares para públicos: proprietário de TagTemplate do Data Catalog (roles/datacatalog.tagTemplateOwner)

  Esse papel predefinido contém a permissão datacatalog.tagTemplates.update, que é necessária para atualizar modelos de tag particulares para públicos.

• Definir a experiência padrão da UI de catálogo como Knowledge Catalog: administrador de configuração de migração do DataCatalog (roles/datacatalog.migrationConfigAdmin)

  Esse papel predefinido contém a permissão datacatalog.migrationConfig.set, que é necessária para definir a experiência padrão da UI de catálogo.

• Fazer upgrade dos modelos de tag públicos do Data Catalog para o Knowledge Catalog: proprietário de TagTemplate do Data Catalog (roles/datacatalog.tagTemplateOwner)

  Esse papel predefinido contém a permissão datacatalog.tagTemplates.update, que é necessária para fazer upgrade de modelos de tag públicos.

• Fazer upgrade dos grupos de entrada do Data Catalog para o Knowledge Catalog: proprietário de EntryGroup do DataCatalog (roles/datacatalog.entryGroupOwner)

  Esse papel predefinido contém a permissão datacatalog.entryGroups.update, que é necessária para fazer upgrade de grupos de entrada.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Fase preparatória

**Observação**: execute as tarefas descritas nesta seção somente se você tiver metadados personalizados ou cargas de trabalho programáticas do Data Catalog.

Essa fase envolve tarefas para disponibilizar o conteúdo de metadados do Data Catalog simultaneamente no Knowledge Catalog, no modo read-only.

Confira a seguir os principais pontos a serem lembrados durante a fase preparatória:

• O Data Catalog permanece a fonte autoritativa dos seus metadados personalizados.
• A pesquisa do Knowledge Catalog pode não incluir todos os modelos de tag e tags públicos do Data Catalog até que você conclua a fase preparatória.

Saiba mais sobre a disponibilidade simultânea de metadados do Data Catalog no Knowledge Catalog

Os grupos de entrada, entradas, tags e modelos de tag públicos personalizados do Data Catalog ficam disponíveis automaticamente no Knowledge Catalog como recursos read-only.

A tabela a seguir mostra o mapeamento entre os recursos do Data Catalog e do Knowledge Catalog quando os recursos do Data Catalog são disponibilizados simultaneamente no Knowledge Catalog:

Mapeamento entre o Data Catalog e o Knowledge Catalog

Recurso do Data Catalog	Recurso correspondente do Knowledge Catalog	Descrição
Modelo de tag	Tipo de aspecto (global)	Os modelos de tag no Data Catalog são recursos regionais. O conteúdo deles é disponibilizado simultaneamente como tipos de aspectos globais no Knowledge Catalog. Isso é para preservar as referências entre regiões entre tags e modelos de tags. As definições de tipos de aspectos globais são replicadas para todas as Google Cloud regiões. Conceitos padrão, como Schema, são representados por tipos de aspectos do sistema, que o Knowledge Catalog fornece. Para mais informações, consulte Categorias de tipos de aspectos.
Tag	Aspecto opcional	As tags são disponibilizadas simultaneamente como aspectos opcionais no Knowledge Catalog. Para mais informações, consulte Categorias de aspectos.
Grupo de entradas	Grupo de entradas	Os grupos de entrada para entradas do sistema são estabelecidos por projeto e por região no Knowledge Catalog. Os grupos de entrada criados no Data Catalog são disponibilizados simultaneamente no Knowledge Catalog.
Entrada personalizada	Entrada personalizada	Todas as entradas personalizadas no Data Catalog são disponibilizadas simultaneamente como entradas de GenericEntryType no Knowledge Catalog. Para mais informações, consulte Categorias de tipos de entrada.
Entrada do sistema (Google Cloud)	Aspecto necessário da entrada do sistema	Os metadados que descrevem entradas do sistema, como Schema para tabelas do BigQuery, são capturados nos aspectos necessários dos tipos de aspectos definidos pelo sistema.

Observação:normalmente, as atualizações do conteúdo do Data Catalog são propagadas para o Knowledge Catalog em até 10 minutos. Em alguns casos, isso pode levar mais tempo. Para verificar a consistência dos dados, recomendamos interromper todas as gravações no Data Catalog e verificar os recursos do Knowledge Catalog em relação aos recursos do Data Catalog ou ao sistema de origem original antes do uso.

Atualizar modelos de tag particulares do Data Catalog para públicos

**Observação**: execute esta tarefa somente se você estiver usando modelos de tag e tags particulares no Data Catalog.
Os administradores ou responsáveis pelos dados precisam realizar essa tarefa.

O Knowledge Catalog não oferece suporte ao conceito de aspectos particulares (contrapartes de tags particulares). Portanto, os modelos de tag e as tags particulares não são disponibilizados simultaneamente no Knowledge Catalog. Para propagar modelos de tag e tags particulares no Knowledge Catalog, é necessário atualizá-los para públicos.

Antes de continuar, revise a estrutura dos modelos de tag particulares para verificar se a estrutura e os metadados são consistentes com a visibilidade das tags públicas.

Para atualizar modelos de tag e tags particulares para públicos, siga estas etapas:

Console

1. No Google Cloud console do, acesse a página Modelos de tag.

   Acesse Modelos de tag

2. Clique em Gerenciar a transição para o Knowledge Catalog.

3. Clique na guia Modelos de tag particulares.

4. Clique em Gerenciar modelos de tag.

5. Na página Modelos de tag, clique no modelo de tag particular que você quer atualizar.

6. Na página Detalhes do modelo, clique em Editar.

7. Na seção Visibilidade, selecione Público.

8. Clique em Atualizar.

REST

Para atualizar os modelos de tag particulares para públicos, use o tagTemplates.patch método.

Configurar as permissões do IAM do Knowledge Catalog para seus metadados personalizados

Os tipos de aspectos e os grupos de entrada personalizados do Knowledge Catalog que representam modelos de tag e grupos de entrada do Data Catalog não herdam as permissões do IAM originais do Data Catalog. As permissões específicas do IAM necessárias também são diferentes entre o Knowledge Catalog e o Data Catalog.

Por exemplo, se você quiser criar aspectos usando um tipo de aspecto propagado (que representa um modelo de tag do Data Catalog), será necessário configurar as permissões necessárias do IAM para esse tipo de aspecto. Da mesma forma, ao ingerir metadados personalizados, para criar entradas personalizadas em um grupo de entrada personalizado propagado, é necessário configurar as permissões necessárias do IAM para esse grupo de entrada.

Se você estiver usando papéis do IAM do Data Catalog para gerenciar o acesso no Data Catalog no nível do projeto ou superior, as permissões necessárias do Knowledge Catalog serão incluídas automaticamente. No entanto, se você estiver usando papéis personalizados ou atribuindo papéis do IAM diretamente a recursos específicos, será necessário configurar manualmente as permissões do Knowledge Catalog para esses aspectos específicos e grupos de entrada personalizados.

Para mais informações sobre como as permissões do IAM no Data Catalog correspondem às do Knowledge Catalog, consulte Mapeamento de permissões do IAM entre o Data Catalog e o Knowledge Catalog.

Para configurar as permissões necessárias do IAM do Knowledge Catalog para tipos de aspectos e grupos de entrada personalizados, siga estas etapas:

Console

1. No Google Cloud console do, acesse a página Modelos de tag.

   Acesse Modelos de tag

2. Clique em Gerenciar a transição para o Knowledge Catalog.

3. Clique na guia Permissões do IAM do Dataplex.

4. Para configurar as permissões do IAM do Knowledge Catalog para tipos de aspectos, clique em Tipos de aspectos e modelos de tag.

   1. Para o modelo de tag propagado do Data Catalog, clique em > Permissões.

   2. Clique em Adicionar participantes.

   3. Adicione um novo principal e atribua os papéis necessários.

   4. Clique em Salvar.

5. Para configurar as permissões do IAM do Knowledge Catalog para grupos de entrada, clique em Grupos de entrada.

   1. Para o grupo de entrada propagado do Data Catalog, clique em > Permissões.

   2. Clique em Adicionar participantes.

   3. Adicione um novo principal e atribua os papéis necessários.

   4. Clique em Salvar.

REST

Para configurar as permissões do IAM do Knowledge Catalog para tipos de aspectos, use o aspectTypes.setIamPolicy método.

Para configurar as permissões do IAM do Knowledge Catalog para grupos de entrada, use o entryGroups.setIamPolicy método.

Fase de upgrade

**Observação**: execute as tarefas descritas nesta seção somente se você tiver metadados personalizados ou cargas de trabalho programáticas do Data Catalog.

Essa fase envolve tarefas para mover o estado ativo (read-write) dos metadados personalizados do Data Catalog para o Knowledge Catalog.

Confira a seguir os principais pontos a serem lembrados durante a fase de upgrade:

• É possível descobrir e ler os metadados do Data Catalog e do Knowledge Catalog no Knowledge Catalog.
• Para atualizar os metadados no Google Cloud console, você será redirecionado para a origem deles. Por exemplo, se você estiver atualizando modelos de tag do Data Catalog, será redirecionado para a página de modelos de tag no Data Catalog.

Definir a experiência padrão da UI de catálogo como Knowledge Catalog

Observação: para uma Google Cloud organização, o administrador da organização precisa configurar essa definição no nível organizacional. Também é possível configurá-lo para seu próprio projeto, sem afetar as configurações de toda a organização. Para projetos sem uma organização, o administrador do projeto precisa configurar essa definição para projetos individuais.

Definir a experiência padrão da UI de catálogo como Knowledge Catalog significa o seguinte:

• A interface da Web incentiva você a criar novos recursos no Knowledge Catalog. Por exemplo, ela é definida como Criar tipos de aspectos em vez de Criar modelos de tag e Criar grupo de entrada (Knowledge Catalog) em vez de Criar grupo de entrada (Data Catalog).

• Definir a experiência padrão da UI de catálogo como Knowledge Catalog é normalmente uma operação unidirecional. No entanto, o Knowledge Catalog permite reverter mudanças em casos excepcionais, por exemplo, quando você quer mudar a experiência padrão da interface do catálogo de volta para o Data Catalog. Se você reverter as mudanças, não será possível acessar nenhum conteúdo criado no Knowledge Catalog na interface da Web do Data Catalog.

Para definir a experiência padrão da UI de catálogo como Knowledge Catalog, siga estas etapas:

Console

1. No Google Cloud console do, acesse a página Modelos de tag.

   Acesse Modelos de tag

2. Clique em Gerenciar a transição para o Knowledge Catalog.

3. Clique na guia Experiência padrão da UI catálogo.

4. Clique em Definir a experiência padrão da UI de catálogo como Knowledge Catalog.

REST

Para definir a experiência padrão da UI de catálogo como Knowledge Catalog, use o setConfig método.

Fazer upgrade dos metadados personalizados do Data Catalog para o Knowledge Catalog

**Observação**: administradores, responsáveis ou engenheiros de dados precisam realizar esta tarefa.

É possível fazer upgrade dos modelos de tag públicos e dos grupos de entrada personalizados do Data Catalog para o Knowledge Catalog. Faça upgrade de cada modelo de tag e grupo de entrada personalizado separadamente.

Aviso: a ação de upgrade é irreversível. Depois de fazer upgrade dos modelos de tag e grupos de entrada do Data Catalog para o Knowledge Catalog, não será possível atualizá-los no Data Catalog. No entanto, é possível excluí-los no Data Catalog, porque isso não afeta a versão atualizada para o Knowledge Catalog.

A seguir, resumimos o processo de upgrade:

• Efeito

  • Transfere o estado ativo dos recursos do Data Catalog para o Knowledge Catalog. Após o upgrade, para modificar o recurso ou acessar o estado atual dele, é necessário usar o Knowledge Catalog.

• Mudanças no conteúdo e no fluxo de dados

  • Marca o recurso como read-only no Data Catalog.
  • Marca o recurso como read-write no Knowledge Catalog.
  • Interrompe a disponibilidade simultânea desse recurso.

• Dependências

  • Ao fazer upgrade de um modelo de tag, todas as tags que usam esse modelo também são atualizadas.
  • Ao fazer upgrade de grupos de entrada, todas as entradas associadas também são atualizadas.
  • O upgrade de entradas não afeta o status de upgrade das tags e dos respectivos modelos de tag.

Antes do upgrade, para modificar o contexto de negócios de uma entrada (por exemplo, overview, contacts), é possível usar a API Data Catalog e a API Dataplex. Após o upgrade, é necessário usar apenas a API Dataplex.

A seguir, descrevemos quais operações são permitidas para uma entrada personalizada do Data Catalog marcada, dependendo do status de upgrade do grupo de entrada personalizado e do modelo de tag relacionados:

• Quando um modelo de tag está ativo no Data Catalog, é possível usá-lo para criar tags. Depois de fazer upgrade do modelo de tag para o Knowledge Catalog, não será possível usá-lo para criar tags no Data Catalog.
• É possível criar aspectos usando tipos de aspectos propagados de modelos de tag do Data Catalog somente depois de fazer upgrade dos modelos de tag.

Para fazer upgrade dos modelos de tag e grupos de entrada personalizados do Data Catalog para o Knowledge Catalog, siga estas etapas:

Console

1. No Google Cloud console do, acesse a página Modelos de tag.

   Acesse Modelos de tag

2. Clique em Gerenciar a transição para o Knowledge Catalog.

3. Clique na guia Fazer upgrade para o Knowledge Catalog.

4. Para fazer upgrade dos modelos de tag do Data Catalog para o Knowledge Catalog, clique em Ver tipos de aspectos e modelos de tag.

   1. Selecione os modelos de tag que você quer atualizar.

   2. Clique em Fazer upgrade.

   3. Na caixa de diálogo, clique em Confirmar.

5. Para fazer upgrade dos grupos de entrada personalizados do Data Catalog para o Knowledge Catalog, clique em Ver grupos de entrada.

   1. Selecione os grupos de entrada que você quer atualizar.

   2. Clique em Fazer upgrade.

   3. Na caixa de diálogo, clique em Confirmar.

REST

Para fazer upgrade dos modelos de tag e grupos de entrada personalizados do Data Catalog para o Knowledge Catalog, use o tagTemplates.patch método.

Quando você concluir a fase de upgrade, o Knowledge Catalog se tornará a fonte autoritativa de todos os metadados, e você não precisará usar o Data Catalog.

**Observação** :pode haver um pequeno atraso após o upgrade antes que todas as mudanças do Data Catalog sejam refletidas no Knowledge Catalog. Para verificar a consistência dos dados em cargas de trabalho urgentes, recomendamos verificar os recursos do Knowledge Catalog em relação aos recursos do Data Catalog ou ao sistema de origem original antes do uso.

Atualizar cargas de trabalho programáticas

O Knowledge Catalog vem com uma nova API, bibliotecas de cliente, módulos do Terraform e comandos da Google Cloud CLI. Portanto, é necessário atualizar todas as cargas de trabalho atuais com uso programático do Data Catalog para o Knowledge Catalog. Consulte exemplos de código para o Knowledge Catalog.

Alinhe a atualização de cargas de trabalho programáticas com o upgrade dos recursos dependentes, como modelos de tag e grupos de entrada personalizados. Isso é necessário porque o upgrade move o estado ativo (read-write) de um recurso do Data Catalog para o Knowledge Catalog.

A seguir, apresentamos um exemplo de sequência de atualização de cargas de trabalho programáticas para interagir com o Knowledge Catalog, coordenado com o upgrade dos recursos dependentes:

1. Se as cargas de trabalho puderem tolerar a consistência posterior, mova as operações read das cargas de trabalho para o Knowledge Catalog.

2. Mova as cargas de trabalho que realizam operações de marcação write para o Knowledge Catalog, coordenado com o upgrade dos modelos de tag correspondentes.

3. Mova as cargas de trabalho que realizam operações de ingestão personalizadas write para o Knowledge Catalog, coordenado com o upgrade dos respectivos grupos de entrada personalizados.

Se você precisar separar a atualização de cargas de trabalho e o upgrade dos recursos correspondentes, considere implementar a lógica nas cargas de trabalho para rotear read-write para o Data Catalog ou o Knowledge Catalog no status de upgrade do recurso. Assim, as cargas de trabalho vão operar de forma independente do status de upgrade do recurso relacionado.

Observação: o Knowledge Catalog não oferece suporte ao gerenciamento de entradas personalizadas e aspectos usando o Terraform. Em vez disso, é possível gerenciar programaticamente seus metadados personalizados em escala usando um pipeline de conectividade gerenciada ou os métodos da API de importação de metadados.

A seguir

• Saiba mais sobre metadados no Knowledge Catalog.
• Consulte Mapear métodos da API Data Catalog para o Knowledge Catalog.
• Saiba como pesquisar recursos no Knowledge Catalog.
• Saiba como gerenciar aspectos e enriquecer metadados.
• Saiba como gerenciar entradas e ingerir fontes personalizadas.
• Consulte a referência da API Dataplex.