Fazer a transição para o glossário de negócios no Dataplex Universal Catalog

Este documento fornece instruções para migrar em uma única etapa da versão de prévia do glossário de negócios, que aceitava metadados do Data Catalog, para a versão de disponibilidade geral do glossário de negócios, que aceita metadados do Dataplex Universal Catalog.

Antes de começar

  1. Instale gcloud ou pacotes Python. Autentique sua conta de usuário e o Application Default Credentials (ADC) usado pelas bibliotecas Python. Execute os comandos a seguir e siga as instruções baseadas no navegador:

    gcloud init
    gcloud auth login
    gcloud auth application-default login
    
  2. Ative as APIs a seguir:

  3. Crie um ou vários buckets do Cloud Storage em qualquer um dos seus projetos. Os buckets serão usados como um local temporário para os arquivos de importação. Quanto mais buckets você fornecer, mais rápida será a importação. Conceda o papel do IAM de administrador do Storage à conta de serviço que está executando a migração:

    service-MIGRATION_PROJECT_ID@gcp-sa-dataplex.iam.gserviceaccount.com

    Substitua MIGRATION_PROJECT_ID pelo projeto de onde você está migrando os glossários.

  4. Configure o repositório:

    1. Clone o repositório:

      git clone https://github.com/GoogleCloudPlatform/dataplex-labs.git
      cd dataplex-labs/dataplex-quickstart-labs/00-resources/scripts/python/business-glossary-import
      
    2. Instale os pacotes necessários.

      pip3 install -r requirements.txt
      cd migration
      

Funções exigidas

Executar o script de migração

python3 run.py --project=MIGRATION_PROJECT_ID --user-project=USER_PROJECT_ID --buckets=BUCKET1,BUCKET2

Substitua:

  • USER_PROJECT_ID: o ID do projeto a ser migrado.
  • BUCKET1 e BUCKET2: os IDs bucket do Cloud Storage a serem usados para a importação.

Escopo dos glossários na migração

Para migrar apenas glossários específicos, defina o escopo deles fornecendo os respectivos URLs.

python3 run.py --project=MIGRATION_PROJECT_ID --user-project=USER_PROJECT_ID --buckets=BUCKET1,BUCKET2 --glossaries="GLOSSARY_URL1","GLOSSARY_URL2"

Substitua GLOSSARY_URL1 (e GLOSSARY_URL2) pelos URLs dos glossários que você está migrando.

Retomar a migração para falhas no job de importação

A presença de arquivos após a migração indica que alguns jobs de importação falharam. Para retomar a migração, execute o seguinte comando:

python3 run.py --project=MIGRATION_PROJECT_ID --user-project=USER_PROJECT_ID --buckets=BUCKET1,BUCKET2 --resume-import