Importar metadados do MySQL

Neste documento, descrevemos como importar metadados do MySQL para o Knowledge Catalog (antigo Dataplex Universal Catalog) usando um conector do Knowledge Catalog.

Este conector é compatível com instâncias do MySQL hospedadas no local, no Cloud SQL ou em outros ambientes de nuvem.

Antes de importar metadados do MySQL, conclua as seguintes tarefas:

  1. Conceda os papéis e as permissões necessários.
  2. Ative as APIs Knowledge Catalog e BigQuery Data Transfer Service.
  3. Atenda aos pré-requisitos do MySQL.
  4. Atenda aos pré-requisitos de rede.

Permissões e papéis do IAM

Para criar e gerenciar um job de conector do Knowledge Catalog, você precisa de papéis do Identity and Access Management (IAM) que concedam permissões para o Knowledge Catalog e o serviço de transferência de dados do BigQuery.

Para receber as permissões necessárias para configurar um conector do MySQL, peça ao administrador para conceder a você os seguintes papéis do IAM:

Além disso, é necessário conceder ao agente de serviço do serviço de transferência de dados do BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) a permissão dataplex.entryGroups.import ou o papel Importador de grupos de entradas do Dataplex (roles/dataplex.entryGroupImporter). É possível conceder esse papel no nível do projeto ou do grupo de entradas.

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Ativar APIs

Ative as APIs Knowledge Catalog e BigQuery Data Transfer Service.

Ativar as APIs

Pré-requisitos do MySQL

Verifique se você atende aos pré-requisitos para transferências do MySQL. Para mais detalhes, consulte os pré-requisitos do MySQL na documentação do serviço de transferência de dados do BigQuery.

Além dos pré-requisitos do serviço de transferência de dados do BigQuery, seu banco de dados MySQL precisa atender aos seguintes requisitos para extração de metadados:

  • Versão mínima:MySQL 8.0 ou mais recente.
  • Permissões mínimas necessárias:a ferramenta de extração exige permissões específicas para consultar o INFORMATION_SCHEMA e coletar metadados.

Essas permissões garantem a seguinte cobertura de metadados:

  • Informações da instância e do banco de dados:nome do host, porta, versão e configurações de esquema.
  • Tabelas e colunas:estrutura principal, tipos de dados e metadados operacionais, como tamanhos e contagens de linhas.
  • Índices e partições:índices secundários, métodos de partição e expressões.
  • Visualizações:estruturas e definições de tabelas virtuais.
  • Rotinas:procedimentos armazenados, funções e parâmetros.
  • Restrições:restrições detalhadas de chave primária, chave externa, exclusividade e verificação.
  • Acionadores:definições de acionadores e tempo do evento.

Para conceder essas permissões, execute os seguintes scripts SQL.

  1. Crie o usuário:

    CREATE USER 'USERNAME'@'%'
IDENTIFIED BY 'PASSWORD';

  2. Conceda acesso aos metadados. É possível conceder acesso a um único banco de dados de destino ou a todos os bancos de dados na instância.

    Para conceder acesso a um único banco de dados ou esquema de destino:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON DATABASE_NAME.*
TO 'USERNAME'@'%';

    Como alternativa, para conceder acesso a todos os bancos de dados na instância:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON *.*
TO 'USERNAME'@'%';

  3. Permita que a ferramenta de extração liste todos os bancos de dados disponíveis na instância:

    GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';

  4. Aplique as alterações:

    FLUSH PRIVILEGES;

Pré-requisitos de rede

Um anexo de rede para conexão pelo Private Service Connect é necessário ao se conectar com segurança a bancos de dados externos ou fontes de dados de nuvem de terceiros com um endereço IP privado em uma rede particular, para permitir que o serviço de transferência de dados do BigQuery acesse seu banco de dados.

Se você se conectar a um ambiente local ou a uma instância hospedada na nuvem usando um endereço IP público, não será necessário um anexo de rede.

Configurar um conector do MySQL

  1. No console Google Cloud , acesse a página Knowledge Catalog.

    Acessar o Knowledge Catalog

  2. No menu de navegação, na seção Gerenciar, clique em Conectores.

  3. Clique em Adicionar conexão.

  4. Na lista Conectores, selecione o card MySQL.

  5. Na seção Detalhes da fonte de dados, forneça os detalhes da conexão para sua instância do MySQL:

    • Em Anexo de rede, selecione um anexo de rede existente, se necessário, ou crie um.
    • Insira o Host, a Porta, o Nome do banco de dados, o Nome de usuário e a Senha.
    • Se estiver usando TLS, selecione um Modo TLS e forneça um Certificado PEM confiável.
    • Em Objetos de metadados do MySQL para importar, clique em Procurar para selecionar objetos.

  6. Na seção Configurações de destino:

    • Clique em Procurar e selecione um Grupo de entradas do Knowledge Catalog para armazenar os metadados importados ou clique em Criar novo grupo de entradas.
    • Escolha se você quer definir permissões no grupo de entrada agora ou depois. Defina permissões para que os usuários possam ver os metadados importados. Se você não concedeu o papel Importador de grupo de entradas do Dataplex (roles/dataplex.entryGroupImporter) ou a permissão dataplex.entryGroups.import ao agente de serviço do serviço de transferência de dados do BigQuery (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) no nível do projeto, faça isso no nível do grupo de entradas.

  7. No campo Nome de exibição, na seção Nome da configuração do conector, insira um nome para o job de importação de metadados.

  8. Na seção Opções de programação, configure a frequência do job de importação de metadados. Se você selecionar Sob demanda, o job será executado apenas quando você acioná-lo manualmente.

  9. Opcional: na seção Opções de notificação, configure notificações por e-mail ou Pub/Sub para falhas de jobs.

  10. Opcional: na seção Opções avançadas, configure as opções de criptografia. Se você selecionar uma chave de criptografia gerenciada pelo cliente (CMEK), observe que a chave será usada para criptografar todos os dados temporários armazenados antes de iniciar os jobs de importação de metadados do Catálogo do Knowledge. Ele não é usado para criptografar os metadados no grupo de entradas de destino do Knowledge Catalog.

  11. Clique em Salvar.

Depois de criar o job, o catálogo de dados do Knowledge Catalog programa a primeira execução de acordo com sua configuração, ou você pode iniciá-la manualmente.

A seguir