Importare i metadati da MySQL

Questo documento descrive come importare i metadati da MySQL in Knowledge Catalog (in precedenza Dataplex Universal Catalog) utilizzando un connettore Knowledge Catalog.

Questo connettore supporta le istanze MySQL ospitate on-premise, in Cloud SQL o in altri ambienti cloud.

Prima di poter importare i metadati da MySQL, completa le seguenti attività:

  1. Concedi i ruoli e le autorizzazioni richiesti.
  2. Abilita le API Knowledge Catalog e BigQuery Data Transfer Service.
  3. Soddisfa i prerequisiti di MySQL.
  4. Soddisfa i prerequisiti di networking.

Ruoli e autorizzazioni IAM

Per creare e gestire un job del connettore Knowledge Catalog, devi disporre dei ruoli Identity and Access Management (IAM) che concedono le autorizzazioni per Knowledge Catalog e BigQuery Data Transfer Service.

Per ottenere le autorizzazioni necessarie per configurare un connettore MySQL, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Inoltre, devi concedere all'agente di servizio BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) l' dataplex.entryGroups.importautorizzazione o il ruolo Importatore del gruppo di voci Dataplex (roles/dataplex.entryGroupImporter). Puoi concedere questo ruolo a livello di progetto o di gruppo di voci.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso.

Abilita API

Abilita le API Knowledge Catalog e BigQuery Data Transfer Service.

Abilita le API

Prerequisiti di MySQL

Assicurati di soddisfare i prerequisiti per i trasferimenti MySQL. Per i dettagli, consulta Prerequisiti di MySQL nella documentazione di BigQuery Data Transfer Service.

Oltre ai prerequisiti di BigQuery Data Transfer Service, il tuo database MySQL deve soddisfare i seguenti requisiti per l'estrazione dei metadati:

  • Versione minima: MySQL versione 8.0 o successive.
  • Autorizzazioni minime richieste: lo strumento di estrazione richiede autorizzazioni specifiche per eseguire correttamente query su INFORMATION_SCHEMA e raccogliere i metadati.

Queste autorizzazioni garantiscono la seguente copertura dei metadati:

  • Informazioni su istanza e database: nome host, porta, versione e configurazioni dello schema.
  • Tabelle e colonne: struttura principale, tipi di dati e metadati operativi, come dimensioni e conteggi delle righe.
  • Indici e partizioni: indici secondari, metodi di partizionamento ed espressioni.
  • Viste: strutture e definizioni delle tabelle virtuali.
  • Routine: stored procedure, funzioni e relativi parametri.
  • Vincoli: vincoli dettagliati di chiave primaria, chiave esterna, univoca e di controllo.
  • Trigger: definizioni dei trigger e tempistiche degli eventi.

Per concedere queste autorizzazioni, esegui i seguenti script SQL.

  1. Crea l'utente:

    CREATE USER 'USERNAME'@'%'
IDENTIFIED BY 'PASSWORD';

  2. Concedi l'accesso ai metadati. Puoi concedere l'accesso a un singolo database di destinazione o a tutti i database dell'istanza.

    Per concedere l'accesso a un singolo database o schema di destinazione:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON DATABASE_NAME.*
TO 'USERNAME'@'%';

    In alternativa, per concedere l'accesso a tutti i database dell'istanza:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON *.*
TO 'USERNAME'@'%';

  3. Consenti allo strumento di estrazione di elencare tutti i database disponibili nell'istanza:

    GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';

  4. Applica le modifiche:

    FLUSH PRIVILEGES;

Sostituisci quanto segue:

  • USERNAME: l'utente del database che vuoi configurare.
  • PASSWORD: la password per l'utente del database.
  • DATABASE_NAME: il nome del database MySQL a cui vuoi accedere.

Prerequisiti di networking

Quando ti connetti in modo sicuro a database esterni o a origini dati cloud di terze parti con un indirizzo IP privato all'interno di una rete privata, è necessario un collegamento di rete per la connessione tramite Private Service Connect per consentire a BigQuery Data Transfer Service di accedere al tuo database.

Se ti connetti a un ambiente on-premise o a un'istanza ospitata nel cloud utilizzando un indirizzo IP pubblico, non è necessario un collegamento di rete.

Configura un connettore MySQL

  1. Nella Google Cloud console, vai alla pagina Knowledge Catalog.

    Vai a Knowledge Catalog

  2. Nel menu di navigazione, nella sezione Gestisci, fai clic su Connettori.

  3. Fai clic su Aggiungi connessione.

  4. Nell'elenco Connettori, seleziona la scheda MySQL.

  5. Nella sezione Dettagli origine dati, fornisci i dettagli della connessione per l'istanza MySQL:

    • Per Collegamento di rete, seleziona un collegamento di rete esistente, se necessario, o creane uno.
    • Inserisci Host, Porta, Nome database, Nome utente e Password.
    • Se utilizzi TLS, seleziona una Modalità TLS e fornisci un Certificato PEM attendibile.
    • Per Oggetti metadati MySQL da importare, fai clic su Sfoglia per selezionare gli oggetti.

  6. Nella sezione Impostazioni destinazione:

    • Fai clic su Sfoglia e seleziona un gruppo di voci Knowledge Catalog esistente in cui archiviare i metadati importati oppure fai clic su Crea nuovo gruppo di voci.
    • Scegli se impostare le autorizzazioni per il gruppo di voci ora o in un secondo momento. Imposta le autorizzazioni in modo che gli utenti possano visualizzare i metadati importati. Se non hai concesso il ruolo Importatore del gruppo di voci Dataplex (roles/dataplex.entryGroupImporter) o l'autorizzazione dataplex.entryGroups.import all'agente di servizio BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) a livello di progetto, devi concederlo a livello di gruppo di voci.

  7. Nella sezione Nome configurazione connettore, per Nome visualizzato, inserisci un nome per il job di importazione dei metadati.

  8. Nella sezione Opzioni di pianificazione, configura la frequenza per il job di importazione dei metadati. Se selezioni On demand, il job viene eseguito solo quando lo attivi manualmente.

  9. (Facoltativo) Nella sezione Opzioni di notifica, configura le notifiche via email o Pub/Sub per gli errori dei job.

  10. (Facoltativo) Nella sezione Opzioni avanzate, configura le impostazioni di crittografia. Se selezioni una chiave di crittografia gestita dal cliente (CMEK), tieni presente che la chiave viene utilizzata per criptare tutti i dati temporanei di cui è stato eseguito lo staging prima di avviare i job di importazione dei metadati di Knowledge Catalog. Non viene utilizzata per criptare i metadati nel gruppo di voci di destinazione di Knowledge Catalog.

  11. Fai clic su Salva.

Dopo aver creato il job, Knowledge Catalog pianifica la prima esecuzione in base alla configurazione oppure puoi avviarla manualmente.

Passaggi successivi