Importare i metadati da MySQL

Questo documento descrive come importare i metadati da MySQL in Knowledge Catalog (in precedenza Dataplex Universal Catalog) utilizzando un connettore Knowledge Catalog.

Questo connettore supporta le istanze MySQL ospitate on-premise, in Cloud SQL o in altri ambienti cloud.

Prima di poter importare i metadati da MySQL, completa le seguenti attività:

  1. Concedi i ruoli e le autorizzazioni richiesti.
  2. Abilita le API Knowledge Catalog e BigQuery Data Transfer Service.
  3. Soddisfa i prerequisiti di MySQL.
  4. Soddisfa i prerequisiti di networking.

Ruoli e autorizzazioni IAM

Per creare e gestire un job del connettore Knowledge Catalog, devi disporre dei ruoli Identity and Access Management (IAM) che concedono le autorizzazioni per Knowledge Catalog e BigQuery Data Transfer Service.

Per ottenere le autorizzazioni necessarie per configurare un connettore MySQL, chiedi all'amministratore di concederti i seguenti ruoli IAM:

Inoltre, devi concedere all'agente di servizio BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) l' dataplex.entryGroups.importautorizzazione o il ruolo Importatore del gruppo di voci Dataplex (roles/dataplex.entryGroupImporter). Puoi concedere questo ruolo a livello di progetto o di gruppo di voci.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso.

Abilita API

Abilita le API Knowledge Catalog e BigQuery Data Transfer Service.

Abilita le API

Prerequisiti di MySQL

Assicurati di soddisfare i prerequisiti per i trasferimenti MySQL. Per i dettagli, consulta Prerequisiti di MySQL nella documentazione di BigQuery Data Transfer Service.

Oltre ai prerequisiti di BigQuery Data Transfer Service, il tuo database MySQL deve soddisfare i seguenti requisiti per l'estrazione dei metadati:

  • Versione minima: MySQL versione 8.0 o successive.
  • Autorizzazioni minime richieste: lo strumento di estrazione richiede autorizzazioni specifiche per eseguire correttamente query su INFORMATION_SCHEMA e raccogliere i metadati.

Queste autorizzazioni garantiscono la seguente copertura dei metadati:

  • Informazioni su istanza e database: nome host, porta, versione e configurazioni dello schema.
  • Tabelle e colonne: struttura principale, tipi di dati e metadati operativi, come dimensioni e conteggi delle righe.
  • Indici e partizioni: indici secondari, metodi di partizionamento ed espressioni.
  • Viste: strutture e definizioni delle tabelle virtuali.
  • Routine: stored procedure, funzioni e relativi parametri.
  • Vincoli: vincoli dettagliati di chiave primaria, chiave esterna, univoca e di controllo.
  • Trigger: definizioni dei trigger e tempistiche degli eventi.

Per concedere queste autorizzazioni, esegui i seguenti script SQL.

  1. Crea l'utente:

    CREATE USER 'USERNAME'@'%'
IDENTIFIED BY 'PASSWORD';

  2. Concedi l'accesso ai metadati. Puoi concedere l'accesso a un singolo database di destinazione o a tutti i database dell'istanza.

    Per concedere l'accesso a un singolo database o schema di destinazione:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON DATABASE_NAME.*
TO 'USERNAME'@'%';

    In alternativa, per concedere l'accesso a tutti i database dell'istanza:

    GRANT SELECT, SHOW VIEW, REFERENCES, EXECUTE, TRIGGER
ON *.*
TO 'USERNAME'@'%';

  3. Consenti allo strumento di estrazione di elencare tutti i database disponibili nell'istanza:

    GRANT SHOW DATABASES ON *.* TO 'USERNAME'@'%';

  4. Applica le modifiche:

    FLUSH PRIVILEGES;

Sostituisci quanto segue:

  • USERNAME: l'utente del database che vuoi configurare.
  • PASSWORD: la password per l'utente del database.
  • DATABASE_NAME: il nome del database MySQL a cui vuoi accedere.

Prerequisiti di networking

Quando ti connetti in modo sicuro a database esterni o a origini dati cloud di terze parti con un indirizzo IP privato all'interno di una rete privata, è necessario un collegamento di rete per la connessione tramite Private Service Connect per consentire a BigQuery Data Transfer Service di accedere al tuo database.

Se ti connetti a un ambiente on-premise o a un'istanza ospitata nel cloud utilizzando un indirizzo IP pubblico, non è necessario un collegamento di rete.

Configurare un connettore MySQL

Configura un connettore MySQL utilizzando la Google Cloud console o l'API.

Console

  1. Nella Google Cloud console, vai alla pagina Knowledge Catalog.

    Vai a Knowledge Catalog

  2. Nel menu di navigazione, nella sezione Gestisci, fai clic su Connettori.

  3. Fai clic su Aggiungi connessione.

  4. Nell'elenco Connettori, seleziona la scheda MySQL.

  5. Nella sezione Dettagli origine dati, fornisci i dettagli della connessione per l'istanza MySQL:

    • Per Collegamento di rete, seleziona un collegamento di rete esistente, se necessario, o creane uno.
    • Inserisci Host, Porta, Nome database, Nome utente e Password.
    • Se utilizzi TLS, seleziona una Modalità TLS e fornisci un Certificato PEM attendibile.
    • Per Oggetti metadati MySQL da importare, fai clic su Sfoglia per selezionare gli oggetti.

  6. Nella sezione Impostazioni destinazione:

    • Fai clic su Sfoglia e seleziona un gruppo di voci di Knowledge Catalog esistente in cui archiviare i metadati importati oppure fai clic su Crea nuovo gruppo di voci.
    • Scegli se impostare le autorizzazioni per il gruppo di voci ora o in un secondo momento. Imposta le autorizzazioni in modo che gli utenti possano visualizzare i metadati importati. Se non hai concesso il ruolo Importatore del gruppo di voci Dataplex (roles/dataplex.entryGroupImporter) o l'autorizzazione dataplex.entryGroups.import all'agente di servizio BigQuery Data Transfer Service (service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer.iam.gserviceaccount.com) a livello di progetto, devi concederlo a livello di gruppo di voci.

  7. Nella sezione Nome configurazione connettore, per Nome visualizzato, inserisci un nome per il job di importazione dei metadati.

  8. Nella sezione Opzioni di pianificazione, configura la frequenza per il job di importazione dei metadati. Se selezioni On demand, il job viene eseguito solo quando lo attivi manualmente.

  9. (Facoltativo) Nella sezione Opzioni di notifica, configura le notifiche via email o Pub/Sub per gli errori dei job.

  10. (Facoltativo) Nella sezione Opzioni avanzate, configura le impostazioni di crittografia. Se selezioni una chiave di crittografia gestita dal cliente (CMEK), tieni presente che la chiave viene utilizzata per criptare tutti i dati temporanei di cui è stato eseguito lo staging prima di avviare i job di importazione dei metadati di Knowledge Catalog. Non viene utilizzata per criptare i metadati nel gruppo di voci di destinazione di Knowledge Catalog.

  11. Fai clic su Salva.

REST

Utilizza il projects.locations.transferConfigs.create metodo. Nella TransferConfig risorsa, configura i seguenti campi:

  • Imposta il campo dataSourceId su "mysql".
  • Nel campo metadataDestination, inserisci l'dataplexConfiguration oggetto con il percorso della risorsa del gruppo di voci di destinazione di Knowledge Catalog: projects/<var>PROJECT_ID</var>/locations/<var>LOCATION</var>/entryGroups/<var>ENTRY_GROUP_ID</var>

Dopo aver creato il job, Knowledge Catalog pianifica la prima esecuzione in base alla configurazione oppure puoi avviarla manualmente.

Cercare e visualizzare i metadati MySQL

  1. Nella Google Cloud console, vai alla pagina Cerca di Knowledge Catalog.

    Vai a Cerca

  2. Nel riquadro Filtri , puoi filtrare le risorse MySQL utilizzando le sezioni Progetto, Sistema e Alias di tipo. Nella sezione Sistema, seleziona Contesto importato. Se selezioni questo filtro, si apre una sottosezione Connettori gestiti. Seleziona MySQL per filtrare tutti i metadati MySQL.

  3. Puoi utilizzare il campo di ricerca per eseguire query di ricerca. Puoi eseguire una ricerca per parola chiave o in linguaggio naturale. Ad esempio, per visualizzare tutte le tabelle MySQL tramite la ricerca per parola chiave, inserisci system=MYSQL AND type=TABLE.

    Per saperne di più sulla ricerca di risorse, consulta Cercare risorse in Knowledge Catalog. Per saperne di più sulle espressioni che puoi utilizzare nel campo di ricerca, consulta Sintassi di ricerca per Knowledge Catalog.

  4. Puoi anche utilizzare l' LookupContext per recuperare il contesto LLM per risorse MySQL specifiche.

Passaggi successivi