Eseguire la migrazione di un metastore MySQL autogestito a Dataproc Metastore

Eseguire la migrazione di un metastore MySQL autogestito a Dataproc Metastore

Questa pagina mostra come eseguire la migrazione del metastore MySQL autogestito esterno a Dataproc Metastore creando un file di dump MySQL e importando i metadati in un servizio Dataproc Metastore esistente.

Prima di iniziare

Accedi al tuo Google Cloud account. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei workload.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Abilita l'API Dataproc Metastore.

   Ruoli richiesti per abilitare le API

   Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo servizi (roles/serviceusage.serviceUsageAdmin), che contiene l'autorizzazione serviceusage.services.enable. Scopri come concedere i ruoli.

   Abilitare l'API

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un Dataproc Metastore e importare un metastore MySQL, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Per creare un servizio e importare i metadati:
  • Editor Dataproc Metastore (roles/metastore.editor) sul progetto
  • Amministratore Dataproc Metastore (roles/metastore.admin) sul progetto.
• Per utilizzare l'oggetto Cloud Storage (file di dump SQL) per l'importazione:
  • Visualizzatore oggetti Storage (roles/storage.objectViewer) sull'agente di servizio Dataproc Metastore. Ad esempio, [e-mail].
  • Visualizzatore oggetti Storage (roles/storage.objectViewer) sull'account utente.

Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per creare un Dataproc Metastore e importare un metastore MySQL. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare un Dataproc Metastore e importare un metastore MySQL sono necessarie le seguenti autorizzazioni:

• Per creare un servizio: metastore.services.create sul progetto.
• Per importare i metadati: metastore.imports.create sul progetto.
• Per utilizzare l'oggetto Cloud Storage (file di dump SQL) per l'importazione:
  • storage.objects.get sull'agente di servizio Dataproc Metastore. Ad esempio, [e-mail]
  • storage.objects.get sull'account utente.

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per saperne di più sui ruoli e sulle autorizzazioni specifici di Dataproc Metastore, consulta Gestire l'accesso a Managed Service for Apache Spark con IAM.

Crea un servizio Dataproc Metastore

Le seguenti istruzioni mostrano come creare un servizio Dataproc Metastore in cui puoi eseguire la migrazione del file di dump SQL.

Console

1. Nella Google Cloud console, apri la pagina Crea servizio:

   Vai a Crea servizio

   

   La pagina Crea servizio di Dataproc Metastore

2. Nel campo Nome servizio, inserisci example-service.

3. Seleziona la località dei dati. Per informazioni sulla selezione di una regione, vedi Località cloud.

4. Per le altre opzioni di configurazione del servizio, utilizza le impostazioni predefinite fornite.

5. Per creare e avviare il servizio, fai clic sul pulsante Invia.

Il nuovo servizio viene visualizzato nell'elenco Servizi.

gcloud

Esegui il seguente gcloud metastore services create comando per creare un servizio:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Sostituisci LOCATION con la regione di Compute Engine in cui prevedi di creare il servizio. Assicurati che Dataproc Metastore sia disponibile nella regione.

REST

Segui le istruzioni dell'API per creare un servizio utilizzando Explorer API.

Preparati per la migrazione

Ora devi preparare i metadati archiviati nel database del metastore Hive per l'importazione creando un file di dump MySQL e inserendolo in un bucket Cloud Storage.

Per i passaggi di preparazione alla migrazione, consulta Preparare i file di importazione prima dell'importazione.

Importa i metadati

Ora che hai preparato il file di dump, importalo nel servizio Dataproc Metastore.

Per i passaggi per importare i metadati nel servizio example-service, consulta Importare i file in Dataproc Metastore.

Nota: se utilizzi i Controlli di servizio VPC, puoi importare i dati solo da un bucket Cloud Storage che si trova nello stesso perimetro di servizio del servizio Dataproc Metastore.

Crea e collega un cluster Managed Service for Apache Spark

Dopo aver importato i metadati nel servizio Dataproc Metastore example-service, crea e collega un cluster Managed Service for Apache Spark che utilizza il servizio come metastore Hive.

Libera spazio

Per evitare che al tuo Google Cloud account vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella Google Cloud console, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Se il progetto che prevedi di eliminare è collegato a un'organizzazione, espandi l'elenco Organizzazione nella colonna Nome.
3. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
4. Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.

In alternativa, puoi eliminare le risorse utilizzate in questo tutorial:

1. Elimina il servizio Dataproc Metastore.

   Console

   1. Nella Google Cloud console, apri la pagina Dataproc Metastore:

      Apri Dataproc Metastore nella Google Cloud console

   2. A sinistra del nome del servizio, seleziona example-service selezionando la casella.

   3. Nella parte superiore della pagina Dataproc Metastore, fai clic su Elimina per eliminare il servizio.

   4. Nella finestra di dialogo, fai clic su Elimina per confermare l'eliminazione.

   Il servizio non viene più visualizzato nell'elenco Servizi.

   gcloud

   Esegui il seguente comando gcloud metastore services delete per eliminare un servizio:

    gcloud metastore services delete example-service \
        --location=LOCATION

   Sostituisci LOCATION con la regione di Compute Engine in cui hai creato il servizio.

   REST

   Segui le istruzioni dell'API per eliminare un servizio utilizzando Explorer API.

   Tutte le eliminazioni vengono eseguite immediatamente.

   Nota: l'eliminazione del servizio comporta l'eliminazione di tutte le importazioni nidificate al suo interno.

2. Elimina il bucket Cloud Storage per il servizio Dataproc Metastore.

   Nota: l'eliminazione del servizio Dataproc Metastore non comporta l'eliminazione del relativo bucket.

Passaggi successivi

• Che cos'è Dataproc Metastore?
• Importazione di metadati in un servizio
• Collega un cluster Managed Service for Apache Spark o un cluster autogestito