Migra un almacén de metadatos de MySQL autoadministrado a Dataproc Metastore

Migra un almacén de metadatos de MySQL autoadministrado a Dataproc Metastore

En esta página, se muestra cómo migrar tu almacén de metadatos de MySQL externo autoadministrado a Dataproc Metastore mediante la creación de un archivo de volcado de MySQL y la importación de los metadatos a un servicio de Dataproc Metastore existente.

Antes de comenzar

Accede a tu Google Cloud cuenta de. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

1. Habilita la API de Dataproc Metastore.

   Roles necesarios para habilitar las APIs

   Para habilitar las APIs, necesitas el rol de IAM de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin), que contiene el permiso serviceusage.services.enable. Obtén más información para otorgar roles.

   Habilitar la API

Funciones requeridas

Para obtener los permisos que necesitas para crear un Dataproc Metastore y, luego, importar un almacén de metadatos de MySQL, pídele a tu administrador que te otorgue los siguientes roles de IAM:

• Para crear un servicio y, luego, importar metadatos:
  • Editor de Dataproc Metastore (roles/metastore.editor) en el proyecto
  • Administrador de Dataproc Metastore (roles/metastore.admin) en el proyecto.
• Para usar el objeto de Cloud Storage (archivo de volcado de SQL) para la importación:
  • Visualizador de objetos de almacenamiento (roles/storage.objectViewer) en el agente de servicio de Dataproc Metastore Por ejemplo, [e-mail].
  • Visualizador de objetos de almacenamiento (roles/storage.objectViewer) en la cuenta de usuario

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para crear un Dataproc Metastore y, luego, importar un almacén de metadatos de MySQL. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para crear un Dataproc Metastore y, luego, importar un almacén de metadatos de MySQL:

• Para crear un servicio: metastore.services.create en el proyecto.
• Para importar metadatos: metastore.imports.create en el proyecto.
• Para usar el objeto de Cloud Storage (archivo de volcado de SQL) para la importación:
  • storage.objects.get en el agente de servicio de Dataproc Metastore Por ejemplo, [e-mail]
  • storage.objects.get en la cuenta de usuario

También puedes obtener estos permisos con roles personalizados o otros roles predefinidos.

Para obtener más información sobre los roles y permisos específicos de Dataproc Metastore, consulta Administra el acceso a Managed Service para Apache Spark con IAM.

Crea un servicio de Dataproc Metastore

En las siguientes instrucciones, se muestra cómo crear un servicio de Dataproc Metastore al que puedes migrar tu archivo de volcado de SQL.

Console

1. En la Google Cloud consola, abre la página Crear servicio:

   Ir a Crear servicio

   

   La página Crear servicio de Dataproc Metastore

2. En el campo Nombre del servicio, ingresa example-service.

3. Selecciona la Ubicación de los datos. Consulta Ubicaciones de Cloud si necesitas información para seleccionar una región.

4. Para otras opciones de configuración del servicio, usa los valores predeterminados proporcionados.

5. Para crear y, luego, iniciar el servicio, haz clic en el botón Enviar.

El nuevo servicio aparecerá en la lista de servicios.

gcloud

Ejecuta el siguiente comando gcloud metastore services create para crear un servicio:

 gcloud metastore services create example-service \
     --location=LOCATION
 

Reemplaza LOCATION por la región de Compute Engine en la que planeas crear el servicio. Asegúrate de que Dataproc Metastore esté disponible en la región.

REST

Sigue las instrucciones de la API para crear un servicio mediante el Explorador de API.

Prepárate para la migración

Ahora debes preparar los metadatos almacenados en tu base de datos del almacén de metadatos de Hive para importar creando un archivo de volcado de MySQL y colocándolo en un bucket de Cloud Storage.

Consulta Prepara los archivos de importación antes de la importación para obtener los pasos para prepararte para la migración.

Importa los metadatos

Ahora que preparaste el archivo de volcado, impórtalo a tu servicio de Dataproc Metastore.

Consulta Importa los archivos a Dataproc Metastore para obtener los pasos para importar los metadatos a tu servicio example-service.

Nota: Si usas los Controles del servicio de VPC, solo puedes importar datos desde un bucket de Cloud Storage que resida en el mismo perímetro de servicio que el servicio de Dataproc Metastore.

Crea y conecta un clúster de Managed Service para Apache Spark

Después de importar los metadatos a tu servicio example-servicede Dataproc Metastore, crea y conecta un clúster de Managed Service para Apache Spark que use el servicio como su almacén de metadatos de Hive.

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu Google Cloud cuenta de por los recursos que usaste en esta página.

Precaución: Borrar un proyecto tiene estas consecuencias:

• Se borra todo su contenido. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los IDs personalizados de los proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID personalizado del proyecto que desees utilizar en el futuro. Para conservar las URLs que usan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto, en lugar de todo el proyecto.

Si planeas explorar varios instructivos, arquitecturas o guías de inicio rápido, reutilizar proyectos puede ser útil para no exceder los límites de cuota de los proyectos.

1. En la Google Cloud consola, ve a la página Administrar recursos.

   Ir a Administrar recursos

2. Si el proyecto que deseas borrar está vinculado con una organización, expande la lista Organización en la columna Nombre.
3. En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
4. En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.

Como alternativa, puedes borrar los recursos que se usan en este instructivo de la siguiente manera:

1. Borra el servicio de Dataproc Metastore.

   Console

   1. En la Google Cloud consola, abre la página Dataproc Metastore:

      Abre Dataproc Metastore en la Google Cloud consola

   2. A la izquierda del nombre del servicio, marca la casilla para seleccionar example-service.

   3. En la parte superior de la página Dataproc Metastore, haz clic en Borrar para borrar el servicio.

   4. En el cuadro de diálogo, haz clic en Borrar para confirmar la eliminación.

   Tu servicio ya no aparece en la lista de servicios.

   gcloud

   Ejecuta el siguiente comando gcloud metastore services delete para borrar un servicio:

    gcloud metastore services delete example-service \
        --location=LOCATION

   Reemplaza LOCATION por la región de Compute Engine en la que creaste el servicio.

   REST

   Sigue las instrucciones de la API para borrar un servicio mediante el Explorador de API.

   Todas las eliminaciones se completa de forma exitosa de inmediato.

   Nota: Si borras el servicio, se borrarán todas las importaciones anidadas en ese servicio.

2. Borra el bucket de Cloud Storage para el servicio de Dataproc Metastore.

   Nota: Borrar el servicio de Dataproc Metastore no borra su bucket.

¿Qué sigue?

• ¿Qué es Dataproc Metastore?
• Importar metadatos a un servicio
• Conecta un clúster de Managed Service para Apache Spark o un clúster autoadministrado