Extrae metadatos de Apache Hive para la migración

En este documento, se muestra cómo puedes usar la herramienta de dwh-migration-dumper para extraer los metadatos necesarios antes de ejecutar una migración de datos o permisos de Apache Hive.

En este documento, se aborda la extracción de metadatos de las siguientes fuentes de datos:

  • Apache Hive
  • Sistema de archivos distribuidos de Apache Hadoop (HDFS)
  • Apache Ranger
  • Cloudera Manager
  • Registros de consultas de Apache Hive

Antes de comenzar

Antes de usar la herramienta de dwh-migration-dumper, haz lo siguiente:

Instala Java

El servidor en el que planeas ejecutar la herramienta dwh-migration-dumper debe tener instalado Java 8 o una versión posterior. Si no es así, descarga Java desde la página de descargas de Java y, luego, instálalo.

Permisos necesarios

La cuenta de usuario que especifiques para conectar la herramienta dwh-migration-dumper al sistema de origen debe tener permisos para leer los metadatos de ese sistema. Confirma que esta cuenta tenga la membresía de rol adecuada para consultar los recursos de metadatos disponibles para tu plataforma. Por ejemplo, INFORMATION_SCHEMA es un recurso de metadatos común en varias plataformas.

Instala la herramienta dwh-migration-dumper

Para instalar la herramienta dwh-migration-dumper, sigue estos pasos:

  1. En la máquina en la que deseas ejecutar la herramienta dwh-migration-dumper, descarga el archivo ZIP desde el repositorio de GitHub de la herramienta dwh-migration-dumper.

  2. Para validar el archivo ZIP de la herramienta de dwh-migration-dumper, descarga el archivo SHA256SUMS.txt y ejecuta el siguiente comando:

    Bash 

    sha256sum --check SHA256SUMS.txt

    Si la verificación falla, consulta Solución de problemas.

    WindowsPowerShell 

    (Get-FileHash RELEASE_ZIP_FILENAME).Hash -eq ((Get-Content SHA256SUMS.txt) -Split " ")[0]

    Reemplaza RELEASE_ZIP_FILENAME por el nombre del archivo ZIP descargado de la versión de la herramienta de extracción de línea de comandos de dwh-migration-dumper, por ejemplo, dwh-migration-tools-v1.0.52.zip.

    El resultado True confirma la verificación correcta de la suma de comprobación.

    El resultado False indica un error de verificación. Asegúrate de que los archivos de suma de comprobación y ZIP se descarguen de la misma versión de actualización y se coloquen en el mismo directorio.

  3. Extrae el archivo ZIP. El objeto binario de la herramienta de extracción está en el subdirectorio /bin de la carpeta creada mediante la extracción del archivo ZIP.

  4. Actualiza la variable de entorno PATH para incluir la ruta de instalación para la herramienta de extracción.

Extrae metadatos para la migración

Selecciona una de las siguientes opciones para aprender a extraer metadatos de tu fuente de datos:

Apache Hive

Realiza los pasos de la sección Extrae metadatos y registros de consultas de tu almacén de datos de Apache Hive para extraer tus metadatos de Apache Hive. Luego, puedes subir los metadatos a tu bucket de Cloud Storage que contiene tus archivos de migración.

HDFS

Ejecuta el siguiente comando para extraer metadatos de HDFS con la herramienta de dwh-migration-dumper.

dwh-migration-dumper \
  --connector hdfs \
  --host HDFS-HOST \
  --port HDFS-PORT \
  --output gs://MIGRATION-BUCKET/hdfs-dumper-output.zip \
  --assessment \

Reemplaza lo siguiente:

  • HDFS-HOST: el nombre de host del NameNode de HDFS
  • HDFS-PORT: Es el número de puerto del NameNode de HDFS. Puedes omitir este argumento si usas el puerto 8020 predeterminado.
  • MIGRATION-BUCKET: Es el bucket de Cloud Storage que usas para almacenar los archivos de migración.

Este comando extrae metadatos de HDFS a un archivo llamado hdfs-dumper-output.zip en el directorio MIGRATION-BUCKET.

Existen varias limitaciones conocidas cuando se extraen metadatos de HDFS:

  • Algunas tareas de este conector son opcionales y pueden fallar, lo que registra un seguimiento de pila completo en el resultado. Siempre que las tareas requeridas se hayan completado correctamente y se haya generado el hdfs-dumper-output.zip, puedes continuar con la migración de HDFS.
  • El proceso de extracción puede fallar o ejecutarse más lento de lo esperado si el tamaño del grupo de subprocesos configurado es demasiado grande. Si tienes estos problemas, te recomendamos que disminuyas el tamaño del grupo de subprocesos con el argumento de línea de comandos --thread-pool-size.

Apache Ranger

Ejecuta el siguiente comando para extraer metadatos de Apache Ranger con la herramienta de dwh-migration-dumper.

dwh-migration-dumper \
  --connector ranger \
  --host RANGER-HOST \
  --port 6080 \
  --user RANGER-USER \
  --password RANGER-PASSWORD \
  --ranger-scheme RANGER-SCHEME \
  --output gs://MIGRATION-BUCKET/ranger-dumper-output.zip \
  --assessment \

Reemplaza lo siguiente:

  • RANGER-HOST: Es el nombre de host de la instancia de Apache Ranger.
  • RANGER-USER: Es el nombre de usuario del usuario de Apache Ranger.
  • RANGER-PASSWORD: Es la contraseña del usuario de Apache Ranger.
  • RANGER-SCHEME: Especifica si Apache Ranger usa http o https. El valor predeterminado es http.
  • MIGRATION-BUCKET: Es el bucket de Cloud Storage que usas para almacenar los archivos de migración.

También puedes incluir las siguientes marcas opcionales:

  • --kerberos-auth-for-hadoop: Reemplaza --user y --password si Apache Ranger está protegido por Kerberos en lugar de la autenticación básica. Debes ejecutar el comando kinit antes de la herramienta dwh-migration-dumper para usar esta marca.
  • --ranger-disable-tls-validation: Incluye esta marca si el certificado HTTPS que usa la API está autofirmado. Por ejemplo, cuando usas Cloudera.

Este comando extrae metadatos de Apache Ranger a un archivo llamado ranger-dumper-output.zip en el directorio MIGRATION-BUCKET.

Cloudera

Ejecuta el siguiente comando para extraer metadatos de Cloudera con la herramienta de dwh-migration-dumper.

dwh-migration-dumper \
  --connector cloudera-manager \
  --url CLOUDERA-URL \
  --user CLOUDERA-USER \
  --password CLOUDERA-PASSWORD \
  --output gs://MIGRATION-BUCKET/cloudera-dumper-output.zip \
  --yarn-application-types APPLICATION-TYPES \
  --pagination-page-size PAGE-SIZE \
  --assessment \

Reemplaza lo siguiente:

  • CLOUDERA-URL: Es la URL de Cloudera Manager.
  • CLOUDERA-USER: Es el nombre de usuario del usuario de Cloudera.
  • CLOUDERA-PASSWORD: la contraseña del usuario de Cloudera
  • MIGRATION-BUCKET: Es el bucket de Cloud Storage que usas para almacenar los archivos de migración.
  • APPLICATION-TYPES: Es una lista opcional de todos los tipos de aplicaciones existentes de Hadoop YARN. Por ejemplo, SPARK, MAPREDUCE
  • PAGE-SIZE: Especifica cuántos datos se recuperan de los servicios de terceros, como la API de YARN de Hadoop (opcional). El valor predeterminado es 1000, que representa 1,000 entidades por solicitud.

Este comando extrae metadatos de Cloudera a un archivo llamado dwh-migration-cloudera.zip en el directorio MIGRATION-BUCKET.

Registros de consultas de Apache Hive

Realiza los pasos de la sección de Apache Hive Extrae registros de consultas con el hook de registro hadoop-migration-assessment para extraer tus registros de consultas de Apache Hive. Luego, puedes subir los registros al bucket de Cloud Storage que contiene tus archivos de migración.

¿Qué sigue?

Con los metadatos extraídos de Hadoop, puedes usar estos archivos de metadatos para hacer lo siguiente: