"Servicio administrado para Apache Spark" es el nuevo nombre del producto que antes se conocía como "Dataproc en Compute Engine" (implementación de clústeres) y "Google Cloud Serverless for Apache Spark" (implementación sin servidores).

Configurar Dataproc Hub

Dataproc Hub es un servidor de JupyterHub personalizado. Los administradores configuran y crean instancias de Dataproc Hub que pueden generar clústeres de Managed Service for Apache Spark de un solo usuario para alojar entornos de notebook de Jupyter y JupyterLab (consulta Usa Dataproc Hub).

Lanzar Notebooks para varios usuarios Puedes crear una instancia de Vertex AI Workbench habilitada para Managed Service for Apache Spark o instalar el complemento de JupyterLab de Managed Service for Apache Spark en una VM para entregar notebooks a varios usuarios.

Objetivos

Define una configuración del clúster de Servicio administrado para Apache Spark (o usa uno de los archivos de configuración predefinidos).
Configura las variables de entorno de la instancia de Dataproc Hub.
Crea una instancia de Dataproc Hub.

Antes de comenzar

Si aún no lo hiciste, crea un Google Cloud proyecto y un bucket de Cloud Storage.

Configura tu proyecto
Crea un bucket de Cloud Storage en tu proyecto para conservar los datos que se usan en este instructivo.
1. En la consola de Google Cloud , ve a la página Buckets de Cloud Storage.
  Ir a Buckets
2. Haz clic en Crear.
3. En la página Crear un bucket, ingresa la información de tu bucket. Para ir al paso siguiente, haz clic en Continuar.
  1. En la sección Primeros pasos, haz lo siguiente:
    - Ingresa un nombre único a nivel global que cumpla con los requisitos de nombre de los buckets.
    - Para agregar una etiqueta de bucket, expande la sección Etiquetas (), haz clic en Agregar etiqueta y especifica una key y un value para tu etiqueta.
  2. En la sección Elige dónde almacenar tus datos, haz lo siguiente:
    1. Selecciona un tipo de ubicación
    2. Elige una ubicación en la que se almacenen de forma permanente los datos de tu bucket en el menú desplegable Tipo de ubicación.
      - Si seleccionas el tipo de ubicación birregional, también puedes habilitar la replicación turbo con la casilla de verificación correspondiente.
    3. Para configurar la replicación bucket buckets, selecciona Agregar replicación entre bucket a través del Servicio de transferencia de almacenamiento y sigue estos pasos:
      Configura la replicación entre buckets
      
      En el menú Bucket, selecciona un bucket.
      
      En la sección Configuración de replicación, haz clic en Configurar para configurar los parámetros del trabajo de replicación.
      
      Aparecerá el panel Configurar la replicación entre buckets.
      
      Para filtrar los objetos que se replicarán por prefijo de nombre de objeto, ingresa un prefijo con el que quieras incluir o excluir objetos y, luego, haz clic en Agregar un prefijo.
      
      Para establecer una clase de almacenamiento para los objetos replicados, selecciona una clase de almacenamiento en el menú Clase de almacenamiento. Si omites este paso, los objetos replicados usarán la clase de almacenamiento del bucket de destino de forma predeterminada.
      
      Haz clic en Listo.
  3. En la sección Elige cómo almacenar tus datos, haz lo siguiente:
    1. Selecciona una clase de almacenamiento predeterminada para el bucket o Autoclass para la administración automática de clases de almacenamiento de los datos de tu bucket.
    2. Para habilitar el espacio de nombres jerárquico, en la sección Optimizar el almacenamiento para cargas de trabajo con uso intensivo de datos, selecciona Habilitar el espacio de nombres jerárquico en este bucket.
      Nota: No puedes habilitar el espacio de nombres jerárquico en buckets existentes.
  4. En la sección Elige cómo controlar el acceso a los objetos, selecciona si tu bucket aplica o no la prevención del acceso público y elige un método de control de acceso para los objetos del bucket.
    Nota: No puedes cambiar el parámetro de configuración Impedir el acceso público si este parámetro se aplica en una política de la organización.
  5. En la sección Elige cómo proteger los datos de objetos, haz lo siguiente:
    - Selecciona cualquiera de las opciones de Protección de datos que desees configurar para tu bucket.
      - Para habilitar la eliminación no definitiva, haz clic en la casilla de verificación Política de eliminación no definitiva (para la recuperación de datos) y especifica la cantidad de días que deseas conservar los objetos después de la eliminación.
      - Para configurar el control de versiones de objetos, haz clic en la casilla de verificación Control de versiones de objetos (para el control de versión) y especifica la cantidad máxima de versiones por objeto y la cantidad de días después de los cuales vencen las versiones no actuales.
      - Para habilitar la política de retención en objetos y buckets, haz clic en la casilla de verificación Retención (para cumplimiento) y, luego, haz lo siguiente:
        
        Para habilitar el bloqueo de retención de objetos, haz clic en la casilla de verificación Habilitar la retención de objetos.
        
        Para habilitar el Bloqueo del bucket, haz clic en la casilla de verificación Establecer política de retención del bucket y elige una unidad de tiempo y una duración para tu período de retención.
    - Para elegir cómo se encriptarán los datos de tus objetos, expande la sección Encriptación de datos () y selecciona un método de encriptación de datos.
4. Haz clic en Crear.

Define una configuración de clústeres

Una instancia de Dataproc Hub crea un clúster a partir de los valores de configuración contenidos en un archivo de configuración de clúster YAML.

Archivos de configuración predefinidos del clúster: Puedes usar los siguientes archivos de configuración predefinidos ubicados en Cloud Storage:

Configuración example-cluster: Configura un clúster de componentes de Jupyter estándar con una instancia principal y 2 nodos trabajadores
Configuración de example-single-node: Configura un clúster de componentes de Jupyter con un nodo.

Para ver estos archivos de configuración públicos de Cloud Storage, ejecuta el siguiente comando:

gcloud storage cat gs://dataproc-spawner-dist/example-configs/example-cluster.yaml
gcloud storage cat gs://dataproc-spawner-dist/example-configs/example-single-node.yaml

Crea un concentrador de guía de inicio rápido. Para crear un concentrador con los parámetros de configuración predefinidos del clúster, ve a Crea una instancia de Managed Service for Apache Spark Hub. La ubicación de Cloud Storage de los archivos de configuración predefinidos del clúster antes mencionados es el valor predeterminado del campo de variable de entorno DATAPROC_CONFIGS.

La configuración de tu clúster puede especificar cualquier característica o componente disponible para los clústeres del servicio administrado para Apache Spark (como el tipo de máquina, las acciones de inicialización y los componentes opcionales). La versión de imagen del clúster debe ser 1.4.13 o superior. Si intentas generar un clúster con una versión de imagen inferior a 1.4.13, se producirá un error y fallará.

Archivo YAML de configuración de clúster de muestra

clusterName: cluster-name
config:
  softwareConfig:
    imageVersion: 2.2-ubuntu22
    optionalComponents:
    - JUPYTER

Cada configuración debe guardarse en Cloud Storage. Puedes crear y guardar varios archivos de configuración para que los usuarios elijan cuando usen Dataproc Hub para crear su entorno de notebook de clúster de Managed Service for Apache Spark.

Hay dos formas de crear un archivo de configuración de clúster YAML:

Crea el archivo de configuración YAML del clúster desde la consola.
Exporta un archivo de configuración YAML del clúster desde un clúster existente.

Crea el archivo de configuración YAML del clúster desde la consola

Abre la página Crear un clúster en la Google Cloud consola y, luego, selecciona y completa los campos para especificar el tipo de clúster que Dataproc Hub generará para los usuarios.
La configuración de la región y la zona se anulará cuando se genere el clúster del usuario: la región del clúster generado será la región donde se encuentra el Dataproc Hub y el usuario seleccionará una zona dentro de esta región.
1. En la parte inferior del panel izquierdo, selecciona "REST equivalente".
2. Copia el bloque JSON generado, sin incluir la línea de solicitud POST inicial; luego pega el bloque JSON en un convertidor JSON a YAML en línea (busca "Convertir JSON a YAML" en línea).
  Algunos convertidores JSON a YAML generan una primera línea que contiene "---". La inclusión de esta línea en el archivo YAML es opcional.
3. Copia el archivo YAML convertido en un archivo cluster-config-filename.yaml local.

Exporta un archivo de configuración YAML del clúster desde un clúster existente

Crea un clúster que coincida con tus requisitos.

Exporta la configuración del clúster a un archivo cluster-config-filename.yaml local.

gcloud dataproc clusters export cluster-name \
    --destination cluster-config-filename.yaml  \
    --region region

Guarda el archivo de configuración YAML en Cloud Storage

Copia el archivo de configuración YAML del clúster local en tu bucket de Cloud Storage.

gcloud storage cp cluster-config-filename.yaml gs://bucket-name/

Configura las variables de entorno de la instancia de Dataproc Hub

El administrador puede configurar las variables de entorno del concentrador que se enumeran en la tabla a continuación para establecer los atributos de los clústeres de Managed Service for Apache Spark que generarán los usuarios del concentrador.

Variable	Descripción	Ejemplo
NOTEBOOKS_LOCATION	La carpeta del bucket o el bucket de Cloud Storage que contiene los notebooks de usuario. El prefijo “gs://” es opcional. Valor predeterminado: El bucket de staging del servicio administrado para Apache Spark.	gs://`bucket-name`/
DATAPROC_CONFIGS	Una lista delimitada por comas de strings de la ruta de acceso de Cloud Storage a los archivos de configuración YAML del clúster. El prefijo “gs://” es opcional. Predeterminado: `gs://dataproc-spawner-dist/example-configs/` que contiene los archivos `example-cluster.yaml` y `example-single-node.yaml` predefinidos.	gs://`cluster-config-filename`.yaml
DATAPROC_LOCATIONS_LIST	Los sufijos de zona en la región en la que se ubica la instancia de Dataproc Hub. Los usuarios pueden seleccionar una de estas zonas como la zona en la que se generará su clúster de Managed Service para Apache Spark. Valor predeterminado: “b”.	b, c, d
DATAPROC_DEFAULT_SUBNET	Subred en la que la instancia de Dataproc Hub generará clústeres de Managed Service for Apache Spark. Predeterminado: la subred de la instancia de Dataproc Hub.	https://www.googleapis.com/compute/v1/projects/`project-id`/regions/`region`/subnetworks/`subnet-name`
DATAPROC_SERVICE_ACCOUNT	Cuenta de servicio en la que se ejecutarán las VMs del servicio administrado para Apache Spark. Predeterminado: Si no se configura, se usa la cuenta de servicio predeterminada de Managed Service for Apache Spark.	`service-account`@`project-id`.iam.gserviceaccount.com
SPAWNER_DEFAULT_URL	Establece si se muestra de forma predeterminada la IU de Jupyter o JupyterLab en los clústeres generados de Managed Service para Apache Spark. Predeterminado: “/lab”.	“/” o “/lab”, para Jupyter o JupyterLab, respectivamente.
DATAPROC_ALLOW_CUSTOM_CLUSTERS	Permite o no que los usuarios personalicen sus clústeres de Managed Service para Apache Spark. Valor predeterminado: false.	“true” o “false”
DATAPROC_MACHINE_TYPES_LIST	Lista de tipos de máquinas que los usuarios pueden elegir para sus clústeres de Managed Service for Apache Spark generados, si la personalización del clúster (DATAPROC_ALLOW_CUSTOM_CLUSTERS) está habilitada. Predeterminado: vacío (se permiten todos los tipos de máquina).	n1-standard-4,n1-standard-8,e2-standard-4,n1-highcpu-4
NOTEBOOKS_EXAMPLES_LOCATION	Ruta de acceso de Cloud Storage al bucket de notebooks o a la carpeta del bucket que se descargarán en el clúster de Managed Service para Apache Spark generado cuando se inicie el clúster. Valor predeterminado: vacío.	gs://`bucket-name`/

Configura las variables de entorno del concentrador

Hay dos formas de configurar las variables de entorno del concentrador:

Configura las variables de entorno del concentrador desde la consola
Configura las variables de entorno del concentrador en un archivo de texto

Configura las variables de entorno del concentrador desde la consola

Cuando creas una instancia de Dataproc Hub desde la pestaña Notebooks administrados por el usuario en la página Dataproc→Workbench de la consola de Google Cloud , puedes hacer clic en el botón Propagar para abrir un formulario Propagar Dataproc Hub que te permita configurar cada variable de entorno.

Configura las variables de entorno del concentrador en un archivo de texto

Crea el archivo. Puedes usar un editor de texto para configurar variables de entorno de la instancia de Dataproc Hub en un archivo local. También puedes crear el archivo si ejecutas el siguiente comando después de completar los valores de marcador de posición y cambiar o agregar las variables y sus valores.
```
cat <<EOF > environment-variables-file
DATAPROC_CONFIGS=gs://bucket/cluster-config-filename.yaml
NOTEBOOKS_LOCATION=gs://bucket/notebooks
DATAPROC_LOCATIONS_LIST=b,c
EOF
```
Guarda el archivo en Cloud Storage. Copia las variables de entorno de la instancia de Dataproc Hub local en tu bucket de Cloud Storage.
```
gcloud storage cp environment-variable-filename gs://bucket-name/folder-name/
```

Configura Identity and Access Management (IAM)

Dataproc Hub incluye las siguientes identidades con las siguientes capacidades:

Administrador: crea una instancia de Dataproc Hub
Usuario de datos y AA: accede a la IU de Dataproc Hub
Cuenta de servicio de Dataproc Hub: representa a Dataproc Hub
Cuenta de servicio del servicio administrado para Apache Spark: Representa el clúster del servicio administrado para Apache Spark que crea Dataproc Hub.

Cada identidad requiere funciones o permisos específicos para realizar sus tareas asociadas. En la siguiente tabla, se resumen las funciones y los permisos de IAM que requiere cada identidad.

Identidad	Tipo	Función o permiso
Administrador de Dataproc Hub	Cuenta de servicio o usuario	roles/notebooks.admin
Usuario de Dataproc Hub	Usuario	notebooks.instances.use, dataproc.clusters.use
Dataproc Hub	Cuenta de servicio	roles/dataproc.hubAgent
Dataproc	Cuenta de servicio	roles/dataproc.worker

Crea una instancia de Dataproc Hub

Antes de comenzar: Para crear una instancia de Managed Service for Apache Spark Hub desde la consola de Google Cloud , tu cuenta de usuario debe tener el permisocompute.instances.create. Además, la cuenta de servicio de la instancia (la cuenta de servicio predeterminada de Compute Engine o la cuenta de servicio especificada por el usuario que se indica en IAM y administración > Cuentas de servicio [consulta Cuenta de servicio de VM de Managed Service for Apache Spark]) debe tener el permiso iam.serviceAccounts.actAs.
Ve a la página Dataproc→Workbench en la consola de Google Cloud y, luego, selecciona la pestaña Notebooks administrados por el usuario.
Si no está preseleccionado como filtro, haz clic en el cuadro Filtro y, luego, selecciona **Environment:Dataproc Hub"".
Haz clic en Notebook nuevo→Dataproc Hub.
En la página Crear un notebook administrado por el usuario, proporciona la siguiente información:
1. Nombre del notebook: Nombre de la instancia de Dataproc Hub.
2. Región: Selecciona una región para la instancia de Dataproc Hub. Los clústeres de Managed Service para Apache Spark generados por esta instancia de Dataproc Hub también se crearán en esta región.
  Para obtener el mejor rendimiento, selecciona una región cercana.
3. Zona: selecciona una zona dentro de la región seleccionada.
4. Entorno:
  1. Environment: Selecciona Dataproc Hub.
  2. Select a script to run after creation (opcional): Puedes insertar o explorar y seleccionar una secuencia de comandos de acción de inicialización o ejecutable para ejecutarla en el clúster de Managed Service for Apache Spark generado.
  3. Populate Dataproc Hub (optional): Haz clic en Populate para abrir un formulario que te permita establecer cada una de las variables de entorno del concentrador (consulta Configura las variables de entorno de la instancia de Dataproc Hub para obtener una descripción de cada variable). El servicio administrado para Apache Spark usa valores predeterminados para cualquier variable de entorno no establecida. Como alternativa, puedes establecer pares de Metadatos key:value para configurar variables de entorno (consulta el siguiente elemento).
  4. Metadata:
    1. Si creaste un archivo de texto que contiene la configuración de las variable de entorno del concentrador (consulta Configura las variables de entorno del concentrador), proporciona el nombre del archivo como key y la ubicación de Cloud Storage del archivo como value.gs://bucket-name/folder-name/environment-variable-filename El servicio administrado para Apache Spark usa valores predeterminados para cualquier variable de entorno no establecida.
5. Configuración de la máquina:
  1. Machine Type: Selecciona el tipo de máquina de Compute Engine.
  2. Establece otras opciones de configuración de la máquina.
6. Otras opciones:
  1. Puedes expandir y establecer o reemplazar los valores predeterminados en las secciones Discos, Redes, Permisos, Seguridad y Actualización del entorno y estado del sistema.
7. Haz clic en Crear para iniciar la instancia de Dataproc Hub.
El vínculo Abrir JupyterLab para la instancia de Dataproc Hub se activa después de que se crea la instancia. Los usuarios hacen clic en este vínculo para abrir la página del servidor de JupyterHub y configurar y crear un clúster de JupyterLab de Managed Service para Apache Spark (consulta Usa Dataproc Hub).

Realiza una limpieza

Borra la instancia de Dataproc Hub

Para borrar tu instancia de Dataproc Hub:

gcloud compute instances delete --project=${PROJECT} ${INSTANCE_NAME}

Borra el bucket

Para borrar el depósito de Cloud Storage que creaste en la sección Antes de comenzar, incluidos los archivos de datos almacenados en el depósito, ejecuta lo siguiente:
```
gcloud storage rm gs://${BUCKET_NAME} --recursive
```

¿Qué sigue?

Usa Dataproc Hub

Configurar Dataproc Hub Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

Objetivos

Antes de comenzar

Configura la replicación entre buckets

Define una configuración de clústeres

Crea el archivo de configuración YAML del clúster desde la consola

Exporta un archivo de configuración YAML del clúster desde un clúster existente

Guarda el archivo de configuración YAML en Cloud Storage

Configura las variables de entorno de la instancia de Dataproc Hub

Configura las variables de entorno del concentrador

Configura las variables de entorno del concentrador desde la consola

Configura las variables de entorno del concentrador en un archivo de texto

Configura Identity and Access Management (IAM)

Crea una instancia de Dataproc Hub

Realiza una limpieza

Borra la instancia de Dataproc Hub

Borra el bucket

¿Qué sigue?

Configurar Dataproc Hub