Crea un clúster de múltiples arrendatarios con cuentas de servicio

La arquitectura multiusuario segura basada en cuentas de servicio de Managed Service para Apache Spark te permite compartir un clúster con varios usuarios, con un conjunto de cuentas de usuario asignadas a cuentas de servicio cuando se crea el clúster. Los usuarios pueden enviar cargas de trabajo interactivas, como notebooks de Jupyter, a kernels que se ejecutan en el clúster multiusuario con entornos de usuario aislados.

Cuando un usuario envía un trabajo al clúster multiusuario, ocurre lo siguiente:

  • El trabajo se ejecuta como un usuario específico del SO con una principal de Kerberos específica.

  • El trabajo accede a los recursos de Google Cloud con una cuenta de servicio asignada.

En este documento, se muestra cómo crear un clúster multiusuario de Managed Service para Apache Spark y, luego, iniciar y conectar un notebook de Jupyter a un kernel de PySpark que se ejecuta en el clúster.

Consideraciones y limitaciones

Cuando creas un clúster multiusuario, sucede lo siguiente:

  • El clúster solo está disponible para los usuarios de la Cuenta de Google con cuentas de servicio asignadas. No se pueden asignar los Grupos de Google. Los usuarios no asignados no pueden ejecutar trabajos en el clúster.

  • Kerberos está habilitado y configurado en el clúster para una comunicación segura dentro del clúster. No se admite la autenticación del usuario final a través de Kerberos.

  • Se bloquea el acceso directo de SSH al clúster y a las funciones de Compute Engine, como la capacidad de ejecutar secuencias de comandos de inicio en las VMs del clúster. Además, los trabajos no se pueden ejecutar con privilegios sudo.

  • No se admiten los flujos de trabajo de Managed Service para Apache Spark.

Crea un clúster multiusuario

Habilita la función de multiusuario cuando creas un clúster de Managed Service para Apache Spark.

Console

Crea un clúster con la consola de Google Cloud de la siguiente manera:

  1. En la consola de Google Cloud , ve a la página Crear clúster.
  2. Haz clic en Configuración adicional para expandir esa sección.
  3. Edita los componentes opcionales.
    1. Selecciona la casilla de verificación Habilitar componentes en la IU para habilitar las IU de los componentes y, luego, selecciona la casilla de verificación de Jupyter Kernel Gateway.
    2. Haz clic en Guardar.
  4. Edita Personalización y otros.
    1. Para permitir que se agreguen o quiten usuarios de varios usuarios sin volver a crear el clúster (consulta Actualiza los usuarios de clústeres multiusuario), en la sección Propiedades del clúster, haz clic en + Agregar propiedades.
    2. Agrega la siguiente propiedad: Prefijo: dataproc, Clave: dataproc.dynamic.multi.tenancy.enabled, Valor: true

      Recomendación: Dado que YARN consume recursos significativos del clúster para cada kernel de notebook que se ejecuta en un clúster de varios usuarios, agrega propiedades de Spark y YARN para aumentar la asignación de recursos.

      Ejemplo:

      Prefijo Clave Valor
      spark spark.driver.memory 5g
      spark spark.executor.memory 5g
      spark spark.executor.cores 2
      capacity-scheduler yarn.scheduler.capacity.maximum-am-resource-percent 0.5
    3. Haz clic en Guardar.
  5. Edita la seguridad.
    • En Acceso al proyecto, selecciona la casilla de verificación Habilita el permiso de cloud-platform para este clúster.
    • En Multiusuario seguro, selecciona Habilitar.
    • En Asignación multiusuario, haz clic en Agregar asignación multiusuario para asignar cuentas de usuario a cuentas de servicio.
  6. Haz clic en Guardar.
  7. Confirma los demás parámetros de configuración y, luego, haz clic en Crear clúster.

gcloud

Usa gcloud dataproc clusters create command con la marca --secure-multi-tenancy-user-mapping para especificar una lista de asignaciones de cuentas de usuario a cuentas de servicio.

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --secure-multi-tenancy-user-mapping=USER_MAPPINGS: \
    --properties "dataproc:dataproc.dynamic.multi.tenancy.enabled=true" \
    --service-account=CLUSTER_SERVICE_ACCOUNT@iam.gserviceaccount.com \
    --scopes=https://www.googleapis.com/auth/iam \
    --optional-components=JUPYTER_KERNEL_GATEWAY \
    --enable-component-gateway \
    other args ...

Notas:

  • USER_MAPPINGS: Especifica una lista separada por comas que asigne cuentas de usuario a cuentas de servicio.

    --secure-multi-tenancy-user-mapping=UserA@my-company.com:SERVICE_ACCOUNT_FOR_USERA@iam.gserviceaccount.com,UserB@my-company.com:SERVICE_ACCOUNT_FOR_USERB@iam.gserviceaccount.com,UserC@my-company.com:SERVICE_ACCOUNT_FOR_USERC@iam.gserviceaccount.com
    
    Usa un archivo de asignación YAML: En lugar de usar la marca --secure-multi-tenancy-user-mapping para especificar las asignaciones de la cuenta de usuario a la cuenta de servicio, puedes usar la marca --identity-config-file para especificar un archivo YAML local o de Cloud Storage que contenga las asignaciones.
    --identity-config-file=LOCAL_FILE or gs://BUCKET/FOLDER/FILENAME
    
    Cada línea del archivo de asignación asigna una cuenta de usuario a una cuenta de servicio. La primera línea contiene el encabezado user_service_account_mapping:.
    user_service_account_mapping:
    UserA@my-company.com:SERVICE_ACCOUNT_FOR_USERA@iam.gserviceaccount.com
    UserB@my-company.com:SERVICE_ACCOUNT_FOR_USERB@iam.gserviceaccount.com
    UserC@my-company.com:SERVICE_ACCOUNT_FOR_USERC@iam.gserviceaccount.com
    

  • --properties "dataproc:dataproc.dynamic.multi.tenancy.enabled=true": Esta propiedad permite agregar o quitar usuarios de clústeres de múltiples usuarios sin volver a crear el clúster (consulta Actualiza usuarios de clústeres de múltiples usuarios).

    Recomendación: Como YARN consume recursos significativos del clúster para cada kernel de notebook que se ejecuta en un clúster multiusuario, agrega propiedades de Spark y YARN para aumentar la asignación de recursos.

    Ejemplo:

    --properties=" \
    spark:spark.driver.memory=5g,\
    spark:spark.executor.memory=5g,\
    spark:spark.executor.cores=200, \
    capacity-scheduler:yarn.scheduler.capacity.maximum-am-resource-percent=0.5"
    
  • CLUSTER_SERVICE_ACCOUNT (opcional): Puedes usar --service-account flag para especificar una cuenta de servicio de VM personalizada para el clúster. Si omites esta marca, se usa la cuenta de servicio de VM del clúster predeterminada, PROJECT_NUMBER-compute@developer.gserviceaccount.com.

    Recomendación: Usa diferentes cuentas de servicio de clúster para distintos clústeres para permitir que cada cuenta de servicio de VM de clúster actúe en nombre de solo un grupo limitado de cuentas de servicio de usuario asignadas.

  • --scopes=https://www.googleapis.com/auth/iam es necesario para que la cuenta de servicio del clúster realice la identidad temporal.

  • --enable-component-gateway y --optional-components=JUPYTER_KERNEL_GATEWAY: Habilitar la puerta de enlace de componentes de Managed Service para Apache Spark y la puerta de enlace del kernel de Jupyter permite que varios usuarios conecten sus notebooks de Jupyter al clúster multiusuario.

API

Usa SecurityConfig.IdentityConfig.userServiceAccountMapping field para especificar una lista de asignaciones de cuentas de usuario a cuentas de servicio.

Otorga permisos de Identity and Access Management

Para conectar los notebooks de los usuarios a los kernels de notebooks que se ejecutan en un clúster multiusuario, los usuarios asignados, las cuentas de servicio asignadas y la cuenta de servicio de la VM del clúster deben tener los permisos de IAM necesarios para acceder a los recursos.

Permisos de usuario asignados

Cada usuario asignado debe tener los permisos dataproc.clusters.get y dataproc.clusters.use, que son necesarios para que el usuario acceda y se conecte a los kernels de notebook que se ejecutan en el clúster de multiusuario. Puedes otorgar el rol de editor de Managed Service para Apache Spark (roles/dataproc.editor), que contiene estos permisos (consulta Otorga un solo rol de IAM) o crear un rol personalizado con estos permisos.

Permisos asignados de la cuenta de servicio

Cada cuenta de servicio asignada debe tener los permisos que necesita la aplicación de notebook del usuario asignado, como el acceso a un bucket de Cloud Storage o a una tabla de BigQuery (consulta Administra el acceso a las cuentas de servicio).

Permisos de la cuenta de servicio de la VM

La cuenta de servicio de la VM del clúster de varios usuarios debe tener el permiso iam.serviceAccounts.getAccessToken en cada cuenta de servicio asignada. Puedes otorgar el rol de creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator), que contiene este permiso (consulta Administra el acceso a las cuentas de servicio), o crear un rol personalizado con este permiso. Consulta Cuenta de servicio de VM de Managed Service para Apache Spark para obtener información sobre otros roles de cuenta de servicio de VM.

Conecta notebooks de Jupyter a un kernel de clúster multiusuario

Los usuarios asignados del clúster de multiusuario pueden conectar su notebook de Jupyter administrado por el usuario o de Vertex AI Workbench a los kernels instalados en el clúster de multiusuario.

Notebook de Vertex AI

Para crear y conectar un notebook de Jupyter al clúster multiusuario, haz lo siguiente:

  1. Crea una instancia de Vertex AI Workbench.
  2. En la pestaña Instancias de Workbench, haz clic en el vínculo Abrir JupyterLab de tu instancia.
  3. En Dataproc Cluster Notebooks, haz clic en la tarjeta PySpark (YARN Cluster) on MULTI_TENANCY_CLUSTER_NAME para conectarte a un nuevo notebook de Jupyter PySpark y, luego, iniciarlo.

Notebook administrado por el usuario

Para crear y conectar un notebook de Jupyter administrado por el usuario a tu clúster multiusuario de Managed Service para Apache Spark, sigue los pasos para instalar la extensión de JupyterLab en tu VM administrada por el usuario.

Actualiza los usuarios de clústeres multiusuario (versión preliminar)

Si estableces la propiedad del clúster dataproc:dataproc.dynamic.multi.tenancy.enabled en true cuando creaste un clúster multiusuario, puedes agregar, quitar o reemplazar usuarios del clúster multiusuario después de crearlo.

Agregar usuarios

En el siguiente comando de actualización, se usa la marca --add-user-mappings para agregar dos asignaciones nuevas de cuentas de usuario a cuentas de servicio al clúster multiusuario seguro.

gcloud dataproc clusters update CLUSTER_NAME \
    --region=REGION \
    --add-user-mappings=new-user1@my-company.com=SERVICE_ACCOUNT_FOR_NEW_USER1@iam.gserviceaccount.com,new-user2@my-company.com=SERVICE_ACCOUNT_FOR_NEW_USER2@iam.gserviceaccount.com

Quitar usuarios

En el siguiente comando de actualización, se usa la marca --remove-user-mappings para quitar dos usuarios del clúster de multiusuario. La marca acepta las cuentas de usuario de los usuarios que se quitarán.

gcloud dataproc clusters update CLUSTER_NAME \
    --region=REGION \
    --remove-user-mappings=UserB@my-company.com,UserC@my-company.com

Reemplazar usuarios

Puedes usar el comando update con la marca --identity-config-file para reemplazar el conjunto de usuarios existente por uno nuevo. Esta marca es útil para agregar y quitar usuarios con un comando de actualización.

gcloud dataproc clusters update CLUSTER_NAME \
    --region=REGION \
    --identity-config-file=identity-config.yaml

Notas:

  • --identity-config-file: Especifica un archivo YAML local o de Cloud Storage que contenga las asignaciones de la cuenta de usuario nueva a la cuenta de servicio.
    --identity-config-file=LOCAL_FILE or gs://BUCKET/FOLDER/FILENAME
    
    Cada línea del archivo de asignación asigna una cuenta de usuario a una cuenta de servicio. La primera línea contiene el encabezado user_service_account_mapping:.
    user_service_account_mapping:
    new-user1@my-company.com:SERVICE_ACCOUNT_FOR_NEW_USER1@iam.gserviceaccount.com
    new-user2@my-company.com:SERVICE_ACCOUNT_FOR_NEW_USER2@iam.gserviceaccount.com