Instala y ejecuta un notebook de Jupyter en un clúster

Objetivos

En este instructivo, se muestra cómo instalar el componente de Jupyter de Managed Service for Apache Spark en un clúster nuevo y, luego, conectarte a la IU del notebook de Jupyter que se ejecuta en el clúster desde tu navegador local mediante la puerta de enlace de componentes de Managed Service for Apache Spark .

Nota: Cuando ejecutes este instructivo, se generarán Google Cloud cargos. Consulta Precios de Managed Service for Apache Spark.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• Managed Service for Apache Spark
• Cloud Storage

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios.

Es posible que los usuarios Google Cloud nuevos decumplan con los requisitos para acceder a una prueba gratuita.

Antes de comenzar

Si aún no lo has hecho, crea un Google Cloud proyecto y un bucket de Cloud Storage .

1. Configura tu proyecto

   Accede a tu Google Cloud cuenta de. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   Instala Google Cloud CLI.

   Si usas un proveedor de identidad externo (IdP), primero debes acceder a la gcloud CLI con tu identidad federada.

   Para inicializar gcloud CLI, ejecuta el siguiente comando:

   gcloud init

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   Instala Google Cloud CLI.

   Si usas un proveedor de identidad externo (IdP), primero debes acceder a la gcloud CLI con tu identidad federada.

   Para inicializar gcloud CLI, ejecuta el siguiente comando:

   gcloud init

2. Crea un bucket de Cloud Storage en tu proyecto para almacenar los notebooks que crees en este instructivo.

   1. En la Google Cloud consola, ve a la página Buckets de Cloud Storage.

      Ir a Buckets

   2. Haz clic en Crear.
   3. En la página Crear un bucket, ingresa la información de tu bucket. Para ir al paso siguiente, haz clic en Continuar.
      1. En la sección Primeros pasos, haz lo siguiente:
         • Ingresa un nombre único a nivel global que cumpla con los requisitos de nombre de los buckets.
         • Para agregar una etiqueta de bucket, expande la sección Etiquetas (), haz clic en Agregar etiqueta y especifica una key y un value para tu etiqueta.
      2. En la sección Elige dónde almacenar tus datos, haz lo siguiente:
         1. Selecciona un tipo de ubicación.
         2. Elige una ubicación en la que se almacenen de forma permanente los datos de tu bucket en el menú desplegable Tipo de ubicación.
            • Si seleccionas el tipo de ubicación birregional, también puedes habilitar la replicación turbo con la casilla de verificación correspondiente.
         3. Para configurar la replicación bucket buckets, selecciona Agregar replicación entre bucket a través del Servicio de transferencia de almacenamiento y sigue estos pasos:

            Configura la replicación entre bucket

            1. En el menú Bucket, selecciona un bucket.

            2. En la sección Configuración de replicación, haz clic en Configurar para configurar la configuración del trabajo de replicación.

               Aparecerá el panel Configurar replicación entre buckets.

               • Para filtrar los objetos que se replicarán por prefijo de nombre de objeto, ingresa un prefijo del que quieras incluir o excluir objetos y, luego, haz clic en Agregar un prefijo.
               • Para establecer una clase de almacenamiento para los objetos replicados, selecciona una clase de almacenamiento del menú Clase de almacenamiento. Si omites este paso, los objetos replicados usarán la clase de almacenamiento del bucket de destino de forma predeterminada.
               • Haz clic en Listo.
      3. En la sección Elige cómo almacenar tus datos, haz lo siguiente:
         1. Selecciona una clase de almacenamiento predeterminada para el bucket o Clase automática en la administración automática de clases de almacenamiento de los datos de tu bucket.
         2. Para habilitar el espacio de nombres jerárquico, en la sección Optimizar el almacenamiento para cargas de trabajo con uso intensivo de datos, selecciona Habilitar el espacio de nombres jerárquico en este bucket.
            Nota: No puedes habilitar el espacio de nombres jerárquico en buckets existentes.
      4. En la sección Elige cómo controlar el acceso a los objetos, selecciona si tu bucket aplica o no la prevención del acceso público, y elige un método de control de acceso para los objetos del bucket.
         Nota: No puedes cambiar la configuración Impedir el acceso público si esta configuración se aplica en una política de la organización.
      5. En la sección Elige cómo proteger los datos de objetos, haz lo siguiente:
         • Selecciona cualquiera de las opciones de Protección de datos que desees configurar para tu bucket.
           • Para habilitar la eliminación no definitiva, haz clic en la casilla de verificación Política de eliminación no definitiva (para la recuperación de datos) y especifica la cantidad de días que deseas conservar los objetos después de la eliminación.
           • Para configurar el Control de versiones de objetos, haz clic en la casilla de verificación Control de versiones de objetos (para el control de versión) y especifica la cantidad máxima de versiones por objeto y la cantidad de días después de los cuales vencen las versiones no actuales.
           • Para habilitar la política de retención en objetos y buckets, haz clic en la casilla de verificación Retención (para cumplimiento) y, luego, haz lo siguiente:
             • Para habilitar el bloqueo de retención de objetos, haz clic en la casilla de verificación Habilitar la retención de objetos.
             • Para habilitar el bloqueo de bucket, haz clic en la casilla de verificación Establecer política de retención de bucket y elige una unidad de tiempo y una duración para tu período de retención.
         • Para elegir cómo se encriptarán los datos de tus objetos, expande la sección Encriptación de datos () y selecciona un método de Encriptación de datos.
   4. Haz clic en Crear.
   Tus notebooks se almacenarán en Cloud Storage en gs://bucket-name/notebooks/jupyter.

Crea un clúster e instala el componente Jupyter

Crea un clúster con el componente de Jupyter instalado.

Nota: Cuando crees el clúster, especifica el nombre del bucket que creaste en Antes de comenzar, paso 2 (solo especifica el nombre del bucket) como el de Managed Service for Apache Spark staging bucket (consulta Buckets temporales y de etapa de pruebas de Dataproc para obtener instrucciones sobre cómo configurar el bucket de etapa de pruebas). Tus notebooks se almacenarán en Cloud Storage en gs://bucket-name/notebooks/jupyter.

Abre las IU de Jupyter y JupyterLab

Haz clic en los vínculos de la puerta de enlace del componente de la Google Cloud consola en la Google Cloud consola para abrir el notebook de Jupyter o las IU de JupyterLab que se ejecutan en el clúster.

El directorio de nivel superior que muestra tu instancia de Jupyter es un directorio virtual que te permite ver el contenido de tu bucket de Cloud Storage o de tu sistema de archivos local. Puedes elegir la ubicación si haces clic en el vínculo GCS de Cloud Storage o Disco local para el sistema de archivos local del nodo principal de tu clúster.

1. Haz clic en el vínculo de GCS. La IU web del notebook de Jupyter muestra notebooks almacenados en tu bucket de Cloud Storage, incluidos los notebooks que crees en este instructivo.

Limpia

Una vez que completes el instructivo, puedes limpiar los recursos que creaste para que dejen de usar la cuota y generar cargos. En las siguientes secciones, se describe cómo borrar o desactivar estos recursos.

Borra el proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.

Para borrar el proyecto, sigue estos pasos:

Precaución: Borrar un proyecto tiene estas consecuencias:

• Se borra todo su contenido. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los IDs personalizados de los proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID personalizado del proyecto que desees utilizar en el futuro. Para conservar las URLs que usan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto, en lugar de todo el proyecto.

Si planeas explorar varios instructivos, arquitecturas o guías de inicio rápido, reutilizar proyectos puede ser útil para no exceder los límites de cuota de los proyectos.

1. En la Google Cloud consola, ve a la página Administrar recursos.

   Ir a Administrar recursos

2. En la lista de proyectos, elige el proyecto que tú quieres borrar y haz clic en Borrar.
3. En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.

Borra el clúster

• Para borrar tu clúster, realiza los siguientes pasos:

  gcloud dataproc clusters delete cluster-name \
      --region=${REGION}
  

Borra el bucket

• Para borrar el bucket de Cloud Storage que creaste en Antes de comenzar, paso 2, incluye los notebooks almacenados en el bucket:

  gcloud storage rm gs://${BUCKET_NAME} --recursive
  

¿Qué sigue?

• Consulta la Guía de inicio rápido del notebook de Jupyter/IPython