Installazione ed esecuzione di un notebook Jupyter su un cluster

Obiettivi

Questo tutorial mostra come installare il componente Jupyter di Managed Service for Apache Spark su un nuovo cluster e poi connetterti all'interfaccia utente del notebook Jupyter in esecuzione sul cluster dal browser locale utilizzando il gateway dei componenti di Managed Service for Apache Spark.

Nota: l'esecuzione di questo tutorial comporta addebiti. Per maggiori informazioni, consulta la pagina Prezzi di Managed Service for Apache Spark.

Google Cloud

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

• Managed Service for Apache Spark
• Cloud Storage

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il calcolatore prezzi.

I nuovi Google Cloud utenti potrebbero avere diritto a una prova senza costi.

Prima di iniziare

Se non l'hai ancora fatto, crea un Google Cloud progetto e un bucket Cloud Storage .

1. Configurare il progetto

   Accedi al tuo Google Cloud account. Se non hai mai utilizzato Google Cloud, crea un account per valutare il rendimento dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti senza costi per l'esecuzione, il test e il deployment dei carichi di lavoro.

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   Installa Google Cloud CLI.

   Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

   Per inizializzare gcloud CLI, esegui questo comando:

   gcloud init

   In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

   Verify that billing is enabled for your Google Cloud project.

   Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the APIs

   Installa Google Cloud CLI.

   Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

   Per inizializzare gcloud CLI, esegui questo comando:

   gcloud init

2. Creare un bucket Cloud Storage nel progetto per archiviare i notebook creati in questo tutorial.

   1. Nella Google Cloud console, vai alla pagina Bucket di Cloud Storage.

      Vai a Bucket

   2. Fai clic su Crea.
   3. Nella pagina Crea un bucket, inserisci le informazioni del bucket. Per passare al passaggio successivo, fai clic su Continua.
      1. Nella sezione Inizia, procedi nel seguente modo:
         • Inserisci un nome univoco a livello globale che soddisfi i requisiti di denominazione dei bucket.
         • Per aggiungere un' etichetta del bucket, espandi la sezione Etichette (), fai clic su Aggiungi etichetta e specifica una key e un value per l'etichetta.
      2. Nella sezione Scegli dove archiviare i tuoi dati, procedi nel seguente modo:
         1. Seleziona un tipo di località.
         2. Scegli una località in cui i dati del bucket vengono archiviati in modo permanente dal menu a discesa Tipo di località.
            • Se selezioni il tipo di località a due regioni, puoi anche scegliere di abilitare la replica turbo utilizzando la casella di controllo pertinente.
         3. Per configurare la replica tra bucket, seleziona Aggiungi una replica tra bucket mediante Storage Transfer Service e segui questi passaggi:

            Configurare la replica tra bucket

            1. Nel menu Bucket, seleziona un bucket.

            2. Nella sezione Impostazioni di replica , fai clic su Configura per configurare le impostazioni del job di replica.

               Viene visualizzato il riquadro Configura replica tra bucket.

               • Per filtrare gli oggetti da replicare in base al prefisso del nome dell'oggetto, inserisci un prefisso da includere o escludere gli oggetti, quindi fai clic su Aggiungi un prefisso.
               • Per impostare una classe di archiviazione per gli oggetti replicati, seleziona una classe di archiviazione dal menu Classe di archiviazione. Se salti questo passaggio, gli oggetti replicati utilizzeranno per impostazione predefinita la classe di archiviazione del bucket di destinazione.
               • Fai clic su Fine.
      3. Nella sezione Scegli come archiviare i tuoi dati, procedi nel seguente modo:
         1. Seleziona una classe di archiviazione predefinita per il bucket o Autoclass per la gestione automatica della classe di archiviazione dei dati del bucket.
         2. Per abilitare lo spazio dei nomi gerarchico, nella sezione Ottimizza l'archiviazione per i carichi di lavoro con uso intensivo dei dati, seleziona Abilita uno spazio dei nomi gerarchico in questo bucket.
            Nota: non puoi abilitare lo spazio dei nomi gerarchico nei bucket esistenti.
      4. Nella sezione Scegli come controllare l'accesso agli oggetti, seleziona se il bucket applica o meno la prevenzione dell'accesso pubblico, e seleziona un metodo di controllo dell'accesso per gli oggetti del bucket.
         Nota: non puoi modificare l'impostazione Impedisci l'accesso pubblico se questa impostazione è applicata a un criterio dell'organizzazione.
      5. Nella sezione Scegli come proteggere i dati degli oggetti, procedi nel seguente modo:
         • Seleziona una delle opzioni in Protezione dei dati che vuoi impostare per il bucket.
           • Per abilitare l'eliminazione temporanea, fai clic sulla casella di controllo Policy di eliminazione temporanea (per il recupero dei dati) e specifica il numero di giorni per cui vuoi conservare gli oggetti dopo l'eliminazione.
           • Per impostare il controllo delle versioni degli oggetti, fai clic sulla casella di controllo Controllo delle versioni degli oggetti (per il controllo delle versioni) e specifica il numero massimo di versioni per oggetto e il numero di giorni dopo i quali le versioni non correnti scadono.
           • Per abilitare la policy di conservazione su oggetti e bucket, fai clic sulla casella di controllo Conservazione (per la conformità) e poi procedi nel seguente modo:
             • Per abilitare il blocco della conservazione degli oggetti, fai clic sulla casella di controllo Abilita conservazione degli oggetti.
             • Per abilitare il blocco del bucket, fai clic sulla casella di controllo Imposta policy di conservazione del bucket e scegli un'unità di tempo e una durata per il periodo di conservazione.
         • Per scegliere come criptare i dati degli oggetti, espandi la la sezione Criptaggio dei dati () e seleziona un metodo di criptaggio dei dati.
   4. Fai clic su Crea.
   I notebook verranno archiviati in Cloud Storage in gs://bucket-name/notebooks/jupyter.

Creare un cluster e installare il componente Jupyter

Crea un cluster con il componente Jupyter installato.

Nota: quando crei il cluster, specifica il nome del bucket creato nel passaggio 2 della sezione Prima di iniziare (specifica solo il nome del bucket) come staging bucket di Managed Service for Apache Spark (per istruzioni su come impostare lo staging bucket, consulta Bucket di staging e temporanei di Dataproc ). I notebook verranno archiviati in Cloud Storage in gs://bucket-name/notebooks/jupyter.

Aprire le interfacce utente di Jupyter e JupyterLab

Fai clic sui link del gateway dei componenti della Google Cloud console nella Google Cloud console per aprire le interfacce utente del notebook Jupyter o di JupyterLab in esecuzione sul cluster.

La directory di primo livello visualizzata dall'istanza Jupyter è una directory virtuale che ti consente di visualizzare i contenuti del bucket Cloud Storage o del file system locale. Puoi scegliere una delle due località facendo clic sul link GCS per Cloud Storage o Disco locale per il file system locale del nodo master nel cluster.

1. Fai clic sul link GCS. L'interfaccia utente web del notebook Jupyter mostra i notebook archiviati nel bucket Cloud Storage, inclusi eventuali notebook creati in questa esercitazione.

Libera spazio

Al termine del tutorial, puoi eliminare le risorse che hai creato in modo che non utilizzino più la quota generando addebiti. Le seguenti sezioni descrivono come eliminare o disattivare queste risorse.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto creato per il tutorial.

Per eliminare il progetto:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per, le attività descritte in questo documento, eliminerai anche tutto il lavoro che hai svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella Google Cloud console, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID progetto, quindi fai clic su Chiudi per eliminare il progetto.

Elimina il cluster

• Per eliminare il cluster:

  gcloud dataproc clusters delete cluster-name \
      --region=${REGION}
  

Elimina il bucket

• Per eliminare il bucket Cloud Storage creato nel passaggio 2 della sezione Prima di iniziare, inclusi i notebook archiviati nel bucket:

  gcloud storage rm gs://${BUCKET_NAME} --recursive
  

Passaggi successivi

• Consulta la guida rapida di Jupyter/IPython Notebook