Connessione ai bucket di Cloud Storage

Questa pagina introduce Cloud Storage come opzione per archiviare i dati di machine learning e l'output di addestramento e descrive come concedere l'accesso di Cloud TPU agli oggetti di dati su Cloud Storage.

Prima di iniziare

Per accedere a un bucket Cloud Storage, devi disporre di un service account Cloud TPU.

  1. Crea un account di servizio Cloud TPU per il tuo progetto.

    gcloud beta services identity create --service tpu.googleapis.com --project project-id

    Il comando restituisce un account di servizio Cloud TPU con il seguente formato:

    service-project-number@cloud-tpu.iam.gserviceaccount.com

  2. Segui le istruzioni riportate nelle guide di avvio rapido di Cloud TPU o in Gestire le TPU per configurare il tuo progetto Google Cloud e creare le risorse VM e TPU di Cloud TPU.

Scrivi dati in Cloud Storage

Console

  1. Vai alla pagina Cloud Storage nella console Google Cloud .

    Vai alla pagina Cloud Storage

  2. Crea un nuovo bucket specificando le seguenti opzioni:

    • Un nome univoco a tua scelta.
    • Classe di archiviazione predefinita: Standard
    • Località: la regione in cui hai creato la Cloud TPU. Per saperne di più su regioni e disponibilità delle TPU, consulta Regioni e zone delle TPU.

Interfaccia a riga di comando

  1. Utilizza il comando gcloud storage buckets create per creare un bucket Cloud Storage:

    gcloud storage buckets create gs://bucket-name --location region

    dove:

    • region è la regione in cui hai creato Cloud TPU. Per saperne di più sulle regioni e sulla disponibilità delle TPU, consulta Regioni e zone TPU.

    • bucket-name è il nome del bucket che vuoi creare.

  2. Utilizza il comando gcloud storage cp per scrivere i file nel bucket Cloud Storage:

    gcloud storage cp -r local-data-dir gs://bucket-name

    dove local-data-dir è un percorso locale ai tuoi dati. Ad esempio:$HOME/your-data

Concedere l'accesso di Cloud TPU a Cloud Storage

Devi concedere alla tua Cloud TPU l'accesso in lettura e scrittura agli oggetti Cloud Storage. Per farlo, devi concedere l'accesso richiesto al account di servizio Cloud TPU utilizzato da Cloud TPU. Le sezioni seguenti mostrano come trovare il account di servizio Cloud TPU e concedere l'accesso necessario.

Autorizza il account di servizio Cloud TPU

Il modo consigliato per autorizzare il account di servizio Cloud TPU è utilizzare elenchi di controllo dell'accesso (ACL) granulari. Puoi anche concedere autorizzazioni più ampie utilizzando le autorizzazioni IAM.

Utilizzo di ACL granulari per Cloud TPU (consigliato)

Se memorizzi i dati di addestramento su Cloud Storage, il account di servizio Cloud TPU deve disporre dell'autorizzazione di lettura e scrittura sul bucket.

Console

  1. Vai alla pagina del browser Cloud Storage per visualizzare i bucket di tua proprietà.

    Vai al browser Cloud Storage

  2. Seleziona il bucket di cui vuoi modificare l'elenco di controllo degli accessi.

  3. Seleziona la scheda Autorizzazioni.

  4. Seleziona Concedi accesso per aggiungere una nuova autorizzazione e digita il nome completo del account di servizio nella casella di modifica Nuove entità.

  5. Se stai leggendo da questo bucket, devi autorizzare il service account TPU a leggere dalla risorsa. Per farlo, concedi all'account di servizio il ruolo Storage Legacy > Storage Legacy Bucket Reader.

  6. Se stai scrivendo in questo bucket, devi autorizzare l'account di servizio TPU a scrivere nella risorsa. Per farlo, concedi all'account di servizio il ruolo Storage Legacy > Storage Legacy Bucket Writer.

Interfaccia a riga di comando

  1. Se leggi da questo bucket, concedi l'autorizzazione di lettura per l'account di servizio Cloud TPU:

     gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectViewer

  2. Se stai scrivendo in questo bucket, concedi l'autorizzazione di scrittura per l'account di servizio Cloud TPU:

     gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectCreator

Utilizzo delle autorizzazioni IAM per Cloud TPU (alternativa)

Se vuoi concedere autorizzazioni più ampie anziché concedere l'accesso a ogni bucket in modo esplicito, puoi concedere il ruolo Storage Admin di Identity Access Management (IAM) al account di servizio Cloud TPU.

  1. Vai a IAM

  2. Fai clic sul pulsante Concedi l'accesso per aggiungere entità al progetto.

  3. Inserisci i nomi del account di servizio Cloud TPU nella casella di testo Entità.

  4. Fai clic sull'elenco a discesa Ruoli.

  5. Attiva i seguenti ruoli:

    • Progetto > Visualizzatore

    • Storage > Amministratore Storage

Cloud Storage FUSE

Cloud Storage FUSE ti consente di montare e accedere ai bucket Cloud Storage come file system locali. In questo modo, le applicazioni possono leggere e scrivere oggetti nel tuo bucket utilizzando la semantica standard del file system.

Consulta la documentazione di Cloud Storage FUSE per informazioni dettagliate sul funzionamento di Cloud Storage FUSE e una descrizione di come le operazioni di Cloud Storage FUSE vengono mappate alle operazioni di Cloud Storage. Puoi trovare ulteriori informazioni su come utilizzare Cloud Storage FUSE, ad esempio come installare gcsfuse CLI e montare i bucket su GitHub.

Esegui la pulizia

  1. Disconnettiti dalla Cloud TPU, se non l'hai ancora fatto:

    (vm)$ exit

  2. In Cloud Shell, elimina la Cloud TPU: 

    gcloud compute tpus tpu-vm delete tpu-name --zone=zone

  3. Verifica che la VM sia stata eliminata eseguendo gcloud compute tpus tpu-vm list. L'eliminazione potrebbe richiedere diversi minuti. 

    gcloud compute tpus tpu-vm list --zone=zone

    Una risposta simile alla seguente indica che le istanze sono state eliminate correttamente.

    Listed 0 items

  4. Esegui il comando seguente per eliminare il bucket Cloud Storage e i relativi contenuti, sostituendo bucket-name con il nome del bucket che hai creato:

    gcloud storage rm --recursive gs://bucket-name

Passaggi successivi