Connessione ai bucket di Cloud Storage

Questa pagina presenta Cloud Storage come opzione per l'archiviazione dei dati di machine learning e dell'output di addestramento e descrive come concedere a Cloud TPU l'accesso agli oggetti dati in Cloud Storage.

Prima di iniziare

Per accedere a un bucket Cloud Storage, devi disporre di un service account Cloud TPU.

  1. Crea un account di servizio Cloud TPU per il tuo progetto.

    gcloud beta services identity create --service tpu.googleapis.com --project project-id

    Il comando restituisce un account di servizio Cloud TPU con il seguente formato:

    service-project-number@cloud-tpu.iam.gserviceaccount.com

  2. Segui le istruzioni riportate nelle guide rapide di Cloud TPU o in Gestire le TPU per configurare il progetto Google Cloud e creare le risorse VM e TPU di Cloud TPU.

Scrivi dati in Cloud Storage

Console

  1. Vai alla pagina Cloud Storage nella Google Cloud console.

    Vai alla pagina Cloud Storage

  2. Crea un nuovo bucket, specificando le seguenti opzioni:

    • Un nome univoco a tua scelta.
    • Classe di archiviazione predefinita: Standard
    • Località: la regione in cui hai creato Cloud TPU. Per saperne di più sulle regioni e sulla disponibilità delle TPU, consulta Regioni e zone delle TPU.

CLI

  1. Utilizza il comando gcloud storage buckets create per creare un bucket Cloud Storage:

    gcloud storage buckets create gs://bucket-name --location region

    dove:

    • region è la regione in cui hai creato Cloud TPU. Per saperne di più sulle regioni e sulla disponibilità delle TPU, consulta Regioni e zone delle TPU.

    • bucket-name è il nome del bucket che vuoi creare.

  2. Utilizza il comando gcloud storage cp per scrivere i file nel bucket Cloud Storage:

    gcloud storage cp -r local-data-dir gs://bucket-name

    dove local-data-dir è un percorso locale ai tuoi dati. Ad esempio:$HOME/your-data

Concedi a Cloud TPU l'accesso a Cloud Storage

Devi concedere a Cloud TPU l'accesso in lettura e scrittura agli oggetti Cloud Storage. Per farlo, devi concedere l'accesso richiesto al account di servizio Cloud TPU utilizzato da Cloud TPU. Le sezioni seguenti mostrano come trovare il account di servizio Cloud TPU e concedere l'accesso necessario.

Autorizza il account di servizio Cloud TPU

Il modo consigliato per autorizzare il account di servizio Cloud TPU è utilizzare le liste di controllo dell'accesso (ACL) granulari. Puoi anche concedere autorizzazioni più ampie utilizzando le autorizzazioni IAM.

Utilizzo di ACL granulari per Cloud TPU (consigliato)

Se memorizzi i dati di addestramento in Cloud Storage, il account di servizio Cloud TPU deve disporre dell'autorizzazione di lettura e scrittura sul bucket.

Console

  1. Vai alla pagina del browser Cloud Storage per visualizzare i bucket di tua proprietà.

    Vai al browser Cloud Storage

  2. Seleziona il bucket di cui vuoi modificare l'ACL.

  3. Seleziona la scheda Autorizzazioni.

  4. Seleziona Concedi accesso per aggiungere una nuova autorizzazione e digita il nome completo del account di servizio nella casella di modifica Nuove entità.

  5. Se stai leggendo da questo bucket, devi autorizzare il service account TPU a leggere dalla risorsa. Per farlo, concedi al service account il ruolo Storage Legacy > Storage Legacy Bucket Reader.

  6. Se stai scrivendo in questo bucket, devi autorizzare il service account TPU a scrivere nella risorsa. Per farlo, concedi al service account il ruolo Storage Legacy > Storage Legacy Bucket Writer.

CLI

  1. Se stai leggendo da questo bucket, concedi l'autorizzazione di lettura per il account di servizio Cloud TPU:

     gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectViewer

  2. Se stai scrivendo in questo bucket, concedi l'autorizzazione di scrittura per il account di servizio Cloud TPU:

     gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectCreator

Utilizzo delle autorizzazioni IAM per Cloud TPU (alternativa)

Se vuoi concedere autorizzazioni più ampie anziché concedere l'accesso a ogni bucket in modo esplicito, puoi concedere al account di servizio Cloud TPU il ruolo Amministratore Storage di Identity and Access Management (IAM).

  1. Vai a IAM

  2. Fai clic sul pulsante Concedi accesso per aggiungere entità al progetto.

  3. Inserisci i nomi del account di servizio Cloud TPU nella casella di testo Entità.

  4. Fai clic sull'elenco a discesa Ruoli.

  5. Attiva i seguenti ruoli:

    • Progetto > Visualizzatore

    • Storage > Amministratore Storage

Cloud Storage FUSE

Cloud Storage FUSE ti consente di montare e accedere ai bucket Cloud Storage come file system locali. In questo modo, le applicazioni possono leggere e scrivere oggetti nel bucket utilizzando la semantica standard del file system.

Consulta la documentazione di Cloud Storage FUSE per i dettagli sul funzionamento di Cloud Storage FUSE e una descrizione del mapping delle operazioni di Cloud Storage FUSE alle operazioni di Cloud Storage. Puoi trovare ulteriori informazioni su come utilizzare Cloud Storage FUSE, ad esempio come installare gcsfuse CLI e montare i bucket su GitHub.

Esegui la pulizia

  1. Disconnettiti da Cloud TPU, se non l'hai già fatto:

    (vm)$ exit

  2. In Cloud Shell, elimina Cloud TPU: 

    gcloud compute tpus tpu-vm delete tpu-name --zone=zone

  3. Verifica che la VM sia stata eliminata eseguendo gcloud compute tpus tpu-vm list. L'eliminazione potrebbe richiedere alcuni minuti. 

    gcloud compute tpus tpu-vm list --zone=zone

    Una risposta simile alla seguente indica che le istanze sono state eliminate correttamente.

    Listed 0 items

  4. Esegui il comando seguente per eliminare il bucket Cloud Storage e i relativi contenuti, sostituendo bucket-name con il nome del bucket che hai creato:

    gcloud storage rm --recursive gs://bucket-name

Passaggi successivi