Trasferisci dati verso o da Cloud Storage

Google Cloud Managed Lustre può importare dati da e esportare dati in Cloud Storage. I trasferimenti di dati sono incrementali: vengono copiati solo i file che non esistono già nella destinazione o che sono stati modificati dopo il trasferimento.

I bucket Cloud Storage con spazio dei nomi gerarchico abilitato offrono velocità di trasferimento più elevate da e verso Managed Lustre rispetto ai bucket standard.

Prestazioni

I trasferimenti tra Managed Lustre e Cloud Storage possono raggiungere le seguenti velocità:

Per i file di dimensioni superiori a 32 MB, fino a 100 GBps. La velocità di trasferimento è limitata dal throughput massimo di un'istanza (capacità dell'istanza moltiplicata per il livello di prestazioni).

Considerazioni sulla larghezza di banda in uscita di Cloud Storage

Cloud Storage fornisce una larghezza di banda in uscita predefinita fino a 200 Gbps per regione per progetto. Se hai più istanze Managed Lustre nello stesso progetto e nella stessa regione, puoi richiedere un aumento del limite di larghezza di banda in uscita. Per ulteriori informazioni, consulta le quote di larghezza di banda di Cloud Storage.

Autorizzazioni obbligatorie

Autorizzazioni per avviare il trasferimento

L'utente o il account di servizio utilizzato per avviare il trasferimento richiede le seguenti autorizzazioni:

lustre.instances.exportData per trasferire da Managed Lustre a Cloud Storage.
lustre.instances.importData per trasferire da Cloud Storage.

Entrambe queste autorizzazioni vengono concesse con il ruolo roles/lustre.admin. Puoi creare un ruolo personalizzato per concedere le autorizzazioni in modo indipendente.

Autorizzazioni per il service agent Managed Lustre

Recupera il service agent Managed Lustre

Un service agent Managed Lustre viene creato la prima volta che crei un'istanza Managed Lustre nel progetto. L'identità del service agent ha il formato service-PROJECT_NUMBER@gcp-sa-lustre.iam.gserviceaccount.com.

Se non hai ancora un service agent Managed Lustre

Esegui il services identity create comando:

gcloud beta services identity create \
  --service=lustre.googleapis.com \
  --project=PROJECT_NUMBER_OR_ID

Sostituisci PROJECT_NUMBER_OR_ID con il numero o l'ID del progetto in cui vuoi creare l'istanza Managed Lustre. L'output è simile al seguente:

Service identity created: service-1234567890@gcp-sa-lustre.iam.gserviceaccount.com

Copia il valore dell'identità del service agent da utilizzare nel passaggio successivo.

Se hai già creato un'istanza Managed Lustre

Per creare l'identità del service agent, recupera il numero del progetto. Un PROJECT_NUMBER non è uguale a un ID progetto:
- Un ID progetto è una stringa univoca che può essere una combinazione di lettere, numeri e trattini. Specifichi un ID progetto quando crei il progetto. Ad esempio, example-project-123.
- Un numero di progetto è un identificatore univoco generato automaticamente per il tuo progetto composto solo da numeri. Ad esempio, 1234567890.
Per ottenere il PROJECT_NUMBER per un determinato ID progetto, utilizza il gcloud projects describe comando:
```
gcloud projects describe PROJECT_ID --format="value(projectNumber)"
```
Copia il numero del progetto restituito nell'identità del service agent:
```
service-PROJECT_NUMBER@gcp-sa-lustre.iam.gserviceaccount.com
```
Copia l'identità del service agent da utilizzare nel passaggio successivo.

Concedi le autorizzazioni

Il service agent Managed Lustre richiede uno dei seguenti ruoli Cloud Storage:

Per trasferire dati da e verso Cloud Storage: roles/storage.objectUser nel bucket Cloud Storage.
Per trasferire solo da Cloud Storage: roles/storage.objectViewer nel bucket Cloud Storage.

Per concedere uno di questi ruoli, esegui il seguente comando gcloud:

gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \
  --member=serviceAccount:SERVICE_AGENT_IDENTITY \
  --role=roles/storage.objectViewer_OR_objectUser

SERVICE_AGENT_IDENTITY è l'identità del service agent Managed Lustre del passaggio precedente.

Importa dati in Managed Lustre

Puoi importare dati da un bucket Cloud Storage. Il bucket può trovarsi nello stesso progetto o in un progetto diverso. Il bucket può trovarsi in una zona o regione diversa dall'istanza Managed Lustre, ma i trasferimenti tra regioni
potrebbero essere più lenti dei trasferimenti all'interno della regione.

gcloud

gcloud lustre instances import-data INSTANCE_ID \
  --location=LOCATION \
  --gcs-path-uri=gs://BUCKET_NAME/ \
  --lustre-path=PS_PATH

Dove:

INSTANCE_ID è il nome dell'istanza Managed Lustre.
--location è la zona dell'istanza Managed Lustre. Ad esempio, us-central1-a.
--gcs-path-uri specifica l'URI di un bucket Cloud Storage, o un percorso all'interno di un bucket, utilizzando il formato gs://<bucket_name>/<optional_path_inside_bucket>/. Se viene specificato un percorso all'interno del bucket, deve terminare con una barra (/).
--lustre-path specifica il percorso della directory root del file system Managed Lustre. Deve iniziare con /. Il valore predefinito è /. Se specifichi un valore diverso da quello predefinito, la directory deve già esistere nel file system.

I seguenti parametri sono facoltativi:

--request-id ti consente di assegnare un ID univoco a questa richiesta. Se riprovi a inviare questa richiesta utilizzando lo stesso ID richiesta, il server ignorerà la richiesta se è già stata completata. Deve essere un UUID valido UUID che non sia composto da tutti zeri.
--async restituisce immediatamente una risposta, senza attendere il completamento dell'operazione.

Per maggiori dettagli, consulta la documentazione di Cloud SDK.

REST

POST https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID:importData
Authorization: Bearer [YOUR_ACCESS_TOKEN]

{
  "gcsPath" : {
    "uri" : "gs://BUCKET_NAME/"
  },
  "lustrePath" : {
    "path" : "/PATH"
  }
}

Dove:

PROJECT_ID è il nome del Google Cloud progetto.
LOCATION è la zona dell'istanza Managed Lustre. Ad esempio, us-central1-a.
INSTANCE_ID è il nome dell'istanza Managed Lustre.
gcsPath contiene una chiave uri il cui valore specifica l' URI di un bucket Cloud Storage o un percorso all'interno di un bucket, utilizzando il formato gs://<bucket_name>/<optional_path_inside_bucket>/. Se viene specificato un percorso all'interno del bucket, deve terminare con una barra (/).
lustrePath contiene una chiave path il cui valore specifica il percorso della directory root del file system Managed Lustre. Deve iniziare con /. Il valore predefinito è /. Se specifichi un valore diverso da quello predefinito, la directory deve già esistere nel file system.

Per utilizzare il tuo account di servizio anziché il service agent gestito da Google, la richiesta supporta un campo serviceAccount nell'oggetto JSON:

"serviceAccount" : "projects/PROJECT_ID/serviceAccounts/SERVICE_ACCOUNT_ID"

Un esempio di comando curl è il seguente:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID:importData \
  -d '{"gcsPath": {"uri":"gs://BUCKET_NAME/"}, "lustrePath": {"path":"/"}}'

Attributi file

Quando importi dati da un bucket Cloud Storage a un'istanza Managed Lustre, gli attributi file nell'istanza Managed Lustre vengono impostati in uno dei due modi seguenti:

Se l'oggetto Cloud Storage ha metadati personalizzati come descritto per l'esportazione dei dati:
- L'UID, il GID, la modalità e l'mtime del file vengono impostati in base ai metadati personalizzati dell'oggetto.
- L'atime del file è impostato sullo stesso valore dell'mtime.
Se l'oggetto Cloud Storage non ha i metadati personalizzati:
- L'UID e il GID del file sono impostati su 0 (root).
- La modalità del file è impostata su rwxr-xr-x (755).
- L'atime e l'mtime del file sono impostati sull'ora di creazione dell'oggetto Cloud Storage.

In entrambi i casi:

Il valore ctime di un file è impostato sull'ora in cui il file è stato scritto nell'istanza.
I valori atime, ctime e mtime di una directory sono impostati sull'ora in cui la directory è stata creata nell'istanza.

Esporta i dati

Puoi esportare i dati dall'istanza Managed Lustre a un bucket Cloud Storage nello stesso progetto o in un progetto diverso. Il bucket può trovarsi in una zona o regione diversa dall'istanza Managed Lustre, ma i trasferimenti tra regioni potrebbero essere più lenti dei trasferimenti all'interno della regione.

gcloud

gcloud lustre instances export-data \
  INSTANCE_ID \
  --location=LOCATION \
  --gcs-path-uri="gs://BUCKET_NAME/" \
  --lustre-path="/"

Dove:

INSTANCE_ID è il nome dell'istanza Managed Lustre.
--location è la zona dell'istanza Managed Lustre. Ad esempio, us-central1-a.
--gcs-path-uri specifica l'URI di un bucket Cloud Storage o un percorso all'interno di un bucket, utilizzando il formato gs://<bucket_name>/<optional_path_inside_bucket>/. Se viene specificato un percorso all'interno del bucket, deve terminare con una barra (/).
--lustre-path specifica il percorso della directory root del file system Managed Lustre. Deve iniziare con /. Il valore predefinito è /.

I seguenti parametri sono facoltativi:

--request-id ti consente di assegnare un ID univoco a questa richiesta. Se riprovi a inviare questa richiesta utilizzando lo stesso ID richiesta, il server ignorerà la richiesta se è già stata completata. Deve essere un UUID valido UUID che non sia composto da tutti zeri.
--async restituisce immediatamente una risposta, senza attendere il completamento dell'operazione.

REST

POST https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID:exportData
Authorization: Bearer [YOUR_ACCESS_TOKEN]

{
  "lustrePath" : {
    "path" : "/"
  },
  "gcsPath" : {
    "uri" : "gs://BUCKET_NAME/"
  }
}

Dove:

PROJECT_ID è il nome del Google Cloud progetto.
INSTANCE_ID è il nome dell'istanza Managed Lustre.
LOCATION è la zona dell'istanza Managed Lustre. Ad esempio, us-central1-a.
lustrePath contiene una chiave path il cui valore specifica il percorso della directory root del file system Managed Lustre. Deve iniziare con /. Il valore predefinito è /.
gcsPath contiene una chiave uri il cui valore specifica l' URI di un bucket Cloud Storage o un percorso all'interno di un bucket, utilizzando il formato gs://<bucket_name>/<optional_path_inside_bucket>/. Se viene specificato un percorso all'interno del bucket, deve terminare con una barra (/).

Per utilizzare il tuo account di servizio anziché il service agent gestito da Google, la richiesta supporta un campo serviceAccount nell'oggetto JSON:

"serviceAccount" : "projects/PROJECT_ID/serviceAccounts/SERVICE_ACCOUNT_ID"

Un esempio di comando curl è il seguente:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json"
  https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID:exportData \
  -d '{"lustrePath": {"path":"/"}, "gcsPath": {"uri":"gs://BUCKET_NAME/"}}'

Attributi file

Quando esporti dati da un'istanza Managed Lustre a un bucket Cloud Storage, i seguenti attributi file vengono conservati come metadati personalizzati in Cloud Storage:

L'UID del file viene archiviato con la chiave goog-reserved-posix-uid.
Il GID del file viene archiviato con la chiave goog-reserved-posix-gid.
La modalità numerica del file viene archiviata con la chiave goog-reserved-posix-mode.
L' mtime del file viene archiviato con la chiave goog-reserved-file-mtime.

Questi nomi di chiavi di metadati personalizzati sono gli stessi utilizzati da Storage Transfer Service per i trasferimenti con i file system POSIX.

I seguenti attributi file non vengono conservati:

I link simbolici non vengono conservati.
I link fisici vengono esportati come oggetti Cloud Storage separati, con conseguenti copie multiple.
La suddivisione di Lustre impostata in modo esplicito utilizzando lfs setstripe o lfs setdirstripe non viene conservata.
L'atime e il ctime dei file non vengono conservati.
L'mtime delle directory non viene conservato.
Le directory vuote non vengono conservate.

Recupera operazione

Per visualizzare lo stato di un'operazione di importazione o esportazione, devi avere l'ID operazione. Questo ID viene restituito dal servizio quando effettui una richiesta di importazione o esportazione e utilizza il seguente formato:

operation-1234567890123-6127783ad26ea-88913969-02748053

gcloud

gcloud lustre operations describe OPERATION_ID \
  --location=LOCATION

REST

GET https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID
Authorization: Bearer [YOUR_ACCESS_TOKEN]

Un esempio di comando curl è il seguente:

curl -X GET \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID

Annulla operazione

Per annullare un'operazione di importazione o esportazione, devi avere l'ID operazione. Questo ID viene restituito dal servizio quando effettui una richiesta di importazione o esportazione e utilizza il seguente formato:

operation-1234567890123-6127783ad26ea-88913969-02748053

gcloud

gcloud lustre operations cancel OPERATION_ID \
  --location=LOCATION

REST

POST https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID:cancel
Authorization: Bearer [YOUR_ACCESS_TOKEN]

Un esempio di comando curl è il seguente:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://lustre.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID:cancel

Limitazioni

Si applicano le seguenti limitazioni:

Può essere attiva una sola operazione di trasferimento per istanza alla volta. Se avvii un secondo trasferimento prima che il primo sia stato completato, viene restituito il seguente errore:
```
ERROR: (gcloud.lustre.instances.export-data) ABORTED: unable to queue the operation
```

Trasferisci dati verso o da Cloud Storage Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Prestazioni

Considerazioni sulla larghezza di banda in uscita di Cloud Storage

Autorizzazioni obbligatorie

Autorizzazioni per avviare il trasferimento

Autorizzazioni per il service agent Managed Lustre

Recupera il service agent Managed Lustre

Se non hai ancora un service agent Managed Lustre

Se hai già creato un'istanza Managed Lustre

Concedi le autorizzazioni

Importa dati in Managed Lustre

gcloud

REST

Attributi file

Esporta i dati

gcloud

REST

Attributi file

Recupera operazione

gcloud

REST

Annulla operazione

gcloud

REST

Limitazioni

Trasferisci dati verso o da Cloud Storage