Configurare l'accesso a un'origine: Amazon S3

Puoi configurare l'accesso a un bucket Amazon S3 utilizzando uno dei due metodi seguenti:

Credenziali di accesso
Identità federata

Aree geografiche supportate

Storage Transfer Service supporta le seguenti regioni Amazon S3:

af-south-1
ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ap-southeast-2
ap-southeast-3 ap-southeast-4
ca-central-1
ca-west-1
eu-central-1
eu-central-2
eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2 eu-west-3
il-central-1
me-central-1
me-south-1
sa-east-1
us-east-1
us-east-2
us-west-1
us-west-2

I trasferimenti che utilizzano la rete privata gestita supportano le seguenti regioni AWS:

ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ca-central-1
ca-west-1
eu-central-1
eu-central-2 eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2
eu-west-3
us-east-1
us-east-2
us-west-1
us-west-2

Autorizzazioni obbligatorie

Per utilizzare Storage Transfer Service per spostare i dati da un bucket Amazon S3, il tuo account utente o il ruolo di identità federata deve disporre delle autorizzazioni appropriate per il bucket:

Autorizzazione	Descrizione	Utilizza
`s3:ListBucket`	Consente a Storage Transfer Service di elencare gli oggetti nel bucket.	Sempre obbligatorio.
`s3:GetObject`	Consente a Storage Transfer Service di leggere gli oggetti nel bucket.	Obbligatorio se stai trasferendo la versione attuale di tutti gli oggetti. Se il manifest specifica una versione dell'oggetto, utilizza `s3:GetObjectVersion` invece.
`s3:GetObjectVersion`	Consente a Storage Transfer Service di leggere versioni specifiche degli oggetti nel bucket.	Obbligatorio se il manifest specifica una versione dell'oggetto. In caso contrario, utilizza `s3:GetObject`.
`s3:DeleteObject`	Consente a Storage Transfer Service di eliminare gli oggetti nel bucket.	Obbligatorio se imposti `deleteObjectsFromSourceAfterTransfer` su `true`.

Autenticarsi utilizzando le credenziali di accesso

Per utilizzare un ID chiave di accesso e una chiave segreta per l'autenticazione ad AWS:

Crea un utente AWS Identity and Access Management (AWS IAM) con un nome che puoi riconoscere facilmente, ad esempio transfer-user.
Per il tipo di accesso AWS, seleziona Chiave di accesso - accesso programmatico.
Concedi all'utente uno dei seguenti ruoli:
- AmazonS3ReadOnlyAccess per fornire l'accesso di sola lettura all'origine. Consente i trasferimenti, ma non supporta l'eliminazione degli oggetti all'origine al termine del trasferimento.
- AmazonS3FullAccess se il trasferimento è configurato per eliminare gli oggetti all'origine.
- Un ruolo personalizzato con le autorizzazioni appropriate dalla tabella Autorizzazioni obbligatorie sopra. Il JSON per le autorizzazioni minime è simile all'esempio riportato di seguito:
```
{
  "Version": "2012-10-17",
  "Statement": [
      {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject",
              "s3:ListBucket"
          ],
          "Resource": [
              "arn:aws:s3:::AWS_BUCKET_NAME/*",
              "arn:aws:s3:::AWS_BUCKET_NAME"
          ]
      }
  ]
}
```
Prendi nota dell'ID chiave di accesso e della chiave di accesso segreta quando l'utente viene creato correttamente.

La modalità di trasmissione dell'ID chiave di accesso e della chiave di accesso segreta a Storage Transfer Service dipende dall'interfaccia che utilizzi per avviare il trasferimento.

console Cloud

Inserisci i valori direttamente nel modulo di creazione del job di trasferimento.

Per iniziare, consulta Creare trasferimenti per iniziare.

Gcloud CLI

Crea un file JSON nel seguente formato:

{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

Passa la posizione del file al comando gcloud transfer jobs create utilizzando il flag source-creds-file:

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/KEYFILE.JSON

API REST

L'oggetto transferSpec deve contenere le informazioni della chiave come parte dell'oggetto awsS3DataSource:

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "awsAccessKey": {
      "accessKeyId": "AWS_ACCESS_KEY_ID",
      "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
    }
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

Librerie client

Consulta gli esempi nella pagina Creare trasferimenti.

Salvare le credenziali di accesso in Secret Manager

Secret Manager è un servizio sicuro che archivia e gestisce dati sensibili come le password. Utilizza una crittografia efficace, il controllo degli accessi basato sui ruoli e la registrazione delle attività di audit per proteggere i secret.

Storage Transfer Service può utilizzare Secret Manager per proteggere le credenziali di accesso ad AWS. Carica le credenziali in Secret Manager, quindi passa il nome della risorsa secret a Storage Transfer Service.

Abilitare l'API

Abilita l'API Secret Manager.

Ruoli richiesti per abilitare le API

Per abilitare le API, devi disporre del ruolo IAM Amministratore utilizzo servizi (roles/serviceusage.serviceUsageAdmin), che contiene l'autorizzazione serviceusage.services.enable. Scopri come concedere i ruoli.

Abilitare l'API

Configurare autorizzazioni aggiuntive

Autorizzazioni utente

L'utente che crea il secret deve disporre del seguente ruolo:

Secret Manager Admin (roles/secretmanager.admin)

Scopri come concedere un ruolo.

Autorizzazioni agente di servizio

Il service agent di Storage Transfer Service richiede il seguente ruolo IAM:

Secret Manager Secret Accessor (roles/secretmanager.secretAccessor)

Per concedere il ruolo al service agent:

console Cloud

Segui le istruzioni per recuperare l'indirizzo email del service agent.
Vai alla pagina IAM nella Google Cloud console.

Vai a IAM
Fai clic su Concedi l'accesso.
Nella casella di testo Nuove entità, inserisci l'indirizzo email del service agent.
Nel menu a discesa Seleziona un ruolo, cerca e seleziona Secret Manager Secret Accessor.
Fai clic su Salva.

gcloud

Utilizza il comando gcloud projects add-iam-policy-binding per aggiungere il ruolo IAM al service agent.

Segui le istruzioni per recuperare l'indirizzo email del service agent.

Dalla riga di comando, inserisci il seguente comando:

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member='serviceAccount:SERVICE_AGENT_EMAIL' \
  --role='roles/secretmanager.secretAccessor'

Creare un secret

Crea un secret con Secret Manager:

console Cloud

Vai alla pagina Secret Manager nella Google Cloud console.

Vai a Secret Manager
Fai clic su Crea secret.
Inserisci un nome.

Nella casella di testo Valore secret, inserisci le credenziali nel seguente formato:

{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

Fai clic su Crea secret.
Una volta creato il secret, prendi nota del nome completo della risorsa secret:
1. Seleziona la scheda Panoramica.
2. Copia il valore di ID risorsa. Utilizza il seguente formato:
  
  projects/1234567890/secrets/SECRET_NAME

gcloud

Per creare un nuovo secret utilizzando lo strumento a riga di comando gcloud, passa le credenziali in formato JSON al comando gcloud secrets create:

printf '{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-

Recupera il nome completo della risorsa secret:

gcloud secrets describe SECRET_NAME

Prendi nota del valore di name nella risposta. Utilizza il seguente formato:

projects/1234567890/secrets/SECRET_NAME

Per ulteriori dettagli sulla creazione e la gestione dei secret, consulta la documentazione di Secret Manager.

Passare il secret al comando di creazione del job

L'utilizzo di Secret Manager con Storage Transfer Service richiede l'utilizzo dell'API REST per creare un job di trasferimento.

Passa il nome della risorsa Secret Manager come valore del campo transferSpec.awsS3DataSource.credentialsSecret:

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Secret Manager",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_BUCKET_NAME",
          "credentialsSecret": "SECRET_RESOURCE_ID",
      },
      "gcsDataSink": {
          "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
      }
  }
}

Autenticarsi utilizzando l'identità federata

Per utilizzare l'identità federata per l'autenticazione ad AWS:

Crea un nuovo ruolo IAM in AWS.
Seleziona Policy di attendibilità personalizzata come tipo di entità attendibile.

Copia e incolla la seguente policy di attendibilità:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Federated": "accounts.google.com"
      },
      "Action": "sts:AssumeRoleWithWebIdentity",
      "Condition": {
        "StringEquals": {
          "accounts.google.com:sub": "SUBJECT_ID"
        }
      }
    }
  ]
}

Sostituisci SUBJECT_ID con il subjectID del account di servizio gestito da Google creato automaticamente quando inizi a utilizzare Storage Transfer Service. Per recuperare il subjectID:
1. Vai alla googleServiceAccounts.get pagina di riferimento.
  
  Si apre un riquadro interattivo intitolato Prova questo metodo.
2. Nel riquadro, in Parametri della richiesta, inserisci il tuo ID progetto. Il progetto che specifichi qui deve essere il progetto che utilizzi per gestire Storage Transfer Service.
3. Fai clic su Esegui. Il subjectId è incluso nella risposta.
Concedi al ruolo una delle seguenti policy di autorizzazione:
- AmazonS3ReadOnlyAccess fornisce l'accesso di sola lettura all'origine. Consente i trasferimenti, ma non supporta l'eliminazione degli oggetti all'origine al termine del trasferimento.
- AmazonS3FullAccess se il trasferimento è configurato per eliminare gli oggetti all'origine.
- Un ruolo personalizzato con le autorizzazioni appropriate dalla tabella Autorizzazioni obbligatorie sopra. Il JSON per le autorizzazioni minime è simile all'esempio riportato di seguito:
```
{
  "Version": "2012-10-17",
  "Statement": [
      {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject",
              "s3:ListBucket"
          ],
          "Resource": [
              "arn:aws:s3:::AWS_BUCKET_NAME/*",
              "arn:aws:s3:::AWS_BUCKET_NAME"
          ]
      }
  ]
}
```
Assegna un nome al ruolo e crealo.
Una volta creato, visualizza i dettagli del ruolo per recuperare il nome della risorsa Amazon (ARN). Prendi nota di questo valore; ha il formato arn:aws:iam::AWS_ACCOUNT:role/ROLE_NAME.

La modalità di trasmissione dell'ARN a Storage Transfer Service dipende dall'interfaccia che utilizzi per avviare il trasferimento.

console Cloud

Inserisci l'ARN direttamente nel modulo di creazione del job di trasferimento.

Per iniziare, consulta Creare trasferimenti per iniziare.

Gcloud CLI

Crea un file JSON nel seguente formato:

{
  "roleArn": "ARN"
}

Passa la posizione del file al comando gcloud transfer jobs create utilizzando il flag source-creds-file:

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/ARNFILE.JSON

API REST

L'oggetto transferSpec deve contenere le informazioni dell'ARN come parte dell'oggetto awsS3DataSource:

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "roleArn": "ARN"
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

Librerie client

Consulta gli esempi nella pagina Creare trasferimenti.

Limitazioni IP

Se il tuo progetto AWS utilizza limitazioni IP per l'accesso allo spazio di archiviazione, devi aggiungere gli intervalli IP utilizzati dai worker di Storage Transfer Service all'elenco degli IP consentiti.

Poiché questi intervalli IP possono cambiare, pubblichiamo i valori attuali come file JSON a un indirizzo permanente:

https://www.gstatic.com/storage-transfer-service/ipranges.json

Quando un nuovo intervallo viene aggiunto al file, attendiamo almeno 7 giorni prima di utilizzarlo per le richieste di Storage Transfer Service.

Ti consigliamo di estrarre i dati da questo documento almeno una volta alla settimana per mantenere aggiornata la configurazione di sicurezza. Per uno script Python di esempio che recupera gli intervalli IP da un file JSON, consulta questo articolo della documentazione di Virtual Private Cloud.

Per aggiungere questi intervalli come IP consentiti, utilizza il campo Condition in una policy del bucket, come descritto nella documentazione di AWS S3: Gestire l'accesso in base a indirizzi IP specifici.

Configurare l'accesso a un'origine: Amazon S3 Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

Aree geografiche supportate

Autorizzazioni obbligatorie

Autenticarsi utilizzando le credenziali di accesso

console Cloud

Gcloud CLI

API REST

Librerie client

Salvare le credenziali di accesso in Secret Manager

Abilitare l'API

Configurare autorizzazioni aggiuntive

Autorizzazioni utente

Autorizzazioni agente di servizio

console Cloud

gcloud

Creare un secret

console Cloud

gcloud

Passare il secret al comando di creazione del job

Autenticarsi utilizzando l'identità federata

console Cloud

Gcloud CLI

API REST

Librerie client

Limitazioni IP

Configurare l'accesso a un'origine: Amazon S3