Zugriff auf eine Quelle konfigurieren: Amazon S3

Sie können den Zugriff auf einen Amazon S3-Bucket mit einer der folgenden Methoden einrichten:

Anmeldedaten für den Zugriff
Föderierte Identität

Unterstützte Regionen

Storage Transfer Service unterstützt die folgenden Amazon S3-Regionen:

af-south-1
ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ap-southeast-2
ap-southeast-3 ap-southeast-4
ca-central-1
ca-west-1
eu-central-1
eu-central-2
eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2 eu-west-3
il-central-1
me-central-1
me-south-1
sa-east-1
us-east-1
us-east-2
us-west-1
us-west-2

Übertragungen mit dem verwalteten privaten Netzwerk unterstützen die folgenden AWS-Regionen:

ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ca-central-1
ca-west-1
eu-central-1
eu-central-2 eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2
eu-west-3
us-east-1
us-east-2
us-west-1
us-west-2

Erforderliche Berechtigungen

Wenn Sie Storage Transfer Service verwenden möchten, um Daten aus einem Amazon S3-Bucket zu verschieben, muss Ihr Nutzerkonto oder Ihre Rolle für die föderierte Identität die entsprechenden Berechtigungen für den Bucket haben:

Berechtigung	Beschreibung	Nutzung
`s3:ListBucket`	Ermöglicht Storage Transfer Service, Objekte im Bucket aufzulisten.	Immer erforderlich.
`s3:GetObject`	Ermöglicht Storage Transfer Service, Objekte im Bucket zu lesen.	Erforderlich, wenn Sie die aktuelle Version aller Objekte übertragen Verwenden Sie `s3:GetObjectVersion`, wenn Ihr Manifest eine Objektversion angibt.
`s3:GetObjectVersion`	Ermöglicht Storage Transfer Service, bestimmte Versionen von Objekten im Bucket zu lesen.	Erforderlich, wenn das Manifest eine Objektversion angibt Verwenden Sie andernfalls `s3:GetObject`.
`s3:DeleteObject`	Ermöglicht es Storage Transfer Service, Objekte im Bucket zu löschen.	Erforderlich, wenn Sie `deleteObjectsFromSourceAfterTransfer` auf `true` festlegen.

Mit Anmeldedaten für den Zugriff authentifizieren

So authentifizieren Sie sich mit einer Zugriffsschlüssel-ID und einem geheimen Schlüssel bei AWS:

Erstellen Sie einen AWS IAM-Nutzer (AWS Identity and Access Management) mit einem Namen, den Sie leicht wiedererkennen, z. B. transfer-user.
Wählen Sie für den AWS-Zugriffstyp Zugriffsschlüssel – programmatischer Zugriff aus.
Weisen Sie dem Nutzer eine der folgenden Rollen zu:
- AmazonS3ReadOnlyAccess für schreibgeschützten Zugriff auf die Quelle. Dadurch sind Übertragungen möglich, aber Objekte können nach Abschluss der Übertragung nicht in der Quelle gelöscht werden.
- AmazonS3FullAccess , wenn Ihre Übertragung so konfiguriert ist, dass Objekte in der Quelle gelöscht werden.
- Eine benutzerdefinierte Rolle mit den entsprechenden Berechtigungen aus der Tabelle Erforderliche Berechtigungen oben. Das JSON für die Mindestberechtigungen sieht so aus wie im folgenden Beispiel:
```
{
  "Version": "2012-10-17",
  "Statement": [
      {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject",
              "s3:ListBucket"
          ],
          "Resource": [
              "arn:aws:s3:::AWS_BUCKET_NAME/*",
              "arn:aws:s3:::AWS_BUCKET_NAME"
          ]
      }
  ]
}
```
Notieren Sie sich die Zugriffsschlüssel-ID und den geheimen Zugriffsschlüssel , wenn der Nutzer erfolgreich erstellt wurde.

Wie Sie die Zugriffsschlüssel-ID und den geheimen Zugriffsschlüssel an Storage Transfer Service übergeben, hängt von der Schnittstelle ab, die Sie zum Starten der Übertragung verwenden.

Cloud Console

Geben Sie die Werte direkt in das Formular zum Erstellen von Übertragungsjobs ein.

Eine Anleitung finden Sie unter Übertragungen erstellen zum Starten.

gcloud CLI

Erstellen Sie eine JSON-Datei im folgenden Format:

{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

Übergeben Sie den Speicherort der Datei mit dem Flag source-creds-file an den Befehl gcloud transfer jobs create:

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/KEYFILE.JSON

REST API

Ihr transferSpec-Objekt muss die Schlüsselinformationen als Teil des awsS3DataSource-Objekts enthalten:

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "awsAccessKey": {
      "accessKeyId": "AWS_ACCESS_KEY_ID",
      "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
    }
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

Clientbibliotheken

Beispiele finden Sie auf der Seite Übertragungen erstellen.

Anmeldedaten für den Zugriff in Secret Manager speichern

Secret Manager ist ein sicherer Dienst, der sensible Daten wie Passwörter speichert und verwaltet. Zum Schutz Ihrer Secrets werden eine starke Verschlüsselung, rollenbasierte Zugriffssteuerung und Audit-Logging verwendet.

Storage Transfer Service kann Secret Manager nutzen, um Ihre AWS-Anmeldedaten zu schützen. Sie laden Ihre Anmeldedaten in Secret Manager und übergeben dann den Namen der Secret-Ressource an Storage Transfer Service.

API aktivieren

Aktivieren Sie die Secret Manager API.

Rollen, die zum Aktivieren von APIs erforderlich sind

Zum Aktivieren von APIs benötigen Sie die IAM-Rolle „Service Usage-Administrator“ (roles/serviceusage.serviceUsageAdmin), die die Berechtigung serviceusage.services.enable enthält. Informationen zum Zuweisen von Rollen.

API aktivieren

Zusätzliche Berechtigungen konfigurieren

Nutzerberechtigungen

Der Nutzer, der das Secret erstellt, benötigt die folgende Rolle:

Secret Manager-Administrator (roles/secretmanager.admin)

Informationen zum Zuweisen einer Rolle .

Berechtigungen des Dienst-Agents

Der Dienst-Agent von Storage Transfer Service benötigt die folgende IAM-Rolle:

Zugriffsperson für Secret Manager-Secret (roles/secretmanager.secretAccessor)

So weisen Sie Ihrem Dienst-Agent die Rolle zu:

Cloud Console

Folgen Sie der Anleitung, um die E‑Mail-Adresse Ihres Dienst-Agents abzurufen.
Rufen Sie in der Google Cloud console die Seite IAM auf.

IAM aufrufen
Klicken Sie auf Zugriff erlauben.
Geben Sie im Textfeld Neue Hauptkonten die E‑Mail-Adresse des Dienst-Agents ein.
Suchen Sie im Drop-down-Menü Rolle auswählen nach Zugriffsperson für Secret Manager-Secret und wählen Sie diese Option aus.
Klicken Sie auf Speichern.

gcloud

Verwenden Sie den Befehl gcloud projects add-iam-policy-binding, um Ihrem Dienst-Agent die IAM-Rolle hinzuzufügen.

Folgen Sie der Anleitung, um die E‑Mail-Adresse Ihres Dienst-Agents abzurufen.

Geben Sie in der Befehlszeile den folgenden Befehl ein:

gcloud projects add-iam-policy-binding PROJECT_ID \
  --member='serviceAccount:SERVICE_AGENT_EMAIL' \
  --role='roles/secretmanager.secretAccessor'

Secret erstellen

So erstellen Sie ein Secret mit Secret Manager:

Cloud Console

Rufen Sie in der Google Cloud Console die Seite Secret Manager auf.

Zu Secret Manager
Klicken Sie auf Secret erstellen.
Geben Sie einen Namen ein.

Geben Sie im Textfeld Secret-Wert Ihre Anmeldedaten im folgenden Format ein:

{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}

Klicken Sie auf Secret erstellen.
Notieren Sie sich nach dem Erstellen des Secrets den vollständigen Ressourcennamen des Secrets:
1. Wählen Sie den Tab Übersicht aus.
2. Kopieren Sie den Wert von Ressourcen-ID. Er hat das folgende Format:
  
  projects/1234567890/secrets/SECRET_NAME

gcloud

Wenn Sie mit dem gcloud-Befehlszeilentool ein neues Secret erstellen möchten, übergeben Sie die Anmeldedaten im JSON-Format an den Befehl gcloud secrets create:

printf '{
  "accessKeyId": "AWS_ACCESS_KEY_ID",
  "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
}' | gcloud secrets create SECRET_NAME --data-file=-

Rufen Sie den vollständigen Ressourcennamen des Secrets ab:

gcloud secrets describe SECRET_NAME

Notieren Sie sich den Wert von name in der Antwort. Er hat das folgende Format:

projects/1234567890/secrets/SECRET_NAME

Weitere Informationen zum Erstellen und Verwalten von Secrets finden Sie in der Secret Manager-Dokumentation.

Secret an den Befehl zum Erstellen von Jobs übergeben

Wenn Sie Secret Manager mit Storage Transfer Service verwenden möchten, müssen Sie einen Übertragungsjob mit der REST API erstellen.

Übergeben Sie den Ressourcennamen von Secret Manager als Wert des Felds transferSpec.awsS3DataSource.credentialsSecret:

POST https://storagetransfer.googleapis.com/v1/transferJobs

{
  "description": "Transfer with Secret Manager",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_BUCKET_NAME",
          "credentialsSecret": "SECRET_RESOURCE_ID",
      },
      "gcsDataSink": {
          "bucketName": "CLOUD_STORAGE_BUCKET_NAME"
      }
  }
}

Mit föderierter Identität authentifizieren

So authentifizieren Sie sich mit föderierter Identität bei AWS:

Erstellen Sie eine neue IAM-Rolle in AWS.
Wählen Sie Benutzerdefinierte Vertrauensrichtlinie als Typ der vertrauenswürdigen Entität aus.

Kopieren Sie die folgende Vertrauensrichtlinie und fügen Sie sie ein:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Federated": "accounts.google.com"
      },
      "Action": "sts:AssumeRoleWithWebIdentity",
      "Condition": {
        "StringEquals": {
          "accounts.google.com:sub": "SUBJECT_ID"
        }
      }
    }
  ]
}

Ersetzen Sie SUBJECT_ID durch die subjectID des von Google verwalteten Dienstkontos, das automatisch erstellt wird, wenn Sie Storage Transfer Service zum ersten Mal verwenden. So rufen Sie die subjectID ab:
1. Rufen Sie die googleServiceAccounts.get Referenzseite auf.
  
  Es wird ein interaktives Steuerfeld mit dem Titel Diese Methode testen geöffnet.
2. Geben Sie im Steuerfeld unter Anfrageparameter Ihre Projekt-ID ein. Das hier angegebene Projekt muss das Projekt sein, das Sie zum Verwalten des Storage Transfer Service verwenden.
3. Klicken Sie auf Ausführen. Die subjectId ist in der Antwort enthalten.
Weisen Sie der Rolle eine der folgenden Berechtigungsrichtlinien zu:
- AmazonS3ReadOnlyAccess für schreibgeschützten Zugriff auf die Quelle. Dadurch sind Übertragungen möglich, aber Objekte können nach Abschluss der Übertragung nicht in der Quelle gelöscht werden.
- AmazonS3FullAccess , wenn Ihre Übertragung so konfiguriert ist, dass Objekte in der Quelle gelöscht werden.
- Eine benutzerdefinierte Rolle mit den entsprechenden Berechtigungen aus der Tabelle Erforderliche Berechtigungen oben. Das JSON für die Mindestberechtigungen sieht so aus wie im folgenden Beispiel:
```
{
  "Version": "2012-10-17",
  "Statement": [
      {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject",
              "s3:ListBucket"
          ],
          "Resource": [
              "arn:aws:s3:::AWS_BUCKET_NAME/*",
              "arn:aws:s3:::AWS_BUCKET_NAME"
          ]
      }
  ]
}
```
Weisen Sie der Rolle einen Namen zu und erstellen Sie sie.
Rufen Sie nach dem Erstellen die Details der Rolle auf, um den Amazon Resource Name (ARN) abzurufen. Notieren Sie sich diesen Wert. Er hat das Format arn:aws:iam::AWS_ACCOUNT:role/ROLE_NAME.

Wie Sie den ARN an Storage Transfer Service übergeben, hängt von der Schnittstelle ab, die Sie zum Starten der Übertragung verwenden.

Cloud Console

Geben Sie den ARN direkt in das Formular zum Erstellen von Übertragungsjobs ein.

Eine Anleitung finden Sie unter Übertragungen erstellen zum Starten.

gcloud CLI

Erstellen Sie eine JSON-Datei im folgenden Format:

{
  "roleArn": "ARN"
}

Übergeben Sie den Speicherort der Datei mit dem Flag source-creds-file an den Befehl gcloud transfer jobs create:

gcloud transfer jobs create s3://S3_BUCKET_NAME gs://GCS_BUCKET_NAME \
  --source-creds-file=PATH/TO/ARNFILE.JSON

REST API

Ihr transferSpec-Objekt muss die ARN-Informationen als Teil des awsS3DataSource-Objekts enthalten:

"transferSpec": {
  "awsS3DataSource": {
    "bucketName": "AWS_SOURCE_NAME",
    "roleArn": "ARN"
  },
  "gcsDataSink": {
    "bucketName": "GCS_SINK_NAME"
  }
}

Clientbibliotheken

Beispiele finden Sie auf der Seite Übertragungen erstellen.

IP-Einschränkungen

Wenn in Ihrem AWS-Projekt IP-Einschränkungen für den Zugriff auf Speicher gelten, müssen Sie die von Storage Transfer Service-Workern verwendeten IP-Bereiche der Liste der zulässigen IP-Adressen hinzufügen.

Da sich diese IP-Bereiche ändern können, veröffentlichen wir die aktuellen Werte als JSON-Datei unter einer permanenten Adresse:

https://www.gstatic.com/storage-transfer-service/ipranges.json

Wenn der Datei ein neuer Bereich hinzugefügt wird, warten wir mindestens 7 Tage, bevor wir diesen Bereich für Anfragen von Storage Transfer Service verwenden.

Wir empfehlen, mindestens wöchentlich Daten aus diesem Dokument abzurufen, um Ihre Sicherheitskonfiguration auf dem neuesten Stand zu halten. Ein Beispiel für ein Python-Skript, das IP-Bereiche aus einer JSON-Datei abruft, finden Sie in diesem Artikel in der Virtual Private Cloud Dokumentation.

Wenn Sie diese Bereiche als zulässige IP-Adressen hinzufügen möchten, verwenden Sie das Condition Feld in einer Bucket Richtlinie, wie in der AWS S3-Dokumentation beschrieben: Zugriff basierend auf bestimmten IP-Adressen verwalten.

Zugriff auf eine Quelle konfigurieren: Amazon S3 Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Unterstützte Regionen

Erforderliche Berechtigungen

Mit Anmeldedaten für den Zugriff authentifizieren

Cloud Console

gcloud CLI

REST API

Clientbibliotheken

Anmeldedaten für den Zugriff in Secret Manager speichern

API aktivieren

Zusätzliche Berechtigungen konfigurieren

Nutzerberechtigungen

Berechtigungen des Dienst-Agents

Cloud Console

gcloud

Secret erstellen

Cloud Console

gcloud

Secret an den Befehl zum Erstellen von Jobs übergeben

Mit föderierter Identität authentifizieren

Cloud Console

gcloud CLI

REST API

Clientbibliotheken

IP-Einschränkungen

Zugriff auf eine Quelle konfigurieren: Amazon S3