Agentenbasierte Übertragungsberechtigungen

Bevor Sie eine agentenbasierte Übertragung erstellen, müssen Sie Berechtigungen für die folgenden Entitäten konfigurieren:

  • Das Nutzer- oder nutzerverwaltete Dienstkonto, das zum Erstellen der Übertragung verwendet wird. Dies ist das Konto, mit dem Sie in der Google Cloud -Konsole angemeldet sind, oder das Konto, das bei der Authentifizierung in der gcloud-Befehlszeile angegeben wird. Das Nutzerkonto kann ein reguläres Nutzerkonto oder ein nutzerverwaltetes Dienstkonto sein.

  • Das von Google verwaltete Dienstkonto, auch als Dienst-Agent bezeichnet, das von Storage Transfer Service verwendet wird. Dieses Konto wird in der Regel durch seine E-Mail-Adresse im Format project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com identifiziert.

  • Das Transfer-Agent-Konto, das Google Cloud-Berechtigungen für Transfer-Agents bereitstellt. Für die Authentifizierung von Transfer-Agent-Konten werden die Anmeldedaten des Nutzers verwendet, der sie installiert, oder die Anmeldedaten eines nutzerverwalteten Dienstkontos.

Weitere Informationen zum Zuweisen von IAM-Rollen finden Sie unter Zugriff auf Ressourcen erteilen, ändern und entziehen.

Einfachste Methode zum Erteilen von Berechtigungen

Mit der gcloud CLI können Sie dem Nutzer bzw. dem vom Nutzer verwalteten Dienstkonto und dem von Google verwalteten Dienstkonto die erforderlichen Berechtigungen erteilen. Mit diesen Berechtigungen kann der Nutzer Übertragungsjobs erstellen, bearbeiten und löschen sowie Bandbreitenlimits festlegen oder ändern.

Wenn diese Berechtigungen zu weit gefasst sind, finden Sie in den späteren Abschnitten dieses Dokuments die von Storage Transfer Service benötigten Mindestberechtigungen.

Führen Sie den folgenden Befehl aus, um vorhandene Berechtigungen zu prüfen und fehlende Rollen auszugeben:

gcloud transfer authorize

Verwenden Sie das Flag --add-missing, um diese Rollen automatisch anzuwenden:

gcloud transfer authorize --add-missing

Wenn Sie einem vom Nutzer verwalteten Dienstkonto Berechtigungen erteilen möchten, übergeben Sie die Dienstkonto-Schlüsseldatei:

gcloud transfer authorize --add-missing --creds-file=path/to/key.json

Eine Anleitung zum Erstellen eines Dienstkontos finden Sie unter Dienstkonten erstellen und verwalten.

Der Befehl gewährt die folgenden Berechtigungen.

  • Für den Nutzer bzw. das vom Nutzer verwaltete Dienstkonto:

    • roles/owner
    • roles/storagetransfer.admin
    • roles/storagetransfer.transferAgent
    • roles/storage.objectAdmin
    • roles/pubsub.editor

  • Für das von Google verwaltete Dienstkonto:

    • roles/storage.admin
    • roles/storagetransfer.serviceAgent

Eine Anleitung zur Installation der gcloud-CLI finden Sie in der gcloud-Kurzanleitung.

Berechtigungen für Nutzer oder von Nutzern verwaltete Dienstkonten

In diesem Abschnitt werden die Rollen beschrieben, die für die Konten erforderlich sind, mit denen Übertragungen verwaltet und ausgeführt werden. Die genauen Rollen für die einzelnen Personen hängen von den Anforderungen Ihrer Organisation ab. In diesem Abschnitt wird davon ausgegangen, dass Sie einen Administrator und einen Nutzer erstellen.

Administratorkonten

Storage Transfer Service-Administratorkonten verwalten Transfer-Agents, legen Limits für die Bandbreitennutzung fest und löschen Übertragungsjobs.

Weisen Sie zum Einrichten eines Administratorkontos die folgenden IAM-Berechtigungen und -Rollen zu:

Rolle/Berechtigung Funktion Hinweise
resourcemanager.projects.getIamPolicy Mit dieser Berechtigung wird bestätigt, dass das von Google verwaltete Dienstkonto die erforderlichen Berechtigungen für eine Übertragung hat. Um diese Berechtigung zu gewähren, gewähren Sie die vordefinierte Rolle Rollenbetrachter (roles/iam.roleViewer) oder erstellen Sie eine benutzerdefinierte Rolle mit dieser Einzelberechtigung und gewähren Sie die benutzerdefinierte Rolle.
Storage Transfer-Administrator (roles/storagetransfer.admin) Ermöglicht administrative Aktionen im Übertragungsprojekt, z. B. Projekteinrichtung und Agent-Monitoring. Eine ausführliche Liste der gewährten Berechtigungen finden Sie unter Vordefinierte Rollen für Storage Transfer Service.

Nutzerkonten

Storage Transfer Service-Nutzerkonten werden zum Erstellen und Ausführen von Übertragungen verwendet. Diese Konten haben in der Regel keinen Zugriff zum Löschen von Übertragungsjobs.

Ein Nutzerkonto kann ein Google Cloud Konsolennutzer oder ein Dienstkonto sein. Wenn Sie ein Dienstkonto verwenden, hängt die Methode, mit der Sie die Anmeldedaten an den Storage Transfer Service übergeben, von der verwendeten Benutzeroberfläche ab.

Weisen Sie dem Konto die folgenden Berechtigungen und Rollen zu, um ein Nutzerkonto einzurichten:

Rolle/Berechtigung Funktion Hinweise
resourcemanager.projects.getIamPolicy Wird verwendet, um zu bestätigen, dass das von Google verwaltete Dienstkonto die erforderlichen Pub/Sub-Berechtigungen für eine Übertragung hat. Um diese Berechtigung zu gewähren, gewähren Sie die vordefinierte Rolle Rollenbetrachter (roles/iam.roleViewer) oder erstellen Sie eine benutzerdefinierte Rolle mit dieser Einzelberechtigung und gewähren Sie die benutzerdefinierte Rolle.
Storage Transfer-Nutzer (roles/storagetransfer.user) Der Nutzer kann Übertragungen erstellen, abrufen, aktualisieren und auflisten. Eine ausführliche Liste der gewährten Berechtigungen finden Sie unter Vordefinierte Rollen für Storage Transfer Service.

Berechtigungen für von Google verwaltete Dienstkonten

Storage Transfer Service verwendet ein von Google verwaltetes Dienstkonto, um Ihre Daten zu bewegen. Dieses Dienstkonto wird automatisch erstellt, wenn Sie einen Übertragungsjob zum ersten Mal erstellen, googleServiceAccounts.get aufrufen oder die Seite zum Erstellen von Jobs in derGoogle Cloud -Konsole aufrufen.

Das Dienstkonto hat meist das Format project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com. Verwenden Sie den API-Aufruf googleServiceAccounts.get, um die Dienstkonto-ID abzurufen.

Rollen automatisch zuweisen

Es gibt zwei Möglichkeiten, dem von Google verwalteten Dienstkonto automatisch die richtigen Rollen zuzuweisen:

Rollen manuell zuweisen

Wenn Sie dem von Google verwalteten Dienstkonto Zugriff auf Ressourcen gewähren möchten, die für die Übertragung erforderlich sind, weisen Sie dem Dienstkonto die folgenden Rollen oder entsprechende Berechtigungen zu.

Rolle/Berechtigung Funktion Hinweise
Storage-Objekt-Ersteller (roles/storage.objectCreator) Ermöglicht dem Storage Transfer Service, Übertragungslogs in dem mit dieser Übertragung verbundenen Cloud Storage-Bucket zu erstellen. Allen Cloud Storage-Buckets zuweisen, die in einer Übertragung verwendet werden. Sie können die Rolle auf Projektebene für das Projekt zuweisen, über das der Storage Transfer Service ausgeführt wird, sofern dies für Ihre Situation erforderlich ist.

Eine detaillierte Liste der Berechtigungen, die diese Rollen gewähren, finden Sie unter Vordefinierte Cloud Storage-Rollen.
Storage-Objekt-Betrachter (roles/storage.objectViewer) Ermöglicht dem Storage Transfer Service, zu bestimmen, ob eine Datei bereits zu oder von Cloud Storage übertragen wurde.
Storage Transfer Service-Agent (roles/storagetransfer.serviceAgent) Ermöglicht dem Storage Transfer Service, Pub/Sub-Themen automatisch zu erstellen und zu ändern, um Agents von Google Cloud zu übertragen. Wenden Sie die Rolle auf Projektebene auf das Projekt an, aus dem der Storage Transfer Service ausgeführt wird.

Eine detaillierte Liste der Berechtigungen, die diese Rolle gewährt, finden Sie unter Berechtigungen und Rollen.
Leser von Legacy-Storage-Buckets (roles/storage.legacyBucketReader) Ermöglicht dem Storage Transfer Service, Cloud Storage-Bucket-Metadaten zu lesen.

Wird allen Cloud Storage-Buckets zugewiesen, die in einer Übertragung verwendet werden.

legacy-Rollen in Cloud Storage können nur auf Bucket-Ebene zugewiesen werden.

Eine Anleitung finden Sie unter Erforderliche Berechtigungen erteilen.

Berechtigungen für Transfer-Agent-Konto

Storage Transfer Service-Transfer-Agents können entweder mit dem Nutzerkonto oder mit einem Dienstkonto ausgeführt werden.

Weisen Sie die Rolle "Transfer-Agent-Dienstkonto" oder "Nutzerkonto" zu, mit dem die Transfer-Agents ausgeführt werden:

Rolle/Berechtigung Funktion Hinweise
Storage Transfer-Agent (roles/storagetransfer.transferAgent) Gewährt Übertragungs-Agents die Berechtigungen des Storage Transfer Service und Pub/Sub, um eine Übertragung abzuschließen. Weisen Sie diese Rolle dem Nutzer oder Dienstkonto zu, das von Agents verwendet wird.

Eine detaillierte Liste der Berechtigungen, die diese Rolle gewährt, finden Sie unter Zugriffssteuerung mit IAM.

Quell- und Zielberechtigungen

Außerdem müssen Sie darauf achten, dass das Agent-Konto über die richtigen Berechtigungen verfügt, um auf die Quelldaten zuzugreifen und in das Ziel zu schreiben.

Dateisystem, S3-kompatibler Speicher oder HDFS zu Cloud Storage

Wenn das Ziel Ihrer Übertragung ein Cloud Storage-Bucket ist, benötigt der Transfer-Agent die folgenden Berechtigungen für den Ziel-Bucket. Eine Anleitung finden Sie unter Hauptkonto zu einer Richtlinie auf Bucket-Ebene hinzufügen.

Berechtigung Beschreibung
storage.objects.create Ermöglicht dem Agent-Konto, während der Übertragung Cloud Storage-Objekte zu schreiben.
storage.objects.get Ermöglicht dem Agent-Konto, Objektdaten und Metadaten zu lesen.
storage.objects.list Ermöglicht dem Agent-Konto, Objekte im Cloud Storage-Bucket aufzulisten.
storage.objects.delete Erforderlich, wenn die Übertragung so konfiguriert ist, dass Objekte in der Senke überschrieben oder gelöscht werden Beispiel: overwriteObjectsAlreadyExistingInSink oder deleteObjectsUniqueInSink sind in der transferOptions-Konfiguration Ihrer Übertragung festgelegt.

Weisen Sie zum Zuweisen dieser Berechtigungen die folgende Rolle zu:

  • Storage-Objekt-Administrator (roles/storage.objectAdmin)

Alternativ können Sie eine benutzerdefinierte Rolle mit den spezifischen Berechtigungen erstellen und die benutzerdefinierte Rolle zuweisen.

Zum Aktivieren von mehrteiligen Uploads sind zusätzliche Berechtigungen erforderlich.

Cloud Storage zum Dateisystem

Wenn die Quelle der Übertragung ein Cloud Storage-Bucket ist, benötigt der Transfer-Agent die folgende Berechtigung für den Quell-Bucket.

Berechtigung Beschreibung
storage.objects.create Ermöglicht dem Agent-Konto, Übertragungsprotokolle und übertragungsbezogene Metadaten in den Cloud Storage-Quellbucket zu schreiben.
storage.objects.get Ermöglicht dem Agent-Konto, Objektdaten und Metadaten zu lesen.
storage.objects.list Ermöglicht dem Agent-Konto, Objekte im Cloud Storage-Bucket aufzulisten.
storage.objects.delete Erforderlich, wenn die Übertragung für das Löschen von Objekten aus der Quelle konfiguriert wurde. Weitere Informationen finden Sie unter deleteObjectsFromSourceAfterTransfer.

Weisen Sie zum Gewähren dieser Berechtigung die folgende Rolle zu:

Alternativ können Sie eine benutzerdefinierte Rolle mit einer einzigen Berechtigung erstellen und die benutzerdefinierte Rolle zuweisen.

Dateisystem zum Dateisystem

Wenn die Übertragung zwischen zwei Dateisystemen erfolgt, benötigt der Transfer-Agent die folgenden Berechtigungen für den Zwischen-Bucket.

Berechtigung Beschreibung
storage.objects.create Ermöglicht dem Agent-Konto, während der Übertragung Cloud Storage-Objekte zu schreiben.
storage.objects.get Ermöglicht dem Agent-Konto, Objektdaten und Metadaten zu lesen.
storage.objects.list Ermöglicht dem Agent-Konto, Objekte im Cloud Storage-Bucket aufzulisten.
storage.objects.delete Erforderlich, wenn die Übertragung für das Löschen von Objekten im Zwischen-Bucket konfiguriert wurde, nachdem die Übertragung abgeschlossen wurde.

Weisen Sie zum Zuweisen dieser Berechtigungen die folgende Rolle zu:

  • Storage-Objekt-Administrator (roles/storage.objectAdmin)

Alternativ können Sie eine benutzerdefinierte Rolle mit den spezifischen Berechtigungen erstellen und die benutzerdefinierte Rolle zuweisen.

Zum Aktivieren von mehrteiligen Uploads sind zusätzliche Berechtigungen erforderlich.

Mehrteilige Uploads

Wenn Sie Multipart-Uploads für Übertragungen vom Dateisystem in Cloud Storage oder zwischen Dateisystemen aktivieren möchten, gewähren Sie dem Agent zusätzlich die folgenden Berechtigungen.

  • Weisen Sie bei Übertragungen zu Cloud Storage die Berechtigungen dem Ziel-Bucket zu.
  • Weisen Sie für Übertragungen zwischen Dateisystemen die Berechtigungen dem Zwischen-Bucket zu.
Name der Berechtigung für mehrteilige Uploads Beschreibung
storage.multipartUploads.create Objekte in mehreren Teilen hochladen
storage.multipartUploads.abort Mehrteilige Upload-Sitzungen abbrechen
storage.multipartUploads.listParts In einer mehrteiligen Upload-Sitzung hochgeladene Objektteile auflisten
storage.multipartUploads.list Mehrteilige Upload-Sitzungen in einem Bucket auflisten

Weisen Sie zum Zuweisen dieser Berechtigungen die folgende Rolle zu:

  • Storage-Objekt-Administrator (roles/storage.objectAdmin)

Alternativ können Sie eine benutzerdefinierte Rolle mit den spezifischen Berechtigungen erstellen und die benutzerdefinierte Rolle zuweisen.