このページは Cloud Translation API によって翻訳されました。

クロスバケットレプリケーションを使用する

このページでは、クロスバケットレプリケーションの概要と、この機能の使用方法について説明します。

クロスバケットレプリケーションの概要

場合によっては、ある Cloud Storage バケットから別のバケットにデータをコピーすることがあります。クロスバケットレプリケーションは、新規オブジェクトと更新されたオブジェクトをソースバケットから宛先バケットに非同期でコピーします。

クロスバケットレプリケーションは、データが 2 つのバケットに存在し、それぞれにストレージのロケーション、暗号化、アクセス、ストレージクラスなどの独自の構成がある点で、デフォルトのレプリケーションやターボレプリケーションとは異なります。その結果、データ復旧と可用性が実現されるだけでなく、次のような場合にも適しています。

データ主権: 地理的に離れたリージョンにまたがるデータを維持します。
開発環境と本番環境で異なるバージョンを維持: 別個のバケットと名前空間を作成して、開発環境が本番環境のワークロードに影響しないようにします。
データ共有: ベンダーまたはパートナーが所有するバケットにデータを複製します。
データ集約: さまざまなバケットのデータを 1 つのバケットに結合して、分析ワークロードを実行します。
費用、セキュリティ、コンプライアンスの管理: さまざまな所有権、ストレージクラス、保持期間でデータを維持します。

クロスバケットレプリケーションでは、Storage Transfer Service を使用してオブジェクトを複製し、Pub/Sub を使用してソースバケットと宛先バケットの変更に関するアラートを受信します。クロスバケットレプリケーションは、作成した新しいバケットと既存のバケットで有効にできます。ほとんどのオブジェクトは数分で複製できますが、1 GiB を超えるオブジェクトでは数時間かかることがあります。

制限事項

階層名前空間バケットでは、バケット間のレプリケーションはサポートされていません。
ソースバケットでオブジェクトを削除しても、転送先バケットには複製されません。
オブジェクトのライフサイクル構成は複製されません。
オブジェクトが複製される際、タイムスタンプメタデータ（timeCreated や timeUpdated など）は保持されません。メタデータの保持の詳細については、Cloud Storage バケット間の転送をご覧ください。
クロスバケットレプリケーションを使用して、任意の Google Cloud ロケーションにあるバケット間でデータを複製できるため、クロスバケットレプリケーションのパフォーマンスは、選択したロケーションによって異なります。したがって、クロスバケットレプリケーションでは目標復旧時点（RPO）は提供されません。
レプリケーションジョブの作成時にバケットにすでに存在するオブジェクトは、自動的に複製されません。新規オブジェクトと更新されたオブジェクトのみが複製されます。既存のオブジェクトを複製するには、既存のバケットから新しいバケットへの 1 回限りの Storage Transfer Service 転送ジョブを作成します。手順については、転送を作成するをご覧ください。

始める前に

始める前に、次の手順を行います。

Storage Transfer Service API を有効にする

Storage Transfer Service API を有効にします（まだ有効にしていない場合）。

必要なロールを取得する

クロスバケットレプリケーションを使用するために必要な権限を取得するには、バケットまたはソースプロジェクトに対するストレージ転送ユーザー（roles/storagetransfer.user）IAM ロールを付与するよう管理者に依頼してください。

この事前定義ロールには、バケット間のレプリケーションを使用するために必要な権限が含まれています。必要とされる正確な権限については、「必要な権限」セクションを開いてご確認ください。

必要な権限

クロスバケットレプリケーションを使用するには、次の権限が必要です。

storagetransfer.jobs.create
storagetransfer.jobs.delete
storagetransfer.jobs.get
storagetransfer.jobs.list
storagetransfer.jobs.run
storagetransfer.jobs.update

バケットに対してロールを付与する手順については、バケットで IAM を使用するをご覧ください。プロジェクトにロールを付与する手順については、プロジェクトへのアクセス権を管理するをご覧ください。

必要なロールを付与する

クロスバケットレプリケーションでは、Storage Transfer Service を使用してソースバケットから宛先バケットにオブジェクトを複製し、Pub/Sub を使用してソースバケットの変更通知を受け取ります。

クロスバケットレプリケーションでこれらのサービスを使用できるようにするには、Storage Transfer Service がデータのレプリケーションに使用するサービスアカウントと、Pub/Sub が通知の書き込みに使用するサービスエージェントに必要な権限を付与する必要があります。

Storage Transfer Service に必要なロールを付与する

Storage Transfer Service を使用してデータを複製するために必要な権限は、2 つのサービスアカウントのいずれかに付与できます。次のいずれかを行います。

Storage Transfer Service サービスエージェント。Google によって自動的に作成、管理されます。このサービスエージェントのメールアドレスは、project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com という命名形式になります。Storage Transfer Service googleServiceAccounts.get API を使用して、Storage Transfer Service サービスエージェントのメールアドレスを取得できます。

または

ユーザー管理のサービスアカウント。このサービスアカウントのメールアドレスは、SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com という命名形式になります。独自のサービスアカウントを作成し、データを複製するために必要な権限を付与できます。

Storage Transfer Service でユーザー管理のサービスアカウントを使用する手順については、サービスエージェントの権限をユーザー管理のサービスアカウントに委任するをご覧ください。次のリストに記載されている権限以外にも、必要な権限があります。特に、サービスアカウントトークン作成者ロール（roles/iam.serviceAccountTokenCreator）を割り当てて、ユーザー管理のサービスアカウントへのアクセス権をサービスエージェントに付与する必要があります。サービスエージェントにアクセス権を付与するをご覧ください。

Storage Transfer Service サービスエージェントまたはユーザーサービスアカウントには、オブジェクトを複製し、ソースバケットの Pub/Sub 通知を設定するために、次の権限が必要です。

必要な権限

ソースプロジェクトには次の権限が付与されている必要があります。

pubsub.topics.create
pubsub.subscriptions.create
pubsub.subscriptions.consume

ソースバケットには次の権限が付与されている必要があります。

storage.buckets.get
storage.buckets.update
storage.objects.get

宛先バケットには次の権限が付与されている必要があります。

storage.buckets.get
storage.objects.create
storage.objects.get

これらの権限は、カスタムロールまたは次の事前定義ロールのすべてを付与することで付与できます。

ソースプロジェクトに対する Pub/Sub 編集者（roles/pubsub.editor）ロール
ソースバケットに対する Storage Legacy Bucket Owner（roles/storage.legacyBucketOwner）ロールと Storage Object Viewer（roles/storage.objectViewer）ロール
転送先バケットに対する Storage レガシーバケット書き込み（roles/storage.legacyBucketWriter）ロールと Storage オブジェクト閲覧者（roles/storage.objectViewer）ロール

Pub/Sub に必要なロールを付与する

Cloud Storage は、Google 管理のサービスエージェントを使用して Pub/Sub 通知を管理します。このサービスエージェントのメールアドレスは、service-PROJECT_NUMBER@gs-project-accounts.iam.gserviceaccount.com という命名形式になります。

Cloud Storage サービスエージェントには、Pub/Sub を設定してトピックにメッセージを公開するために、次の権限が必要です。

必要な権限

Pub/Sub トピックに対する pubsub.topics.publish
Pub/Sub トピックに対する pubsub.subscriptions.consume
移動元プロジェクトに対する pubsub.subscriptions.create

これらの権限は、カスタムロールまたは次の事前定義ロールを付与することで付与できます。

ソースプロジェクトに対する Pub/Sub パブリッシャー（roles/pubsub.publisher）

レプリケーションジョブを作成する

コンソール

レプリケーションジョブを作成する Google Cloud コンソールの手順については、 Google Cloud コンソールを使用してレプリケーションジョブを作成するをご覧ください。

コマンドライン

Google Cloud CLI を使用する場合は、既存のバケットに対してレプリケーションジョブを作成できます。

レプリケーションジョブを作成するには、--replication フラグを指定して gcloud alpha transfer jobs create コマンドを使用します。

gcloud alpha transfer jobs create gs://SOURCE_BUCKET_NAME gs://DESTINATION_BUCKET_NAME --replication

以下のように置き換えます。

SOURCE_BUCKET_NAME は、複製するソースバケットの名前に置き換えます。例: my-source-bucket
DESTINATION_BUCKET_NAME は、宛先バケットの名前に置き換えます。例: my-destination-bucket

REST API

JSON API

JSON API を使用する場合は、既存のバケットに対してレプリケーションジョブを作成できます。

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

初期化された ReplicationSpec リソースが含まれる TransferJob オブジェクトを含む JSON ファイルを作成します。
```
TransferJob {
 "name": "TRANSFER_JOB_NAME",
 ...
 ReplicationSpec: {
   "gcsDataSource": {
     "bucketName": "SOURCE_BUCKET_NAME"
   },
   "gcsDataSink" {
     "bucketName": "DESTINATION_BUCKET_NAME"
   },
   "objectConditions": {
   },
   "transferOptions": {
     "overwriteWhen": "OVERWRITE_OPTION"
   }
 }
 ...
}
```
以下のように置き換えます。
- TRANSFER_JOB_NAME は、レプリケーションジョブに割り当てる名前に置き換えます。命名要件については、transferJobs のリファレンスドキュメントをご覧ください。
- SOURCE_BUCKET_NAME は、複製するオブジェクトを含むソースバケットの名前に置き換えます。（例: example-source-bucket）です。
- DESTINATION_BUCKET_NAME は、オブジェクトが複製される宛先バケットの名前に置き換えます。（例: example-destination-bucket）です。
- OVERWRITE_OPTION: レプリケーションジョブの結果として宛先バケット内の既存のオブジェクトを上書きする方法のオプション。宛先オブジェクトとソースオブジェクトが同じ名前の場合に発生する可能性があります。値は次のいずれかにする必要があります。
  - ALWAYS: 転送先バケット内のオブジェクトを常に上書きします
  - DIFFERENT: 宛先オブジェクトのデータがソースオブジェクトのデータと異なる場合にのみ、宛先バケット内のオブジェクトを上書きします
  - NEVER: 転送先バケット内のオブジェクトを上書きしません
cURL を使用して、transferJobs.create リクエストで Storage Transfer Service REST API を呼び出します。
```
curl -X POST --data-binary @JSON_FILE_NAME \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs"
```
ここで
- JSON_FILE_NAME は、手順 2 で作成した JSON ファイルの名前です。

レプリケーションジョブのステータスを確認するには、Storage Transfer Service ログの Cloud Logging を表示します。

レプリケーションジョブを一覧表示する

コンソール

レプリケーションジョブを一覧表示する Google Cloud コンソールの手順については、 Google Cloud コンソールを使用してレプリケーションジョブを一覧表示するをご覧ください。

コマンドライン

gcloud alpha transfer jobs list コマンドを使用し、--job-type フラグを指定します。

gcloud alpha transfer jobs list --job-type=replication

REST API

JSON API

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

cURL を使用して、transferJobs.list リクエストで Storage Transfer Service REST API を呼び出します。

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs"

レプリケーションジョブを表示する

コンソール

レプリケーションジョブを表示する Google Cloud コンソールの手順については、 Google Cloud コンソールを使用してレプリケーションジョブを表示するをご覧ください。

コマンドライン

gcloud alpha transfer jobs describe コマンドを使用します。

gcloud alpha transfer jobs describe JOB_NAME

以下のように置き換えます。

JOB_NAME は、レプリケーションジョブの一意の ID に置き換えます。例: 1234567890転送ジョブの ID を確認するには、レプリケーションジョブを一覧表示します。

REST API

JSON API

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

cURL を使用して、transferJobs.get リクエストで Storage Transfer Service REST API を呼び出します。
```
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME"
```
以下のように置き換えます。
- JOB_NAME: レプリケーションジョブの一意の ID。例: 1234567890レプリケーションジョブの ID を確認するには、レプリケーションジョブを一覧表示します。

レプリケーションジョブを更新する

レプリケーションジョブの次のフィールドを更新できます。

レプリケーションジョブの説明
レプリケーションジョブ実行の構成
Pub/Sub に公開される通知の構成
レプリケーションジョブオペレーションのロギング動作
レプリケーションジョブのステータス（有効、無効、削除済み）

コンソール

レプリケーションジョブを更新する Google Cloud コンソールの手順については、 Google Cloud コンソールを使用してレプリケーションジョブを更新するをご覧ください。

コマンドライン

更新するレプリケーションジョブのプロパティを制御するフラグを指定して、gcloud alpha transfer jobs update コマンドを使用します。使用可能なフラグの一覧については、gcloud alpha transfer jobs update のドキュメントをご覧ください。

たとえば、レプリケーションジョブのオブジェクトの上書き動作を更新するには、--overwrite-when フラグを指定して gcloud alpha transfer jobs update コマンドを実行します。

gcloud alpha transfer jobs update JOB_NAME --overwrite-when=OVERWRITE_OPTION

以下のように置き換えます。

JOB_NAME は、レプリケーションジョブの一意の ID に置き換えます。例: 1234567890転送ジョブの ID を確認するには、転送ジョブを一覧表示するか、表示します。
OVERWRITE_OPTION: レプリケーションジョブの結果として宛先バケット内の既存のオブジェクトを上書きする方法のオプション。宛先オブジェクトとソースオブジェクトが同じ名前の場合に発生する可能性があります。値は次のいずれかにする必要があります。
- always: 宛先オブジェクトを常に上書きします。
- different: 宛先オブジェクトのデータがソースオブジェクトのデータと異なる場合にのみ、宛先バケット内のオブジェクトを上書きします。
- never: 宛先オブジェクトを上書きしません。

REST API

JSON API

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

更新する TransferJob オブジェクトのフィールドを含む次の構造を含む JSON ファイルを作成します。
```
{
 "projectId": string,
 "transferJob": {
   object (TransferJob)
 },
   "updateTransferJobFieldMask": UPDATE_MASK
}
```
ここで
- object (TransferJob) は、更新するレプリケーションジョブのフィールドに置き換えられます。詳細については、TransferJob リソース表現をご覧ください。
- UPDATE_MASK は、更新するフィールド名のカンマ区切りのリストです。値は、description、transferSpec、notificationConfig、loggingConfig、status のいずれか 1 つ以上になります。
含めることができるフィールド名の詳細については、transferJobs.patch リクエストの本文をご覧ください。
cURL を使用して、transferJobs.patch リクエストで Storage Transfer Service REST API を呼び出します。
```
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME"
```
以下のように置き換えます。
- JOB_NAME: レプリケーションジョブの一意の ID。例: 1234567890レプリケーションジョブの ID を確認するには、レプリケーションジョブを一覧表示します。

レプリケーションジョブを削除する

コンソール

レプリケーションジョブを削除する Google Cloud コンソールの手順については、 Google Cloud コンソールを使用してレプリケーションジョブを削除するをご覧ください。

コマンドライン

gcloud alpha transfer jobs delete コマンドを使用します。

gcloud alpha transfer jobs delete JOB_NAME

以下のように置き換えます。

JOB_NAME は、レプリケーションジョブの一意の ID に置き換えます。例: 1234567890レプリケーションジョブの ID を確認するには、レプリケーションジョブを一覧表示します。

REST API

JSON API

gcloud CLI のインストールと初期化を行います。これにより、Authorization ヘッダーのアクセストークンを生成できます。

cURL を使用して、transferJobs.delete リクエストで Storage Transfer Service REST API を呼び出します。
```
curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
"https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME"
```
以下のように置き換えます。
- JOB_NAME: レプリケーションジョブの一意の ID。例: 1234567890レプリケーションジョブの ID を確認するには、レプリケーションジョブを一覧表示します。

クロスバケット レプリケーションを使用する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

クロスバケット レプリケーションの概要

制限事項

始める前に

Storage Transfer Service API を有効にする

必要なロールを取得する

必要な権限

必要なロールを付与する

Storage Transfer Service に必要なロールを付与する

必要な権限

Pub/Sub に必要なロールを付与する

必要な権限

レプリケーション ジョブを作成する

コンソール

コマンドライン

REST API

JSON API

レプリケーション ジョブを一覧表示する

コンソール

コマンドライン

REST API

JSON API

レプリケーション ジョブを表示する

コンソール

コマンドライン

REST API

JSON API

レプリケーション ジョブを更新する

コンソール

コマンドライン

REST API

JSON API

レプリケーション ジョブを削除する

コンソール

コマンドライン

REST API

JSON API

クロスバケットレプリケーションを使用する

クロスバケットレプリケーションの概要

レプリケーションジョブを作成する

レプリケーションジョブを一覧表示する

レプリケーションジョブを表示する

レプリケーションジョブを更新する

レプリケーションジョブを削除する