將資料移轉至地端部署或私有雲檔案系統 (例如 POSIX、NFS 或 SMB) 時,必須設定下列項目:
- 本機檔案系統權限:授予目的地移轉代理程式 OS 層級的目標目錄寫入權限。
- 中介 bucket 權限 (僅限檔案對檔案):針對用於在檔案系統之間暫存檔案的中介 Cloud Storage bucket,授予 IAM 角色。
必要條件
- 使用者權限:確認您的使用者帳戶或使用者自行管理的服務帳戶,有權設定移轉工作和代理程式集區。請參閱「必要的使用者授權」。
- 代理程式專案層級權限:請務必為服務代理和移轉代理帳戶,設定必要的專案層級角色。請參閱「代理程式專案層級權限」。
本機目標檔案系統權限
移轉代理程式會直接將檔案寫入主機檔案系統。如要成功寫入,請按照下列步驟操作:
OS 使用者權限:請確認執行容器程序的使用者,對目的地目錄樹狀結構具備讀取、寫入和執行權限。
掛接目錄:安裝目的地代理程式時,請使用
--mount-directories旗標將目標目錄路徑掛接到容器:gcloud transfer agents install --pool=DESTINATION_POOL_NAME \ --mount-directories=/path/to/destination/dir
中繼 bucket 權限 (檔案對檔案移轉作業)
在兩個檔案系統之間移轉時,會使用中繼 Cloud Storage bucket 暫存檔案。
下列預先定義的角色會將中繼 bucket 的必要存取權授予服務代理:
- Storage 物件建立者 (
roles/storage.objectCreator) - Storage 物件檢視者 (
roles/storage.objectViewer) - Storage 舊版值區讀取者 (
roles/storage.legacyBucketReader)
下列角色會將中繼 bucket 的必要存取權授予移轉代理帳戶:
- Storage 物件使用者 (
roles/storage.objectUser)
授予中繼 bucket 的下列角色:
控制台
- 前往 Google Cloud 控制台的「Cloud Storage bucket」頁面。
- 按一下中繼 bucket 的「Bucket overflow」選單 (),然後選取「編輯權限」。
- 按一下「+ 新增主體」。
- 在「New principals」(新增主體) 中,輸入服務代理電子郵件。
- 從「Select a role」(選取角色) 下拉式選單中,選取
Storage Object Creator、Storage Object Viewer和Storage Legacy Bucket Reader。 - 再次點選「+ 新增主體」。
- 輸入來源和目的地代理集區所用移轉代理帳戶的電子郵件地址。
- 從「Select a role」(選取角色) 下拉式選單中選取「
Storage Object User」。 - 按一下「儲存」。
gcloud
將記錄和中繼資料角色授予服務代理:
gcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \ --member=serviceAccount:SERVICE_AGENT_EMAIL --role=roles/storage.objectCreatorgcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \ --member=serviceAccount:SERVICE_AGENT_EMAIL --role=roles/storage.objectViewergcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \ --member=serviceAccount:SERVICE_AGENT_EMAIL --role=roles/storage.legacyBucketReader將物件管理角色授予來源和目的地代理集區的移轉代理帳戶:
gcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \ --member=serviceAccount_OR_user:TRANSFER_AGENT_ACCOUNT --role=roles/storage.objectUser更改項目:
- INTERMEDIATE_BUCKET_NAME:中繼暫存 bucket 的名稱。
- SERVICE_AGENT_EMAIL:服務代理電子郵件。
- serviceAccount_OR_user:如果移轉代理程式帳戶是服務帳戶,請指定
serviceAccount;如果代理程式是透過使用者帳戶安裝,請指定user。 - TRANSFER_AGENT_ACCOUNT:執行移轉代理程式的帳戶電子郵件地址。如果來源和目的地代理程式集區使用不同帳戶,請重複執行這項指令。
REST API
產生存取權杖,驗證要求。如果您使用的是
gcloudCLI,請執行:gcloud auth print-access-token
擷取現有的 bucket IAM 政策 (
GET https://storage.googleapis.com/storage/v1/b/<var>INTERMEDIATE_BUCKET_NAME</var>/iam),將下列繫結附加至其bindings陣列,然後將合併的政策儲存為intermediate_policy.json:{ "bindings": [ { "role": "roles/storage.objectCreator", "members": ["serviceAccount:SERVICE_AGENT_EMAIL"] }, { "role": "roles/storage.objectViewer", "members": ["serviceAccount:SERVICE_AGENT_EMAIL"] }, { "role": "roles/storage.legacyBucketReader", "members": ["serviceAccount:SERVICE_AGENT_EMAIL"] }, { "role": "roles/storage.objectUser", "members": ["serviceAccount_OR_user:TRANSFER_AGENT_ACCOUNT"] } ] }
更改項目:
- SERVICE_AGENT_EMAIL:服務代理電子郵件。
- serviceAccount_OR_user:如果移轉代理程式帳戶是服務帳戶,請指定
serviceAccount;如果代理程式是透過使用者帳戶安裝,請指定user。 - TRANSFER_AGENT_ACCOUNT:安裝移轉代理程式的帳戶電子郵件地址。如果來源和目的地代理程式集區使用不同的帳戶,請在
roles/storage.objectUser的members陣列中加入這兩個帳戶。
透過
curl更新中繼 bucket 政策:curl -X PUT --data-binary @intermediate_policy.json \ -H "Authorization: Bearer OAUTH2_TOKEN" \ -H "Content-Type: application/json" \ "https://storage.googleapis.com/storage/v1/b/INTERMEDIATE_BUCKET_NAME/iam"更改項目:
- OAUTH2_TOKEN:在步驟 1 產生的 OAuth 2.0 存取權杖。
- INTERMEDIATE_BUCKET_NAME:中繼 bucket 的名稱。
如要進一步瞭解檔案對檔案架構,請參閱「檔案系統對檔案系統移轉作業」。
效能和最佳化
- 如要在移轉至大型檔案系統時盡可能提高處理量,請在目的地代理程式集區中安裝多個代理程式 (建議至少 3 個)。請參閱「移轉代理程式最佳做法」。
- 在檔案對檔案移轉作業中,如要移轉大型檔案,建議啟用多部分上傳功能,將檔案上傳至中繼 bucket。使用 Storage 物件使用者 (
roles/storage.objectUser) 時,系統會自動納入必要的多部分上傳權限 (storage.multipartUploads.*)。
後續步驟
- 瞭解如何安裝移轉代理程式。
- 瞭解如何設定來源存取權:檔案系統。
- 瞭解如何設定來源存取權:Cloud Storage。
- 瞭解如何在檔案系統之間移轉資料。