設定接收器的存取權:檔案系統

將資料移轉至地端部署或私有雲檔案系統 (例如 POSIX、NFS 或 SMB) 時,必須設定下列項目:

  • 本機檔案系統權限:授予目的地移轉代理程式 OS 層級的目標目錄寫入權限。
  • 中介 bucket 權限 (僅限檔案對檔案):針對用於在檔案系統之間暫存檔案的中介 Cloud Storage bucket,授予 IAM 角色。

必要條件

  • 使用者權限:確認您的使用者帳戶或使用者自行管理的服務帳戶,有權設定移轉工作和代理程式集區。請參閱「必要的使用者授權」。
  • 代理程式專案層級權限:請務必為服務代理和移轉代理帳戶,設定必要的專案層級角色。請參閱「代理程式專案層級權限」。

本機目標檔案系統權限

移轉代理程式會直接將檔案寫入主機檔案系統。如要成功寫入,請按照下列步驟操作:

  1. OS 使用者權限:請確認執行容器程序的使用者,對目的地目錄樹狀結構具備讀取、寫入和執行權限。

  2. 掛接目錄:安裝目的地代理程式時,請使用 --mount-directories 旗標將目標目錄路徑掛接到容器:

    gcloud transfer agents install --pool=DESTINATION_POOL_NAME \
     --mount-directories=/path/to/destination/dir

中繼 bucket 權限 (檔案對檔案移轉作業)

在兩個檔案系統之間移轉時,會使用中繼 Cloud Storage bucket 暫存檔案。

下列預先定義的角色會將中繼 bucket 的必要存取權授予服務代理:

  • Storage 物件建立者 (roles/storage.objectCreator)
  • Storage 物件檢視者 (roles/storage.objectViewer)
  • Storage 舊版值區讀取者 (roles/storage.legacyBucketReader)

下列角色會將中繼 bucket 的必要存取權授予移轉代理帳戶:

  • Storage 物件使用者 (roles/storage.objectUser)

授予中繼 bucket 的下列角色:

控制台

  1. 前往 Google Cloud 控制台的「Cloud Storage bucket」頁面。

    前往「Buckets」(值區) 頁面

  2. 按一下中繼 bucket 的「Bucket overflow」選單 (),然後選取「編輯權限」。
  3. 按一下「+ 新增主體」。
  4. 在「New principals」(新增主體) 中,輸入服務代理電子郵件。
  5. 從「Select a role」(選取角色) 下拉式選單中,選取 Storage Object Creator、Storage Object Viewer 和 Storage Legacy Bucket Reader。
  6. 再次點選「+ 新增主體」。
  7. 輸入來源和目的地代理集區所用移轉代理帳戶的電子郵件地址。
  8. 從「Select a role」(選取角色) 下拉式選單中選取「Storage Object User」。
  9. 按一下「儲存」。

gcloud

  1. 將記錄和中繼資料角色授予服務代理:

    gcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \
        --member=serviceAccount:SERVICE_AGENT_EMAIL --role=roles/storage.objectCreator
    gcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \
        --member=serviceAccount:SERVICE_AGENT_EMAIL --role=roles/storage.objectViewer
    gcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \
        --member=serviceAccount:SERVICE_AGENT_EMAIL --role=roles/storage.legacyBucketReader
  2. 將物件管理角色授予來源和目的地代理集區的移轉代理帳戶:

    gcloud storage buckets add-iam-policy-binding gs://INTERMEDIATE_BUCKET_NAME \
        --member=serviceAccount_OR_user:TRANSFER_AGENT_ACCOUNT --role=roles/storage.objectUser

    更改項目:

    • INTERMEDIATE_BUCKET_NAME:中繼暫存 bucket 的名稱。
    • SERVICE_AGENT_EMAIL:服務代理電子郵件。
    • serviceAccount_OR_user:如果移轉代理程式帳戶是服務帳戶,請指定 serviceAccount;如果代理程式是透過使用者帳戶安裝,請指定 user。
    • TRANSFER_AGENT_ACCOUNT:執行移轉代理程式的帳戶電子郵件地址。如果來源和目的地代理程式集區使用不同帳戶,請重複執行這項指令。

REST API

  1. 產生存取權杖,驗證要求。如果您使用的是 gcloud CLI,請執行:

    gcloud auth print-access-token
  2. 擷取現有的 bucket IAM 政策 (GET https://storage.googleapis.com/storage/v1/b/<var>INTERMEDIATE_BUCKET_NAME</var>/iam),將下列繫結附加至其 bindings 陣列,然後將合併的政策儲存為 intermediate_policy.json:

    {
      "bindings": [
        {
          "role": "roles/storage.objectCreator",
          "members": ["serviceAccount:SERVICE_AGENT_EMAIL"]
        },
        {
          "role": "roles/storage.objectViewer",
          "members": ["serviceAccount:SERVICE_AGENT_EMAIL"]
        },
        {
          "role": "roles/storage.legacyBucketReader",
          "members": ["serviceAccount:SERVICE_AGENT_EMAIL"]
        },
        {
          "role": "roles/storage.objectUser",
          "members": ["serviceAccount_OR_user:TRANSFER_AGENT_ACCOUNT"]
        }
      ]
    }

    更改項目:

    • SERVICE_AGENT_EMAIL:服務代理電子郵件。
    • serviceAccount_OR_user:如果移轉代理程式帳戶是服務帳戶,請指定 serviceAccount;如果代理程式是透過使用者帳戶安裝,請指定 user。
    • TRANSFER_AGENT_ACCOUNT:安裝移轉代理程式的帳戶電子郵件地址。如果來源和目的地代理程式集區使用不同的帳戶,請在 roles/storage.objectUser 的 members 陣列中加入這兩個帳戶。
  3. 透過 curl 更新中繼 bucket 政策:

    curl -X PUT --data-binary @intermediate_policy.json \
        -H "Authorization: Bearer OAUTH2_TOKEN" \
        -H "Content-Type: application/json" \
        "https://storage.googleapis.com/storage/v1/b/INTERMEDIATE_BUCKET_NAME/iam"

    更改項目:

    • OAUTH2_TOKEN:在步驟 1 產生的 OAuth 2.0 存取權杖。
    • INTERMEDIATE_BUCKET_NAME:中繼 bucket 的名稱。

如要進一步瞭解檔案對檔案架構,請參閱「檔案系統對檔案系統移轉作業」。

效能和最佳化

  • 如要在移轉至大型檔案系統時盡可能提高處理量,請在目的地代理程式集區中安裝多個代理程式 (建議至少 3 個)。請參閱「移轉代理程式最佳做法」。
  • 在檔案對檔案移轉作業中,如要移轉大型檔案,建議啟用多部分上傳功能,將檔案上傳至中繼 bucket。使用 Storage 物件使用者 (roles/storage.objectUser) 時,系統會自動納入必要的多部分上傳權限 (storage.multipartUploads.*)。

後續步驟