進階選項

本文說明檔案系統移轉作業的進階設定選項,包括:

複製 CIFS 或 SMB 磁碟區上的資料

轉移代理程式不直接支援 Windows 伺服器。不過,您可以將儲存在任何 POSIX 相容檔案系統上的資料掛接至 Linux 伺服器或虛擬機器 (VM),然後從 Linux 伺服器或 VM 執行代理程式,將資料複製到 Cloud Storage。

如要從 CIFS 或 SMB 磁碟區移動資料,請按照下列步驟操作:

  1. 佈建 Linux 伺服器或 VM。

    如要瞭解支援的作業系統,請參閱「系統需求」。

  2. 在您佈建的 Linux 伺服器或 VM 上執行下列指令,掛接磁碟區:

    sudo mount -t cifs -o \
      username=WINDOWS-SHARE-USER,password=WINDOWS-SHARE-PASSWORD //IP-ADDRESS/SHARE-NAME /mnt
    

    更改下列內容:

    • IP-ADDRESS:CIFS 或 SMB 磁碟區所在 Microsoft Windows 伺服器的 IP 位址。
    • SHARE-NAME:要掛接的共用區名稱。
    • WINDOWS-SHARE-USER:有權存取 CIFS 或 SMB 磁碟區的使用者。
    • WINDOWS-SHARE-PASSWORD:CIFS 或 SMB 磁碟區授權使用者的密碼。
  3. 執行下列指令,確認 CIFS 磁碟區已掛接:

    findmnt -l
    
  4. 執行下列指令,確認要執行代理程式的使用者可以列出及複製掛接磁碟區上的檔案:

    sudo -u USERNAME cp /mnt/FILE1 /mnt/FILE2
    

    更改下列內容:

    • USERNAME:執行代理程式的使用者。
    • FILE1:要複製的檔案。
    • FILE2:要複製到的檔案名稱。
  5. 安裝移轉代理程式。

使用服務帳戶憑證

您可以使用服務帳戶憑證執行代理程式。使用服務帳戶憑證,即可驗證移轉代理程式,不必依賴單一使用者帳戶。如要進一步瞭解帳戶類型,請參閱「主體」。

  1. 建立服務帳戶金鑰。詳情請參閱「建立及管理服務帳戶金鑰」。

  2. 將服務金鑰位置傳遞至代理建立指令:

    gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
      --mount-directories=MOUNT_DIRECTORIES \
      --creds-file=RELATIVE_PATH_TO/KEY_FILE.JSON
    

    憑證檔案會由 gcloud transfer 自動掛接,不需要使用 --mount-directories 旗標指定。

調整代理記憶用量上限

移轉代理程式預設最多使用 8 GiB 的系統記憶體。您可以傳遞 --max-physical-mem=MAXIMUM-MEMORY,並將 MAXIMUM-MEMORY 替換為適合您環境的值,藉此調整代理程式使用的記憶體上限,以符合您的環境。只有 docker run 指令支援這個旗標。

以下是移轉代理程式的記憶體需求:
  • 記憶體下限:1 GiB
  • 支援高效能上傳作業的記憶體下限:6 GiB

建議使用預設值 8 GiB。

下表列出 MAXIMUM-MEMORY 可接受的格式範例:

max-physical-mem 值 記憶體上限設定
6g 6 GiB
6gb 6 GiB
6GiB 6 GiB

限制代理目錄存取權

使用者只要能建立移轉工作,就能從代理程式可存取的任何檔案系統目錄擷取資料,並將資料下載到該目錄。

如果代理程式以根層級執行,且可存取整個檔案系統,惡意行為人可能會接管主機。強烈建議您限制代理程式存取權,僅允許存取必要目錄。

如要限制代理存取特定目錄,請按照下列步驟操作:

gcloud

如要指定代理程式可在檔案系統中存取的目錄,請使用 --mount-directories 旗標搭配 gcloud transfer agents install:

gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
  --mount-directories=MOUNT_DIRECTORIES

如要指定多個目錄,請以半形逗號分隔,不要留空格:

gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
  --mount-directories=MOUNT_DIRECTORY_1,MOUNT_DIRECTORY_2

如果您使用 --creds-file 旗標指定憑證檔案,gcloud transfer 會自動掛接憑證檔案。與憑證檔案位於同一目錄的其他檔案不會掛接。

docker run

如要指定代理在執行移轉作業時可存取的目錄,請將 -v HOST_DIRECTORY:CONTAINER_DIRECTORY 傳遞給代理,並指定下列項目:

  • HOST_DIRECTORY 是主機電腦上要複製的目錄。
  • CONTAINER_DIRECTORY 是代理容器內對應的目錄。

HOST_DIRECTORY 和 CONTAINER_DIRECTORY 必須相同,代理程式才能找到要複製的檔案。

使用這個選項時:

  • 請勿指定 --enable-mount-directory。
  • 請勿在檔案路徑開頭加上 /transfer_root。

--enable-mount-directory 選項會將整個檔案系統掛接在容器的 /transfer_root 目錄下。如果指定 --enable-mount-directory,則不會套用目錄限制。

您可以使用多個 -v 旗標,指定要複製的其他目錄。例如:

sudo docker run --ulimit memlock=64000000 -d --rm \
--volumes-from gcloud-config \
-v /usr/local/research:/usr/local/research \
-v /usr/local/billing:/usr/local/billing \
-v /tmp:/tmp \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--hostname=$(hostname) \
--agent-id-prefix=ID_PREFIX

如果您使用服務帳戶,請務必將憑證檔案掛接至容器,並傳遞 --creds-file=FULL_CREDENTIAL_FILE_PATH。例如:

sudo docker run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY \
-v /tmp:/tmp \
-v FULL_CREDENTIAL_FILE_PATH:FULL_CREDENTIAL_FILE_PATH:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=FULL_CREDENTIAL_FILE_PATH \
--hostname=$(hostname) \
--agent-id-prefix=ID_PREFIX

更改下列內容:

  • HOST_DIRECTORY:要複製的主機目錄。
  • CONTAINER_DIRECTORY:代理程式容器中對應的目錄。
  • FULL_CREDENTIAL_FILE_PATH:JSON 格式服務帳戶憑證檔案的完整路徑。如要進一步瞭解如何產生服務帳戶憑證檔案,請參閱「建立及管理服務帳戶金鑰」。
  • PROJECT_ID:託管轉移資源的專案 ID,資源會在此建立並計費。
  • ID_PREFIX:加在代理程式 ID 前面的前置字串,用於在 Google Cloud 控制台中識別代理程式或其機器。使用前置字串時,代理程式 ID 的格式為 prefix + hostname + Docker container ID。

使用 Kubernetes 協調代理

Docker 是 Kubernetes 支援的容器執行階段。您可以使用 Kubernetes 自動調度管理,同時啟動和停止多個代理。從 Kubernetes 的角度來看,代理程式容器會視為無狀態應用程式,因此您可以按照 Kubernetes 操作說明部署無狀態應用程式。

在 Cloud Interconnect 中使用私人 API 端點

如要在 Cloud Interconnect 中使用私人 API 端點,請按照下列步驟操作:

  1. 登入要執行代理程式的地端部署主機。

  2. 設定 Private Google Access。詳情請參閱「為地端部署主機設定 Private Google Access」。

  3. 確認您可以連線至 Cloud Storage API:

    1. 如要測試 Cloud Storage API,請在轉移代理程式所在的機器上執行下列指令,將檔案移至 Cloud Storage bucket: gcloud storage cp test.txt gs://MY-BUCKET 其中 MY-BUCKET 是 Cloud Storage bucket 的名稱。 如果轉移作業成功,表示測試成功。

使用轉送 Proxy

移轉代理程式支援透過傳遞 HTTPS_PROXY 環境變數,在網路上使用轉送 Proxy。

例如:

sudo docker run -d --ulimit memlock=64000000 --rm \
--volumes-from gcloud-config \
-v /usr/local/research:/usr/local/research \
--env HTTPS_PROXY=PROXY \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--hostname=$(hostname) \
--agent-id-prefix=ID_PREFIX

更改下列內容:

  • PROXY:Proxy 伺服器的 HTTP 網址和通訊埠。請務必指定 HTTP 網址 (而非 HTTPS 網址),以免在傳輸層安全標準 (TLS) 加密中造成雙重包裝要求。雙重包裝要求會阻止 Proxy 伺服器傳送有效的傳出要求。
  • PROJECT_ID:託管轉移資源的專案 ID,資源會在此建立並計費。
  • ID_PREFIX:加在代理程式 ID 前面的前置字串,用於在 Google Cloud 控制台中識別代理程式或其機器。使用前置字串時,代理程式 ID 的格式為 prefix + hostname + Docker container ID。

複製到設有資料保留政策的值區

如要移轉至設有資料保留政策的值區,建議您採取下列程序:

  1. 在最終 bucket 所在的區域建立 Cloud Storage bucket。請確認這個暫時 bucket 沒有資料保留政策。

    如要進一步瞭解區域,請參閱「值區位置」。

  2. 使用 Storage 移轉服務,將資料移轉至您建立的臨時 bucket (不含資料保留政策)。

  3. 執行 bucket 對 bucket 移轉作業,將資料移轉至設有保留政策的 bucket。

  4. 刪除 Cloud Storage bucket:刪除您建立來暫時儲存資料的 Cloud Storage bucket。

取得更多網路頻寬的選項

您可以透過多種方式取得更多網路頻寬,以便移轉檔案系統。增加網路頻寬有助於縮短傳輸時間,尤其是大型資料集。

  • Cloud Interconnect:使用互連網路連線至 Google Cloud。互連網路有兩種:

    • Dedicated Interconnect:使用私人專屬連線,直接從資料中心連線至 Google Cloud 資料中心。詳情請參閱「Dedicated Interconnect 總覽」。

    • Partner Interconnect:您與服務供應商合作,使用服務合作夥伴的網路建立與 Google Cloud 資料中心的連線。詳情請參閱「Partner Interconnect 總覽」。

  • 向網際網路服務供應商 (ISP) 購買頻寬:ISP 或許能提供更多頻寬,滿足你的需求。建議與對方聯絡,詢問有哪些選項。

  • 與 Google 對等互連:對等互連是指您直接與 Google 互連,以支援流量交換。我們在全球各地都有直接對接位置。如要瞭解相關優點和政策,請參閱「對等互連」一文。