本文說明檔案系統移轉作業的進階設定選項,包括:
- 複製 CIFS 或 SMB 磁碟區上的資料
- 使用服務帳戶憑證
- 調整代理記憶用量上限
- 限制代理目錄存取權
- 使用 Kubernetes 協調代理
- 使用轉送 Proxy
- 複製到設有資料保留政策的值區
- 取得更多網路頻寬的選項
複製 CIFS 或 SMB 磁碟區上的資料
轉移代理程式不直接支援 Windows 伺服器。不過,您可以將儲存在任何 POSIX 相容檔案系統上的資料掛接至 Linux 伺服器或虛擬機器 (VM),然後從 Linux 伺服器或 VM 執行代理程式,將資料複製到 Cloud Storage。
如要從 CIFS 或 SMB 磁碟區移動資料,請按照下列步驟操作:
佈建 Linux 伺服器或 VM。
如要瞭解支援的作業系統,請參閱「系統需求」。
在您佈建的 Linux 伺服器或 VM 上執行下列指令,掛接磁碟區:
sudo mount -t cifs -o \ username=WINDOWS-SHARE-USER,password=WINDOWS-SHARE-PASSWORD //IP-ADDRESS/SHARE-NAME /mnt
更改下列內容:
IP-ADDRESS:CIFS 或 SMB 磁碟區所在 Microsoft Windows 伺服器的 IP 位址。SHARE-NAME:要掛接的共用區名稱。WINDOWS-SHARE-USER:有權存取 CIFS 或 SMB 磁碟區的使用者。WINDOWS-SHARE-PASSWORD:CIFS 或 SMB 磁碟區授權使用者的密碼。
執行下列指令,確認 CIFS 磁碟區已掛接:
findmnt -l
執行下列指令,確認要執行代理程式的使用者可以列出及複製掛接磁碟區上的檔案:
sudo -u USERNAME cp /mnt/FILE1 /mnt/FILE2
更改下列內容:
USERNAME:執行代理程式的使用者。FILE1:要複製的檔案。FILE2:要複製到的檔案名稱。
使用服務帳戶憑證
您可以使用服務帳戶憑證執行代理程式。使用服務帳戶憑證,即可驗證移轉代理程式,不必依賴單一使用者帳戶。如要進一步瞭解帳戶類型,請參閱「主體」。
建立服務帳戶金鑰。詳情請參閱「建立及管理服務帳戶金鑰」。
將服務金鑰位置傳遞至代理建立指令:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \ --mount-directories=MOUNT_DIRECTORIES \ --creds-file=RELATIVE_PATH_TO/KEY_FILE.JSON憑證檔案會由
gcloud transfer自動掛接,不需要使用--mount-directories旗標指定。
調整代理記憶用量上限
移轉代理程式預設最多使用 8 GiB 的系統記憶體。您可以傳遞 --max-physical-mem=MAXIMUM-MEMORY,並將 MAXIMUM-MEMORY 替換為適合您環境的值,藉此調整代理程式使用的記憶體上限,以符合您的環境。只有 docker run 指令支援這個旗標。
- 記憶體下限:1 GiB
- 支援高效能上傳作業的記憶體下限:6 GiB
建議使用預設值 8 GiB。
下表列出 MAXIMUM-MEMORY 可接受的格式範例:
max-physical-mem 值 |
記憶體上限設定 |
|---|---|
6g |
6 GiB |
6gb |
6 GiB |
6GiB |
6 GiB |
限制代理目錄存取權
使用者只要能建立移轉工作,就能從代理程式可存取的任何檔案系統目錄擷取資料,並將資料下載到該目錄。
如果代理程式以根層級執行,且可存取整個檔案系統,惡意行為人可能會接管主機。強烈建議您限制代理程式存取權,僅允許存取必要目錄。
如要限制代理存取特定目錄,請按照下列步驟操作:
gcloud
如要指定代理程式可在檔案系統中存取的目錄,請使用 --mount-directories 旗標搭配 gcloud transfer agents install:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES
如要指定多個目錄,請以半形逗號分隔,不要留空格:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORY_1,MOUNT_DIRECTORY_2
如果您使用 --creds-file 旗標指定憑證檔案,gcloud transfer 會自動掛接憑證檔案。與憑證檔案位於同一目錄的其他檔案不會掛接。
docker run
如要指定代理在執行移轉作業時可存取的目錄,請將 -v HOST_DIRECTORY:CONTAINER_DIRECTORY 傳遞給代理,並指定下列項目:
HOST_DIRECTORY是主機電腦上要複製的目錄。CONTAINER_DIRECTORY是代理容器內對應的目錄。
HOST_DIRECTORY 和 CONTAINER_DIRECTORY 必須相同,代理程式才能找到要複製的檔案。
使用這個選項時:
- 請勿指定
--enable-mount-directory。 - 請勿在檔案路徑開頭加上
/transfer_root。
--enable-mount-directory 選項會將整個檔案系統掛接在容器的 /transfer_root 目錄下。如果指定 --enable-mount-directory,則不會套用目錄限制。
您可以使用多個 -v 旗標,指定要複製的其他目錄。例如:
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v /usr/local/research:/usr/local/research \ -v /usr/local/billing:/usr/local/billing \ -v /tmp:/tmp \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-id-prefix=ID_PREFIX
如果您使用服務帳戶,請務必將憑證檔案掛接至容器,並傳遞 --creds-file=FULL_CREDENTIAL_FILE_PATH。例如:
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v /tmp:/tmp \ -v FULL_CREDENTIAL_FILE_PATH:FULL_CREDENTIAL_FILE_PATH:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=FULL_CREDENTIAL_FILE_PATH \ --hostname=$(hostname) \ --agent-id-prefix=ID_PREFIX
更改下列內容:
HOST_DIRECTORY:要複製的主機目錄。CONTAINER_DIRECTORY:代理程式容器中對應的目錄。FULL_CREDENTIAL_FILE_PATH:JSON 格式服務帳戶憑證檔案的完整路徑。如要進一步瞭解如何產生服務帳戶憑證檔案,請參閱「建立及管理服務帳戶金鑰」。PROJECT_ID:託管轉移資源的專案 ID,資源會在此建立並計費。ID_PREFIX:加在代理程式 ID 前面的前置字串,用於在 Google Cloud 控制台中識別代理程式或其機器。使用前置字串時,代理程式 ID 的格式為prefix + hostname + Docker container ID。
使用 Kubernetes 協調代理
Docker 是 Kubernetes 支援的容器執行階段。您可以使用 Kubernetes 自動調度管理,同時啟動和停止多個代理。從 Kubernetes 的角度來看,代理程式容器會視為無狀態應用程式,因此您可以按照 Kubernetes 操作說明部署無狀態應用程式。
在 Cloud Interconnect 中使用私人 API 端點
如要在 Cloud Interconnect 中使用私人 API 端點,請按照下列步驟操作:
登入要執行代理程式的地端部署主機。
設定 Private Google Access。詳情請參閱「為地端部署主機設定 Private Google Access」。
確認您可以連線至 Cloud Storage API:
- 如要測試 Cloud Storage API,請在轉移代理程式所在的機器上執行下列指令,將檔案移至 Cloud Storage bucket:
gcloud storage cp test.txt gs://MY-BUCKET其中MY-BUCKET是 Cloud Storage bucket 的名稱。 如果轉移作業成功,表示測試成功。
- 如要測試 Cloud Storage API,請在轉移代理程式所在的機器上執行下列指令,將檔案移至 Cloud Storage bucket:
使用轉送 Proxy
移轉代理程式支援透過傳遞 HTTPS_PROXY 環境變數,在網路上使用轉送 Proxy。
例如:
sudo docker run -d --ulimit memlock=64000000 --rm \ --volumes-from gcloud-config \ -v /usr/local/research:/usr/local/research \ --env HTTPS_PROXY=PROXY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-id-prefix=ID_PREFIX
更改下列內容:
PROXY:Proxy 伺服器的 HTTP 網址和通訊埠。請務必指定 HTTP 網址 (而非 HTTPS 網址),以免在傳輸層安全標準 (TLS) 加密中造成雙重包裝要求。雙重包裝要求會阻止 Proxy 伺服器傳送有效的傳出要求。PROJECT_ID:託管轉移資源的專案 ID,資源會在此建立並計費。ID_PREFIX:加在代理程式 ID 前面的前置字串,用於在 Google Cloud 控制台中識別代理程式或其機器。使用前置字串時,代理程式 ID 的格式為prefix + hostname + Docker container ID。
複製到設有資料保留政策的值區
如要移轉至設有資料保留政策的值區,建議您採取下列程序:
在最終 bucket 所在的區域建立 Cloud Storage bucket。請確認這個暫時 bucket 沒有資料保留政策。
如要進一步瞭解區域,請參閱「值區位置」。
使用 Storage 移轉服務,將資料移轉至您建立的臨時 bucket (不含資料保留政策)。
執行 bucket 對 bucket 移轉作業,將資料移轉至設有保留政策的 bucket。
刪除 Cloud Storage bucket:刪除您建立來暫時儲存資料的 Cloud Storage bucket。
取得更多網路頻寬的選項
您可以透過多種方式取得更多網路頻寬,以便移轉檔案系統。增加網路頻寬有助於縮短傳輸時間,尤其是大型資料集。
Cloud Interconnect:使用互連網路連線至 Google Cloud。互連網路有兩種:
Dedicated Interconnect:使用私人專屬連線,直接從資料中心連線至 Google Cloud 資料中心。詳情請參閱「Dedicated Interconnect 總覽」。
Partner Interconnect:您與服務供應商合作,使用服務合作夥伴的網路建立與 Google Cloud 資料中心的連線。詳情請參閱「Partner Interconnect 總覽」。
向網際網路服務供應商 (ISP) 購買頻寬:ISP 或許能提供更多頻寬,滿足你的需求。建議與對方聯絡,詢問有哪些選項。
與 Google 對等互連:對等互連是指您直接與 Google 互連,以支援流量交換。我們在全球各地都有直接對接位置。如要瞭解相關優點和政策,請參閱「對等互連」一文。