管理移轉代理程式

Storage 移轉服務代理程式是在 Open Container Initiative (OCI) 容器中執行的應用程式,可與 Storage 移轉服務協調,處理涉及檔案系統或與 S3 相容儲存空間的移轉作業。

根據預設,Storage 移轉服務會使用 Docker 建構及執行 OCI 容器。Storage 移轉服務也支援 Podman 容器管理功能,但您必須使用 podman run 指令安裝代理程式,才能使用 Podman。

如果移轉作業不涉及檔案系統或與 S3 相容的儲存空間,就不需要設定代理程式。

本文說明如何在伺服器上管理移轉代理程式。

總覽

  • 代理程序是動態的。執行移轉作業時,您可以新增代理程式來提升效能。新啟動的代理程式會加入指派的代理程式集區,並執行現有移轉作業的工作。您可以使用這項功能調整執行中的代理程式數量,或根據轉移需求變化調整轉移效能。

  • 代理程序是容錯集合。如果其中一個代理停止運作,其餘代理會繼續執行工作。如果所有代理都停止,當您新增代理時,移轉作業會從代理停止的位置繼續。這樣一來,您就不必監控代理程式、重試移轉作業或實作復原邏輯。您可以使用 Kubernetes 協調代理,修補、移動及動態調度代理集區,不必停機。

    舉例來說,假設您提交兩項移轉作業,同時有兩個代理程式正在執行。如果其中一個代理程式因機器重新啟動或作業系統修補而停止,另一個代理程式會繼續運作。這兩項轉移作業仍在執行中,但由於只有一個代理程式在移動資料,因此速度較慢。如果剩餘的代理也停止運作,所有移轉作業都會停止,因為沒有任何代理在執行。重新啟動代理程式程序後,移轉作業會從中斷處繼續。

  • 代理程式程序屬於集區。這些工作站會共同平行移動資料。因此,集區中的所有代理程式都必須具備相同權限,才能存取要移轉的所有資料來源。

    舉例來說,如果您要從特定檔案系統移轉資料,就必須將檔案系統掛接至代理程式集區中託管代理程式的所有機器。如果集區中的部分代理程式可以連線至資料來源,但其他代理程式無法連線,則無法從該資料來源轉移資料。

事前準備

設定移轉作業前,請務必先為使用者和服務帳戶設定存取權。

如要使用 gcloud 指令,請安裝 gcloud CLI。

安裝及執行移轉代理程式

建議每個代理程式集區至少安裝三個代理程式,最好安裝在不同的機器上。如要進一步瞭解如何決定要執行的代理程式數量,請參閱「盡可能提高移轉代理程式效能」。

如要安裝及執行移轉代理程式,請按照下列步驟操作:

Google Cloud 控制台

  1. 前往 Google Cloud 控制台的「Agent pools」(代理程式集區) 頁面。

    前往「Agent pools」(代理程式集區) 頁面

  2. 選取要新增代理程式的代理程式集區。

  3. 按一下「Install agent」(安裝代理程式)。

  4. 按照操作說明安裝及執行代理程式。

    如要進一步瞭解代理程式的指令列選項,請參閱「代理程式指令列選項」。

gcloud CLI

如要使用 gcloud CLI 安裝一或多個代理程式,請執行 gcloud transfer agents install:

gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
  --mount-directories=MOUNT_DIRECTORIES

這項工具會引導您完成安裝代理程式的必要步驟。這項指令會在機器上安裝 NUM_AGENTS 個代理程式,並對應至指定為 POOL_NAME 的集區名稱,然後使用 gcloud 憑證驗證代理程式。集區名稱必須存在,否則會傳回錯誤。

--mount-directories 旗標為選用,但強烈建議使用。其值是以半形逗號分隔的檔案系統目錄清單,用於授予代理存取權。如果省略這個旗標,整個檔案系統都會掛接至代理程式容器。詳情請參閱 gcloud 參考資料。

與 S3 相容的來源

安裝代理程式以搭配 S3 相容來源使用時,您必須提供 AWS 憑證,可以做為環境變數 (AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 的值),也可以儲存為系統設定檔中的預設憑證。

export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME \
  --creds-file=/relative/path/to/service-account-key.json

使用服務帳戶金鑰

如要使用服務帳戶金鑰執行代理程式,請使用 --creds-file 選項:

gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
   --mount-directories=MOUNT_DIRECTORIES \
   --creds-file=relative/path/to/service-account-key.json

更多資訊

如需選用旗標的完整清單,請執行 gcloud transfer agents install --help,或參閱 gcloud transfer 參考資料。

Docker

使用 Docker 安裝代理程式之前,請按照操作說明安裝 Docker。

docker run 指令會安裝一個代理程式。如要增加集區中的代理程式數量,請視需要多次重新執行這個指令。

安裝代理程式時,您可以選擇使用 gcloud 預設憑證或服務帳戶進行驗證。

預設憑證

如要允許 Docker 容器使用 gcloud 預設憑證進行驗證,請執行下列指令,建立含有應用程式預設憑證檔案的 Docker 磁碟區:

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

接著使用下列指令安裝代理程式,並透過 --volumes-from 旗標掛接 gcloud-config 憑證磁碟區:

sudo docker run --ulimit memlock=64000000 -d --rm \
--volumes-from gcloud-config \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--hostname=$(hostname) \
--agent-pool=POOL_NAME

服務帳戶驗證

如要使用服務帳戶憑證,透過 docker run 安裝及執行移轉代理程式,請使用 -v 將 JSON 格式的服務帳戶金鑰檔案掛接至容器,並將容器內的檔案路徑傳遞至 --creds-file 旗標。

如要進一步瞭解服務帳戶金鑰,請參閱「建立及管理服務帳戶金鑰」。

sudo docker run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY \
-v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME

選項和旗標

將上述範例中的變數替換為下列資訊:

  • HOST_DIRECTORY 是主機電腦上要複製的目錄。您可以使用多個 -v 旗標,指定要複製的其他目錄。
  • CONTAINER_DIRECTORY 是代理容器內對應的目錄。必須與 HOST_DIRECTORY 相同。
  • PROJECT_ID 是託管移轉作業的專案 ID。
  • POOL_NAME 是要安裝這個代理程式的代理程式集區名稱。如果省略這個旗標,代理程式會安裝到專案的 transfer_service_default 集區。

docker run 指令支援其他旗標。

  • --enable-mount-directory 會告知代理程式,主機的整個檔案系統都掛接在容器中的 /transfer_root。僅限搭配 -v /:/transfer_root 使用這項屬性。接著,代理程式會在來源、目的地、記錄和憑證路徑前面加上 /transfer_root。請勿與個別目錄的 -v HOST_DIRECTORY:CONTAINER_DIRECTORY 掛接合併。

  • --creds-file=/etc/gcloud/key.json 指定容器上 JSON 格式服務帳戶憑證檔案的路徑。這個檔案是由指令中的 -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro 旗標掛接。

  • 從與 S3 相容的儲存空間轉移時,代理不需要旗標,代理會在轉移工作需要時自動使用與 S3 相容的模式。--enable-s3 旗標已淘汰,系統會忽略。

    如果移轉來源是 AWS S3 或與 S3 相容的儲存空間,請使用環境變數傳遞存取金鑰 ID 和密鑰:

    sudo docker run --ulimit memlock=64000000 -d --rm \
    -v HOST_DIRECTORY:CONTAINER_DIRECTORY \
    -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
    -e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \
    -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY \
    gcr.io/cloud-ingest/tsop-agent:latest \
    --project-id=PROJECT_ID \
    --creds-file=/etc/gcloud/key.json \
    --hostname=$(hostname) \
    --agent-pool=POOL_NAME
    
  • --env HTTPS_PROXY=PROXY 會指定網路上的正向 Proxy。PROXY 的值是 Proxy 伺服器的 HTTP 網址和通訊埠。請務必指定 HTTP 網址 (而非 HTTPS 網址),以免在傳輸層安全標準 (TLS) 加密中造成雙重包裝要求。雙重包裝要求會阻止 Proxy 伺服器傳送有效的傳出要求。

  • --gcs-api-endpoint=storage.LOCATION.rep.googleapis.com 指定 Cloud Storage 區域端點。指定 Cloud Storage 區域端點後,所有透過代理程式傳輸的資料移轉流量都會保留在該 Google Cloud 區域內。詳情請參閱「區域端點」。

  • --agent-id-prefix=ID_PREFIX 指定選用的前置字串,加在代理程式 ID 前面,協助在 Google Cloud 控制台中識別代理程式或其機器。如果使用前置字串,代理 ID 的格式為 prefix + hostname + Docker container ID。

  • --log-dir=LOGS_DIRECTORY 會修改代理程式寫入記錄的目錄。預設目錄為 /tmp/。

    將這個目錄掛接至容器 (例如 -v /tmp:/tmp),記錄就會保留在主機上。如果使用 --enable-mount-directory,請指定主機路徑;代理程式會自動新增 /transfer_root 前置字元。

  • --max-physical-mem=MAX_MEMORY:代理程式預設會使用 8 GiB 緩衝區集區。如果預設值不符合您的環境,可以採用下列格式指定相關的記憶體用量上限:

    max-physical-mem 值 記憶體上限設定
    6g 6 GiB
    6gb 6 GiB
    6GiB 6 GiB
  • --network=DOCKER_NETWORK:指定這個容器的 Docker 網路。指定 --network=host 可減少網路負擔,進而提升效能,但容器將具備主機網路的完整存取權。

  • --kerberos-disable-pa-fx-fast 會禁止代理使用 Kerberos 進行 FAST 協商,以傳輸 HDFS。如果 Kerberos 金鑰分配中心 (KDC) 不支援 FAST 協商,請使用這個旗標。

Podman

使用 Podman 安裝代理程式前,請先安裝 Podman:

sudo apt-get update
sudo apt-get -y install podman

安裝代理程式時,您可以選擇使用 gcloud 預設憑證或服務帳戶進行驗證。

預設憑證

如要允許代理程式容器使用 Google Cloud CLI 預設憑證進行驗證,請執行下列指令,建立含有應用程式預設憑證檔案的磁碟區:

gcloud auth print-access-token | podman login -u oauth2accesstoken --password-stdin gcr.io
sudo podman pull gcr.io/google.com/cloudsdktool/google-cloud-cli:stable
sudo podman run -ti --replace --name gcloud-config gcr.io/google.com/cloudsdktool/google-cloud-cli:stable gcloud auth application-default login

接著使用下列指令安裝代理程式,並透過 --volumes-from 旗標掛接 gcloud-config 憑證磁碟區。這個指令會安裝一個代理程式。如要增加集區中的代理程式數量,請視需要多次重新執行這個指令。

sudo podman run --ulimit memlock=64000000 -d --rm \
--volumes-from gcloud-config \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--hostname=$(hostname) \
--agent-pool=POOL_NAME

服務帳戶驗證

如要使用服務帳戶憑證安裝及執行移轉代理程式,您必須在容器中提供 JSON 格式的服務帳戶金鑰。方法如下:

  1. 將金鑰的主機位置掛接至容器上的任何路徑。例如:-v $HOME/.config/gcloud/credentials.json:/key.json:ro。這會指定金鑰位於主體機器的 $HOME/.config/gcloud/credentials.json,且應在容器上掛接為 /key.json。ro 表示檔案是以唯讀形式提供給容器。
  2. 將金鑰的容器路徑指定為 --creds-file 的值。在上一個步驟的範例中,請指定 --creds-file=/key.json。

如要進一步瞭解服務帳戶金鑰,請參閱「建立及管理服務帳戶金鑰」。

sudo podman run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY \
-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME

選項和旗標

請將上述範例中的變數替換為下列資訊:

  • HOST_DIRECTORY 是主機電腦上要複製的目錄。您可以使用多個 -v 旗標,指定要複製的其他目錄。
  • CONTAINER_DIRECTORY 是代理容器內對應的目錄。必須與 HOST_DIRECTORY 相同。
  • PROJECT_ID 是託管移轉作業的專案 ID。
  • POOL_NAME 是要安裝這個代理程式的代理程式集區名稱。如果省略這個旗標,代理程式會安裝到專案的 transfer_service_default 集區。

podman run 指令支援其他旗標。

  • --enable-mount-directory 會告知代理程式,主機的整個檔案系統都掛接在容器中的 /transfer_root。僅限搭配 -v /:/transfer_root 使用。接著,代理程式會在來源、目的地、記錄和憑證路徑前面加上 /transfer_root。請勿與個別目錄的 -v HOST_DIRECTORY:CONTAINER_DIRECTORY 掛接合併。

  • --creds-file=/etc/gcloud/key.json 指定容器上 JSON 格式服務帳戶憑證檔案的路徑。這個檔案是由指令中的 -v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro 旗標掛接。

  • 從與 S3 相容的儲存空間轉移時,代理不需要旗標,代理會在轉移工作需要時自動使用與 S3 相容的模式。--enable-s3 旗標已淘汰,系統會忽略。

    如果移轉來源是 AWS S3 或與 S3 相容的儲存空間,請使用環境變數傳遞存取金鑰 ID 和密鑰:

      -e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \
      -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY
      ```
    
  • --env HTTPS_PROXY=PROXY 會指定網路上的正向 Proxy。PROXY 的值是 Proxy 伺服器的 HTTP 網址和通訊埠。請務必指定 HTTP 網址 (而非 HTTPS 網址),以免在傳輸層安全標準 (TLS) 加密中造成雙重包裝要求。雙重包裝要求會阻止 Proxy 伺服器傳送有效的傳出要求。

  • --agent-id-prefix=ID_PREFIX 指定選用的前置字串,加在代理程式 ID 前面,協助在 Google Cloud 控制台中識別代理程式或其機器。如果使用前置字串,代理 ID 的格式為 prefix + hostname + OCI container ID。

  • --log-dir=LOGS_DIRECTORY 會修改代理程式寫入記錄的目錄。預設目錄為 /tmp/。

    將這個目錄掛接至容器 (例如 -v /tmp:/tmp),記錄就會保留在主機上。如果使用 --enable-mount-directory,請指定主機路徑;代理程式會自動新增 /transfer_root 前置字元。

  • --max-physical-mem=MAX_MEMORY:代理程式預設會使用 8 GiB 緩衝區集區。如果預設值不符合您的環境,可以採用下列格式指定相關的記憶體用量上限:

    max-physical-mem 值 記憶體上限設定
    6g 6 GiB
    6gb 6 GiB
    6GiB 6 GiB
  • --network=DOCKER_NETWORK:指定這個容器的 Docker 網路。指定 --network=host 可減少網路負擔,進而提升效能,但容器將具備主機網路的完整存取權。

  • --kerberos-disable-pa-fx-fast 會禁止代理使用 Kerberos 進行 FAST 協商,以傳輸 HDFS。如果 Kerberos 金鑰分配中心 (KDC) 不支援 FAST 協商,請使用這個旗標。

疑難排解

如果 SELinux 設定要求將標籤放在掛接至容器的磁碟區內容上,請在磁碟區中加入 :Z 旗標:

sudo podman run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY:Z \
-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME

如果沒有標籤,安全系統可能會阻止容器內執行的程序使用內容。根據預設,Podman 不會變更 OS 設定的標籤。

確認代理連線

如要確認代理程式是否已連結,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Agent pools」(代理程式集區) 頁面。

    前往「Agent pools」(代理程式集區) 頁面

    系統會顯示代理程式集區,以及已連線的代理程式數量。

  2. 選取代理程式集區,即可查看已連結代理程式的詳細資料。

如果建立新的代理程式後,10 分鐘內未顯示在代理程式集區頁面,請參閱「代理程式未連線」一節。

監控代理活動

您可以使用 Cloud Monitoring 監控代理活動。

監控功能適用於 project、agent_pool 和 agent_id 維度。

您可以使用這項監控資料設定快訊,在移轉作業發生潛在問題時通知您。如要這麼做,請針對下列任一 Google Cloud 指標建立快訊:

指標名稱 說明內容 建議用途
storagetransfer.googleapis.com/agent/transferred_bytes_count 評估特定代理在某個時間點,在所有服務工作中移動資料的速度。 成效下滑時發出快訊。
storagetransfer.googleapis.com/agent/connected 布林值,如果代理程式最近傳送過心跳訊息,則為 True。 Google Cloud
  • 代理程式失敗快訊
  • 低於您認為合理效能所需的代理數量
  • 回報代理機器問題

代理狀態更新

為確保 Storage 移轉服務代理程式具備最新功能、安全性修補程式和修正錯誤,您必須定期以新的代理程式容器取代舊容器。

最新的代理程式容器映像檔位於 Artifact Registry 的 latest 標記下:gcr.io/cloud-ingest/tsop-agent。

有新映像檔時,應更換代理程式。這項作業可以逐步進行,因此不會影響進行中的轉移作業。啟動新代理程式前,請務必提取新的容器映像檔,以免使用機器中的舊快取版本。

比較容器版本

如要查看執行中容器的版本,請擷取資訊清單摘要的前 12 個字元:

sudo docker inspect --format='{{index .RepoDigests 0}}' $(sudo docker inspect --format='{{.Image}}' CONTAINER_ID) | sed 's/.*sha256://' | cut -c1-12

將這個簡短摘要與 Artifact Registry 中發布的「Name」(名稱) 欄進行比較。

如要在指令列中查看最新摘要,請執行 docker pull gcr.io/cloud-ingest/tsop-agent:latest 下載最新映像檔,然後執行下列指令查看簡短摘要:

docker inspect --format='{{index .RepoDigests 0}}' gcr.io/cloud-ingest/tsop-agent:latest | sed 's/.*sha256://' | cut -c1-12

可更新容器

如要對代理程式執行滾動式更新,請按照下列步驟操作:

gcloud CLI

  1. 在每部機器上,從 Artifact Registry 提取最新的容器映像檔:

    sudo docker pull gcr.io/cloud-ingest/tsop-agent:latest

  2. 列出在這部機器上執行的所有代理程式:

    sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent

  3. 停止一個代理:

    sudo docker stop CONTAINER_ID

  4. 安裝一個新的代理程式:

    gcloud transfer agents install --pool=POOL_NAME --count=1 \
    --mount-directories=MOUNT_DIRECTORIES
    

重複執行這些步驟,直到所有機器上的代理程式都已更換。

Docker

  1. 在每部機器上,從 Artifact Registry 提取最新的容器映像檔:

    sudo docker pull gcr.io/cloud-ingest/tsop-agent:latest

  2. 列出在這部機器上執行的所有代理程式:

    sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent

  3. 停止一個代理:

    sudo docker stop CONTAINER_ID

  4. 安裝一個新的代理程式:

    sudo docker run --ulimit memlock=64000000 -d --rm \
    --volumes-from gcloud-config \
    -v HOST_DIRECTORY:CONTAINER_DIRECTORY \
    gcr.io/cloud-ingest/tsop-agent:latest \
    --project-id=PROJECT_ID \
    --hostname=$(hostname) \
    --agent-pool=POOL_NAME
    

重複執行這些步驟,直到所有機器上的代理程式都已更換。

Podman

  1. 在每部機器上,從 Artifact Registry 提取最新的容器映像檔:

    sudo podman pull gcr.io/cloud-ingest/tsop-agent:latest

  2. 列出在這部機器上執行的所有代理程式:

    sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent

  3. 停止一個代理:

    sudo podman stop CONTAINER_ID

  4. 安裝一個新的代理程式:

    sudo podman run --ulimit memlock=64000000 -d --rm \
    --volumes-from gcloud-config \
    -v HOST_DIRECTORY:CONTAINER_DIRECTORY \
    gcr.io/cloud-ingest/tsop-agent:latest \
    --project-id=PROJECT_ID \
    --hostname=$(hostname) \
    --agent-pool=POOL_NAME
    

重複執行這些步驟,直到所有機器上的代理程式都已更換。

代理程式二進位檔更新

除了容器更新之外,容器內也會執行更新指令碼,自動擷取最新的代理程式二進位檔。容器執行期間,這個指令碼每 5 分鐘會輪詢二進位檔更新。二進位檔更新會自動就地套用,不需重新啟動容器。

如果停用自動更新,我們可能不支援對舊版代理程式的效能問題進行偵錯。在這種情況下,我們通常會要求您更新至近期版本,再提供進一步支援。

停止代理

如要停止代理程式,請對代理程式的容器 ID 執行 docker stop 或 podman stop。如要找出 ID 並停止代理程式,請按照下列步驟操作:

  1. 前往 Google Cloud 控制台的「Agent pools」(代理程式集區) 頁面。

    前往「Agent pools」(代理程式集區) 頁面

  2. 選取要停止的代理程式所在的集區。

  3. 從清單中選取代理。使用「Filter」(篩選器) 欄位,搜尋前置字元、代理程式狀態、代理程式存在時間等。

  4. 按一下「停止代理」。系統會顯示 docker stop 指令,並附上特定容器 ID。

  5. 在執行代理程式的機器上執行指令。

    如果停止指令成功,系統會傳回容器 ID。

停止後,代理在代理集區清單中會顯示為「Disconnected」(已中斷連線)。

重新啟動代理

停止的代理無法重新啟動。請改為在代理程式集區中安裝新的代理程式。

刪除代理程式

如要刪除特定代理程式,請列出在機器上執行的代理程式。

Docker

sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent

Podman

sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent

然後將代理 ID 傳遞至 gcloud transfer agents delete。這個指令不會停止代理程式本身,而是會輸出您必須執行的 docker stop 指令:

gcloud transfer agents delete --ids=id1,id2,...

如要列印停止機器上所有代理程式的指令,請使用 --all 旗標。如要一併輸出移除代理程式容器映像檔的指令,請使用 --uninstall 旗標。執行輸出的指令來停止代理:

gcloud transfer agents delete --all
gcloud transfer agents delete --uninstall

檔案系統移轉作業詳細資料

增量移轉作業

Storage 移轉服務會先計算來源和目的地的資料,判斷哪些來源檔案是上次移轉後新增、更新或刪除,然後才開始所有移轉作業。這樣做是為了減少從機器傳送的資料量、有效運用頻寬,以及縮短傳輸時間。

為偵測檔案是否有所變更,我們會檢查來源檔案的上次修改時間和大小,並與上次複製檔案時記錄的上次修改時間和大小進行比較。偵測到新檔案或變更過的檔案時,系統會將整個檔案複製到目的地。如要進一步瞭解檔案更新間隔,請參閱「資料一致性詳細資料」。

根據預設,系統會偵測來源端刪除的檔案,但不會採取任何行動。如果在建立或編輯工作時,選擇「Delete destination files that aren't also in the source」(刪除來源中沒有的目標檔案) 同步選項,轉移作業就會刪除目的地中的對應物件。

如果選擇「Delete destination files that aren't also in the source」(刪除來源中沒有的目的地檔案) 同步選項,系統也會刪除目的地中意外刪除的檔案。為避免因意外刪除而遺失資料,如果您選擇使用這個選項,建議在目的地 bucket 中啟用物件版本管理功能。這樣一來,如果不小心刪除檔案,就能將 Cloud Storage 中的物件還原為舊版本。

資料一致性詳細資料

如果轉移作業成功,系統會轉移所有在作業執行期間存在且未修改的來源檔案。在移轉期間建立、更新或刪除的來源檔案,不一定會將這些變更反映在目的地資料集中。

Storage 移轉服務會根據檔案的上次修改時間和大小,判斷檔案是否有所變更。如果檔案更新後,上次修改時間或大小並未變更,且您啟用了 delete-objects-from-source 選項,則可能會遺失該變更的資料。

使用 delete-objects-from-source 功能時,強烈建議您在移轉期間凍結來源的寫入作業,以免資料遺失。

如要凍結來源寫入作業,請執行下列任一操作:

  • 複製要轉移的目錄,然後將複製的目錄做為轉移來源。
  • 停止寫入來源目錄的應用程式。

如需擷取移轉期間發生的變更,可以重新執行移轉作業,或是在作業執行期間將來源檔案系統設為唯讀。

Cloud Storage 沒有目錄的概念,因此不會移轉空白的來源目錄。