Storage 移轉服務支援從與 Amazon S3 API 相容的雲端或地端部署物件儲存系統移轉資料。
Storage 移轉服務會使用部署在資料來源附近 VM 上的移轉代理程式,存取 S3 相容儲存空間中的資料。這些代理程式會在 Docker 容器中執行,並屬於代理程式集區,也就是使用相同設定並共同平行移動資料的代理程式集合。
這項功能可讓您從地端部署或雲端物件儲存空間遷移至 Cloud Storage、封存資料以釋出地端部署儲存空間容量、將資料複製到Google Cloud 以維持業務連續性,或將資料移轉至Google Cloud 進行分析和處理。 對於從 AWS S3 遷移至 Cloud Storage 的客戶,這項功能可讓您控制連往 Google Cloud的網路路徑,大幅降低傳出資料移轉費用。
事前準備
設定移轉作業前,請先完成下列步驟:
- 安裝 gcloud CLI。
- 符合檔案系統移轉作業的需求條件,包括在移轉代理程式機器上安裝 Docker。
必要條件
設定移轉作業前,請務必先完成下列設定:
- 使用者權限:確認您的使用者帳戶或使用者自行管理的服務帳戶,有權設定移轉作業和代理程式集區。請參閱「必要的使用者授權」。
- 代理專案層級權限:請務必為服務代理和移轉代理帳戶,設定必要的專案層級角色。請參閱「代理程式專案層級權限」。
- 來源 S3 相容權限:取得來源 bucket 的 API 憑證和讀取的權限。請參閱「設定來源存取權:S3 相容儲存空間」。
- 目的地 bucket 權限:授予目的地 Cloud Storage bucket 的必要權限。請參閱「設定接收器的存取權:Cloud Storage」。
轉移作業選項
從 S3 相容儲存空間移轉至 Cloud Storage 時,可使用下列 Storage 移轉服務功能:
- 使用資訊清單轉移特定檔案
- 您可以傳遞檔案清單,讓 Storage 移轉服務執行操作。詳情請參閱「使用資訊清單移轉特定檔案或物件」。
- 指定儲存空間級別
- 您可以指定要用於目的地 bucket 中資料的 Cloud Storage 儲存空間級別。請參閱
StorageClass選項瞭解 REST 詳細資料,或搭配使用--custom-storage-class旗標與 Google Cloud CLI。請注意,如果目的地 bucket 已啟用自動調整級別功能,系統會忽略所有儲存空間級別設定。如果啟用自動調整級別功能,轉移至 bucket 的物件一開始會設為 Standard Storage。
- 保存中繼資料
-
從與 S3 相容的儲存空間移轉檔案時,Storage 移轉服務可選擇將特定屬性保留為自訂中繼資料。
如要瞭解可保留的中繼資料,以及如何設定移轉作業,請參閱「中繼資料保留」的「從 Amazon S3 或 S3 相容儲存空間移轉至 Cloud Storage」一節。
- 記錄和監控
- 您可以在 Cloud Logging 和 Cloud Monitoring 中,查看從與 S3 相容儲存空間轉移的作業。詳情請參閱「Storage 移轉服務的 Cloud Logging」和「監控移轉工作」。您也可以設定 Pub/Sub 通知。
建立代理程式集區
如要建立代理程式集區,請按照下列步驟操作:
Google Cloud 控制台
前往 Google Cloud 控制台的「Agent pools」(代理程式集區) 頁面。
系統會顯示「Agent pools」(代理程式集區) 頁面,列出您現有的代理程式集區。
按一下「建立其他集區」。
為集區命名,並視需要輸入說明。
您可以選擇設定頻寬限制,套用至整個集區。指定頻寬 (以 MB/s 為單位) 會分配給集區中的所有代理程式。詳情請參閱「管理網路頻寬」。
點選「建立」。
REST API
使用 projects.agentPools.create:
POST https://storagetransfer.googleapis.com/v1/projects/PROJECT_ID/agentPools?agent_pool_id=AGENT_POOL_ID
更改下列內容:
PROJECT_ID:要建立代理程式集區的專案 ID。AGENT_POOL_ID:要建立的代理程式集區 ID。
如果代理程式集區卡在 Creating 狀態超過 30 分鐘,建議您刪除代理程式集區並重新建立。
如果代理程式集區處於 Creating 狀態,撤銷專案所需的 Storage 移轉服務權限會導致服務行為不正確。
gcloud CLI
如要使用 gcloud 指令列工具建立代理程式集區,請執行 gcloud transfer agent-pools create。
gcloud transfer agent-pools create AGENT_POOL
可用的選項如下:
AGENT_POOL 是這個集區的專屬永久 ID。
--no-async會封鎖終端機中的其他工作,直到集區建立完成為止。如未提供,集區建立作業會以非同步方式執行。--bandwidth-limit定義要提供給這個集區代理程式的頻寬 (以 MB/s 為單位)。頻寬限制適用於集區中的所有代理程式,可防止集區的移轉工作負載干擾共用頻寬的其他作業。例如,輸入「50」即可將頻寬限制設為 50 MB/s。如未指定這個旗標,這個集區的代理程式將使用所有可用頻寬。--display-name是可修改的名稱,方便您識別這個集區。您可以加入集區專屬完整資源名稱中可能不適合的詳細資料。
安裝移轉代理程式
移轉代理程式是軟體代理程式,可透過 Storage 移轉服務協調來源的移轉活動。必須安裝在可存取來源資料的系統上。
gcloud CLI
如要使用 gcloud CLI 安裝代理程式,以便與 S3 相容來源搭配使用,請使用 transfer agents install 指令。
您必須提供存取憑證,可以做為環境變數 (AWS_ACCESS_KEY_ID 和 AWS_SECRET_ACCESS_KEY 的值),也可以儲存為系統設定檔中的預設憑證。
export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME
如要使用服務帳戶金鑰執行代理程式,請使用 --creds-file 選項:
gcloud transfer agents install --pool=POOL_NAME \
--creds-file=/relative/path/to/service-account-key.json
建立移轉工作
Google Cloud 控制台
請按照下列步驟,建立從 S3 相容來源到 Cloud Storage bucket 的移轉作業。
前往 Google Cloud 控制台的「Storage 移轉服務」頁面。
按一下「建立移轉工作」。系統會顯示「Create a transfer job」(建立移轉工作) 頁面。
選取「與 S3 相容的物件儲存庫」做為「來源類型」。目的地必須是「Cloud Storage」。
點選「下一步」。
設定來源
指定這項移轉作業的必要資訊:
選取您為這項移轉作業設定的代理程式集區。
輸入與端點相關的值區名稱。舉例來說,如果資料位於:
https://example.com/bucket_a輸入:
bucket_a輸入端點。請勿加入通訊協定 (
http://或https://) 或 bucket 名稱。例如:example.com
為這項轉移作業指定任何選用屬性:
輸入要用於簽署要求的「簽署區域」。
選擇這項要求的「簽署程序」。
選取「位址樣式」。這會決定 bucket 名稱是以路徑樣式 (例如
https://example.com/bucket-name/key-name) 或虛擬主機樣式 (例如https://bucket-name.example.com/key-name) 提供。詳情請參閱 Amazon 說明文件中的「虛擬主機 bucket」。選取「網路通訊協定」。
選取要使用的產品資訊 API 版本。詳情請參閱 ListObjectsV2 和 ListObjects 說明文件。
點選「下一步」。
設定接收器
在「Bucket or folder」(Bucket 或資料夾) 欄位中,輸入目的地 bucket 和資料夾名稱 (選用),或按一下「Browse」(瀏覽),從目前專案的現有 bucket 清單中選取 bucket。如要建立新的 bucket,請按一下
「Create new bucket」(建立新的 bucket)。點選「下一步」。
選擇轉移設定
在「Description」(說明) 欄位中,輸入移轉作業的說明。建議您輸入有意義且不重複的說明,以便區分工作。
在「Metadata options」(中繼資料選項) 下方,選擇使用預設選項,或按一下「View and select options」(查看並選取選項),為所有支援的中繼資料指定值。詳情請參閱「中繼資料保留」。
在「何時覆寫」下方,選取下列其中一個選項:
如果不同:如果同名來源檔案的 Etag 或核對和值不同,則覆寫目的地檔案。
Always:來源檔案與目的地檔案的名稱相同時,一律覆寫目的地檔案,即便檔案內容完全相同。
在「刪除時間」下方,選取下列其中一個選項:
一律不:一律不刪除來源或目的地的檔案。
轉移檔案後,請從來源刪除檔案:檔案轉移至目的地後,從來源刪除檔案。如果來源檔案未轉移 (例如目的地已存在該檔案),則不會刪除來源檔案。
Delete files from destination if they're not also at source:如果目的地 Cloud Storage bucket 中的檔案未同時存在於來源,則從 Cloud Storage bucket 中刪除檔案。
這個選項可確保目的地 Cloud Storage bucket 與來源完全相符。
在「Notification options」(通知選項) 下方,選取 Pub/Sub 主題和要通知的事件。詳情請參閱「Pub/Sub 通知」。
點選「下一步」。
排定轉移作業
您可以安排只執行一次移轉作業,或設定週期性移轉作業。
點選「建立」,建立移轉工作。
gcloud CLI
使用 gcloud CLI 建立移轉作業前,請按照「設定 Cloud Storage 接收器的存取權」一文中的操作說明進行。
如要使用 gcloud CLI 建立移轉作業,將 S3 相容來源的資料移轉至 Cloud Storage bucket,請使用下列指令。
gcloud transfer jobs create s3://SOURCE_BUCKET_NAME gs://SINK_BUCKET_NAME \
--source-agent-pool=POOL_NAME \
--source-endpoint=ENDPOINT \
--source-signing-region=REGION \
--source-auth-method=AWS_SIGNATURE_V2 | AWS_SIGNATURE_V4 \
--source-request-model=PATH_STYLE | VIRTUAL_HOSTED_STYLE \
--source-network-protocol=HTTP | HTTPS \
--source-list-api=LIST_OBJECTS | LIST_OBJECTS_V2
必須使用下列旗標:
--source-agent-pool是要用於這項移轉作業的代理程式集區名稱。--source-endpoint指定儲存系統的端點。例如:s3.us-east.example.com。請向供應商確認正確格式。請勿加入通訊協定 (例如https://) 或 bucket 名稱。
其餘旗標為選用:
--source-signing-region指定經簽署的要求的區域。如果儲存空間供應商未要求輸入簽署區域,請略過這個旗標。--source-auth-method指定要使用的驗證方式。有效值為AWS_SIGNATURE_V2或AWS_SIGNATURE_V4。詳情請參閱 Amazon 的 SigV4 和 SigV2 說明文件。--source-request-model會指定要使用的位址樣式。有效值為PATH_STYLE或VIRTUAL_HOSTED_STYLE。路徑樣式使用https://s3.REGION.example.com/BUCKET_NAME/KEY_NAME格式。虛擬主機樣式使用https://BUCKET_NAME.s3.REGION.example.com/KEY_NAME格式。--source-network-protocol指定代理程式應在這項工作中使用的網路通訊協定。有效值為HTTP或HTTPS。--source-list-api指定 S3 Listing API 的版本,以便從值區傳回物件。有效值為LIST_OBJECTS或LIST_OBJECTS_V2。詳情請參閱 Amazon 的 ListObjectsV2 和 ListObjects 說明文件。
如需其他轉移工作選項,請執行 gcloud transfer jobs create --help,或參閱 gcloud 參考文件。
REST API
使用 REST API 建立移轉作業前,請按照「設定 Cloud Storage 接收器的存取權」一文中的操作說明操作。
如要使用 REST API 從 S3 相容來源建立移轉作業,請建立類似下列範例的 JSON 物件。
POST https://storagetransfer.googleapis.com/v1/transferJobs { "projectId": "PROJECT_ID", "status": "ENABLED", "transferSpec": { "sourceAgentPoolName": "projects/PROJECT_ID/agentPools/POOL_NAME", "awsS3CompatibleDataSource": { "region": "us-east-1", "s3Metadata": { "protocol": "NETWORK_PROTOCOL_HTTPS", "requestModel": "REQUEST_MODEL_VIRTUAL_HOSTED_STYLE", "authMethod": "AUTH_METHOD_AWS_SIGNATURE_V4" }, "endpoint": "example.com", "bucketName": "BUCKET_NAME", "path": "PATH" }, "gcsDataSink": { "bucketName": "SINK_NAME", "path": "SINK_PATH" }, "transferOptions": { "deleteObjectsFromSourceAfterTransfer": false } } }
如需欄位說明,請參閱 AwsS3CompatibleData API 參考資料。
用戶端程式庫
使用用戶端程式庫建立移轉作業前,請按照「設定 Cloud Storage 接收器的存取權」中的操作說明操作。
Go
如要瞭解如何安裝及使用 Storage 移轉服務的用戶端程式庫,請參閱「Storage 移轉服務用戶端程式庫」。詳情請參閱 Storage 移轉服務 Go API 參考文件。
如要向 Storage 移轉服務進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
如要瞭解如何安裝及使用 Storage 移轉服務的用戶端程式庫,請參閱「Storage 移轉服務用戶端程式庫」。詳情請參閱 Storage 移轉服務 Java API 參考文件。
如要向 Storage 移轉服務進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Node.js
如要瞭解如何安裝及使用 Storage 移轉服務的用戶端程式庫,請參閱「Storage 移轉服務用戶端程式庫」。詳情請參閱 Storage 移轉服務 Node.js API 參考文件。
如要向 Storage 移轉服務進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
如要瞭解如何安裝及使用 Storage 移轉服務的用戶端程式庫,請參閱「Storage 移轉服務用戶端程式庫」。詳情請參閱 Storage 移轉服務 Python API 參考文件。
如要向 Storage 移轉服務進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
常見問題
如果我的 S3 相容供應商使用自訂 SSL 憑證,該怎麼辦?
如果 S3 相容供應商使用的 SSL 憑證並非由公開憑證授權單位核發,移轉作業可能會失敗,並顯示 TLS 錯誤。如要解決這個問題,請使用 -v Docker 旗標,將供應商的根憑證掛接至 /etc/ssl/certs/CERT_FILE 的移轉代理程式容器。
例如:
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ -v /path/to/your/CERT_FILE:/etc/ssl/certs/CERT_FILE \ -e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
從與 S3 相容的儲存空間移轉資料需要付費嗎?
從與 S3 相容的儲存空間轉移資料,不會產生「需要代理的 Storage 移轉服務移轉作業」費用。如要瞭解可能產生的其他費用,請參閱「定價」一節。您可能也須支付來源雲端服務供應商規定的資料轉出和作業費用。
與 S3 相容的儲存空間移轉作業是否支援 Cloud Logging?
可以,請按照「Storage 移轉服務的 Cloud Logging」中的操作說明,為移轉作業啟用 Cloud Logging。
是否支援使用資訊清單進行移轉?
可以,S3 相容移轉作業支援資訊清單檔案。
如果我在工作啟動後將物件新增至來源 bucket,該物件會轉移嗎?
Storage 移轉服務會對來源 bucket 執行清單作業,計算與目的地的差異。如果新增物件時,清單作業已完成,系統會略過該物件,直到下次轉移。
Storage 移轉服務是否會對與 S3 相容的來源執行核對和比對?
Storage 移轉服務會依據來源傳回的核對和資料,如果是與 S3 相容的儲存空間,Storage 移轉服務會預期物件的 Etag 為物件的 MD5 雜湊。
不過,使用 S3 多部分上傳功能移轉至 S3 相容儲存空間的物件,不會有 MD5 ETag。在這種情況下,Storage 移轉服務會使用檔案大小來驗證移轉的物件。
從與 S3 相容的儲存空間轉移資料時,可以達到多少處理量?
您可以新增更多移轉代理程式,提高移轉處理量。建議使用 3 個代理程式,以容錯並填滿 <10Gbps 管道。如要進一步擴充,請新增更多代理。在轉移過程中,您可以新增及移除代理。
應將移轉代理程式部署在何處,才能將資料從 Amazon S3 移轉至 Cloud Storage?
您可以在與 bucket 位於相同區域的 Amazon EC2 或 EKS 中安裝代理程式。您也可以在最靠近的區域中,透過 Google Cloud 執行代理。