Storage 移轉服務支援轉移雲端和地端部署 Hadoop 分散式檔案系統 (HDFS) 來源中的資料。
從 HDFS 轉移資料時,必須以 Cloud Storage 做為目的地。
用途包括從地端部署儲存空間遷移至 Cloud Storage、封存資料以釋出地端部署儲存空間、將資料複製到Google Cloud 以維持企業營運,或將資料轉移至Google Cloud 進行分析和處理。
必要條件
設定移轉作業前,請務必先完成下列設定:
- 使用者權限:確認使用者帳戶或使用者自行管理的服務帳戶有權建立移轉工作和代理程式集區。請參閱「必要的使用者授權」。
- 代理專案層級權限:請務必為服務代理和移轉代理帳戶,設定必要的專案層級角色。請參閱「代理程式專案層級權限」。
- 目的地 bucket 權限:授予目的地 Cloud Storage bucket 的必要權限。請參閱「設定接收器的存取權:Cloud Storage」。
將代理程式安裝到代理程式集區
代理式移轉作業會使用軟體代理來自動調度管理移轉作業。這些代理程式必須安裝在一或多部可存取檔案系統的機器上。代理程式必須能存取 namenode、所有 datanode、Hadoop 金鑰管理伺服器 (KMS) 和 Kerberos 金鑰發布中心 (KDC)。
移轉代理程式會在代理程式集區中協同運作。增加代理程式數量可提升整體工作效能,但這取決於多項因素。
增加代理程式數量可能會有幫助,最多可增加到 HDFS 叢集中節點數量的一半。舉例來說,如果叢集有 30 個節點,將代理程式數量從 5 個增加到 15 個應該能提升效能,但超過 15 個可能不會有太大差異。
如果是小型 HDFS 叢集,一個代理程式可能就足夠。
如果移轉作業包含大量小型檔案,額外代理程式通常會對效能產生較大影響。Storage 移轉服務會在多個代理程式之間平行處理移轉工作,藉此提高處理量。工作負載中的檔案越多,新增代理程式的好處就越多。
建立代理程式集區
建立代理程式集區。請使用使用者帳戶執行這項操作。
安裝代理程式
將代理程式安裝到代理程式集區。請使用轉移代理帳戶
執行這項操作。
Google Cloud 控制台
前往 Google Cloud 控制台的「Agent pools」(代理程式集區) 頁面。
選取要新增代理程式的代理程式集區。
按一下「Install agent」(安裝代理程式)。
按照操作說明安裝及執行代理程式。
如要進一步瞭解代理程式的指令列選項,請參閱「代理程式指令列選項」。
gcloud CLI
如要使用 gcloud CLI 安裝一或多個代理程式,請執行 gcloud transfer agents install:
gcloud transfer agents install --pool=POOL_NAME \
--count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES \
--hdfs-namenode-uri=HDFS_NAMENODE_URI \
--hdfs-username=HDFS_USERNAME \
--hdfs-data-transfer-protection=HDFS_DATA_TRANSFER_PROTECTION \
--kerberos-config-file=KERBEROS_CONFIG_FILE \
--kerberos-keytab-file=KERBEROS_KEYTAB_FILE \
--kerberos-user-principal=KERBEROS_USER_PRINCIPAL \
--kerberos-service-principal=KERBEROS_SERVICE_PRINCIPAL \
更改下列內容:
--hdfs-namenode-uri會以 URI 格式指定 HDFS 叢集,包括結構定義、namenode 和通訊埠。例如:rpc://my-namenode:8020http://my-namenode:9870
請使用 HTTP 或 HTTPS 存取 WebHDFS。如未提供結構定義,系統會假設為 RPC。如未提供通訊埠,RPC 的預設值為
8020,HTTP 為9870,HTTPS 為9871。舉例來說,輸入my-namenode會變成rpc://my-namenode:8020。如果叢集設有多個 namenode,請指定目前的主要節點。詳情請參閱「具有多個 namenode 的叢集」。
--hdfs-username是透過簡易驗證連線至 HDFS 叢集的使用者名稱。如果您使用 Kerberos 進行驗證,或在未驗證的情況下連線,請省略這個旗標。--hdfs-data-transfer-protection(選用) 是 Kerberized 叢集的用戶端保護品質 (QOP) 設定。這個值不得比伺服器端 QOP 值更嚴格。有效值為:authentication、integrity和privacy。
如果您使用 Kerberos 進行驗證,請一併加入下列旗標:
--kerberos-config-file是 Kerberos 設定檔的路徑。例如:--kerberos-config-file=/etc/krb5.conf。--kerberos-user-principal是要使用的 Kerberos 使用者主體。例如:--kerberos-user-principal=user1。--kerberos-keytab-file是 Keytab 檔案的路徑,其中包含以--kerberos-user-principal旗標指定的使用者主體。例如:--kerberos-keytab-file=/home/me/kerberos/user1.keytab。--kerberos-service-principal是要使用的 Kerberos 服務主體,格式為<primary>/<instance>。領域會從 Kerberos 設定檔對應,系統會忽略任何提供的領域。如未指定這個旗標,預設值為hdfs/<namenode_fqdn>,其中<namenode_fqdn>是設定檔中指定的完整網域名稱。例如:
--kerberos-service-principal=hdfs/my-namenode.a.example.com。
這項工具會引導您完成安裝代理程式的必要步驟。這項指令會在機器上安裝 NUM_AGENTS 個代理程式,並對應至指定為 POOL_NAME 的集區名稱,然後使用 gcloud 憑證驗證代理程式。集區名稱必須存在,否則會傳回錯誤。
--mount-directories 旗標為選用,但強烈建議使用。其值是以半形逗號分隔的檔案系統目錄清單,用於授予代理存取權。如果省略這個旗標,整個檔案系統都會掛接至代理程式容器。詳情請參閱 gcloud 參考資料。
docker run
使用 docker run 安裝代理程式之前,請按照操作說明安裝 Docker。
docker run 指令會安裝一個代理程式。如要增加集區中的代理程式數量,請視需要多次重新執行這個指令。
所需的指令旗標取決於您使用的驗證類型。
Kerberos
如要使用 Kerberos 驗證檔案系統,請使用下列指令:
sudo docker run -d --ulimit memlock=64000000 --rm \
--network=host \
-v /:/transfer_root \
gcr.io/cloud-ingest/tsop-agent:latest \
--enable-mount-directory \
--project-id=${PROJECT_ID} \
--hostname=$(hostname) \
--creds-file="service_account.json" \
--agent-pool=${AGENT_POOL_NAME} \
--hdfs-namenode-uri=cluster-namenode \
--kerberos-config-file=/etc/krb5.conf \
--kerberos-user-principal=user \
--kerberos-keytab-file=/path/to/folder.keytab
更改下列內容:
- 如果在這部機器上執行多個代理程式,則應省略
--network=host。 --hdfs-namenode-uri:URI 格式的結構定義、namenode 和通訊埠,代表 HDFS 叢集。例如:rpc://my-namenode:8020http://my-namenode:9870
請使用 HTTP 或 HTTPS 存取 WebHDFS。如未提供結構定義,系統會假設為 RPC。如未提供通訊埠,RPC 的預設值為 8020,HTTP 為 9870,HTTPS 為 9871。舉例來說,輸入 my-namenode 會變成 rpc://my-namenode:8020。
如果叢集設有多個 namenode,請指定目前的主要節點。詳情請參閱「具有多個 namenode 的叢集」。
--kerberos-config-file:Kerberos 設定檔的路徑。預設值為/etc/krb5.conf。--kerberos-user-principal:Kerberos 使用者主體。--kerberos-keytab-file:Keytab 檔案的路徑,其中包含以--kerberos-user-principal指定的使用者主體。--kerberos-service-principal:要使用的 Kerberos 服務主體,格式為「service/instance」。領域會從 Kerberos 設定檔對應,系統會忽略任何提供的領域。如未指定這個旗標,預設值為hdfs/<namenode_fqdn>,其中fqdn是完整網域名稱。
簡易驗證
如要使用簡易驗證方法向檔案系統驗證,請按照下列步驟操作:
sudo docker run -d --ulimit memlock=64000000 --rm \
--network=host \
-v /:/transfer_root \
gcr.io/cloud-ingest/tsop-agent:latest \
--enable-mount-directory \
--project-id=${PROJECT_ID} \
--hostname=$(hostname) \
--creds-file="${CREDS_FILE}" \
--agent-pool="${AGENT_POOL_NAME}" \
--hdfs-namenode-uri=cluster-namenode \
--hdfs-username="${USERNAME}"
更改下列內容:
--hdfs-username:使用簡易驗證連線至 HDFS 叢集時,要使用的使用者名稱。--hdfs-namenode-uri:URI 格式的結構定義、namenode 和通訊埠,代表 HDFS 叢集。例如:rpc://my-namenode:8020http://my-namenode:9870
請使用 HTTP 或 HTTPS 存取 WebHDFS。如未提供結構定義,系統會假設為 RPC。如未提供通訊埠,RPC 預設為 8020,HTTP 預設為 9870,HTTPS 預設為 9871。舉例來說,輸入 my-namenode 會變成 rpc://my-namenode:8020。
如果叢集設有多個 namenode,請指定目前的主要節點。詳情請參閱「具有多個 namenode 的叢集」。
不驗證
如要連線至檔案系統,而不進行任何驗證:
sudo docker run -d --ulimit memlock=64000000 --rm \
--network=host \
-v /:/transfer_root \
gcr.io/cloud-ingest/tsop-agent:latest \
--enable-mount-directory \
--project-id=${PROJECT_ID} \
--hostname=$(hostname) \
--creds-file="${CREDS_FILE}" \
--agent-pool="${AGENT_POOL_NAME}" \
--hdfs-namenode-uri=cluster-namenode \
更改下列內容:
--hdfs-namenode-uri:URI 格式的結構定義、namenode 和通訊埠,代表 HDFS 叢集。例如:rpc://my-namenode:8020http://my-namenode:9870
請使用 HTTP 或 HTTPS 存取 WebHDFS。如未提供結構定義,系統會假設為 RPC。如未提供通訊埠,RPC 預設為 8020,HTTP 預設為 9870,HTTPS 預設為 9871。舉例來說,輸入 my-namenode 會變成 rpc://my-namenode:8020。
如果叢集設有多個 namenode,請指定目前的主要節點。詳情請參閱「具有多個 namenode 的叢集」。
轉移作業選項
下列 Storage 移轉服務功能適用於從 HDFS 移轉至 Cloud Storage。
從 HDFS 移轉的檔案不會保留中繼資料。
建立移轉作業
Storage 移轉服務提供多個介面,可用於建立移轉作業。
Google Cloud 控制台
前往 Google Cloud 控制台的「Storage 移轉服務」頁面。
按一下「建立移轉工作」。系統會顯示「Create a transfer job」(建立移轉工作) 頁面。
選取「Hadoop Distributed File System」做為「來源類型」。目的地必須是 Google Cloud Storage。
點選「下一步」。
設定來源
設定接收器
在「Bucket or folder」(Bucket 或資料夾) 欄位中,輸入目的地 bucket 和資料夾名稱 (選用),或按一下「Browse」(瀏覽),從目前專案的現有 bucket 清單中選取 bucket。如要建立新的 bucket,請按一下
「Create new bucket」(建立新的 bucket)。點選「下一步」。
排定轉移作業
您可以安排只執行一次移轉作業,或設定週期性移轉作業。
點選「下一步」。
選擇轉移設定
在「Description」(說明) 欄位中,輸入移轉作業的說明。建議您輸入有意義且不重複的說明,以便區分工作。
在「Metadata options」(中繼資料選項) 下方,選取 Cloud Storage 儲存空間級別,以及是否要儲存每個物件的建立時間。詳情請參閱「中繼資料保留」。
在「何時覆寫」下方,選取下列其中一個選項:
Never:不覆寫目的地檔案。如果已有同名檔案,系統就不會轉移。
如果不同:如果同名來源檔案的 Etag 或核對和值不同,則覆寫目的地檔案。
Always:來源檔案與目的地檔案的名稱相同時,一律覆寫目的地檔案,即便檔案內容完全相同。
在「刪除時間」下方,選取下列其中一個選項:
一律不:一律不刪除來源或目的地的檔案。
Delete files from destination if they're not also at source:如果目的地 Cloud Storage bucket 中的檔案未同時存在於來源,則從 Cloud Storage bucket 中刪除檔案。
這個選項可確保目的地 Cloud Storage bucket 與來源完全相符。
選取是否要啟用移轉作業記錄和/或 Pub/Sub 通知。
點選「建立」,建立移轉工作。
gcloud CLI
如要建立新的移轉工作,請使用 gcloud transfer jobs create 指令。建立新工作會啟動指定的移轉作業,除非指定排程或 --do-not-run。
gcloud transfer jobs create \
hdfs:///PATH/ gs://BUCKET_NAME/PATH/ \
--source-agent-pool=AGENT_POOL_NAME
更改下列內容:
PATH是 HDFS 叢集根目錄的絕對路徑。叢集 namenode 和通訊埠是在代理層級設定,因此工作建立指令只需要指定 (選用) 路徑和代理集區。--source-agent-pool指定要用於這項移轉作業的來源代理集區。
其他選項包括:
--do-not-run可防止 Storage 移轉服務在提交指令後執行工作。如要執行工作,請更新工作來新增排程,或使用jobs run手動啟動。--manifest-file指定 Cloud Storage 中 CSV 檔案的路徑,其中包含要從來源轉移的檔案清單。如要瞭解資訊清單檔案格式,請參閱「使用資訊清單移轉特定檔案或物件」。工作資訊:您可以指定
--name和--description。排程:指定
--schedule-starts、--schedule-repeats-every和--schedule-repeats-until,或--do-not-run。物件條件:使用條件決定要移轉的物件。包括
--include-prefixes和--exclude-prefixes,以及--include-modified-[before | after]-[absolute | relative]中的時間條件。如果您指定了來源資料夾,前置字元篩選器會與該資料夾相關。詳情請參閱「依前置字串篩選來源物件」。轉移選項:指定是否要覆寫目的地檔案 (
--overwrite-when=different或always),以及是否要在轉移期間或之後刪除特定檔案 (--delete-from=destination-if-unique或source-after-transfer);並視需要為轉移的物件設定儲存空間級別 (--custom-storage-class)。通知:使用
--notification-pubsub-topic、--notification-event-types和--notification-payload-format設定轉移作業的 Pub/Sub 通知。
如要查看所有選項,請執行 gcloud transfer jobs create --help 或參閱 gcloud 參考文件。
REST API
如要使用 REST API 從 HDFS 來源建立移轉作業,請建立類似下列範例的 JSON 物件。
POST https://storagetransfer.googleapis.com/v1/transferJobs
{
...
"transferSpec": {
"source_agent_pool_name":"POOL_NAME",
"hdfsDataSource": {
"path": "/mount"
},
"gcsDataSink": {
"bucketName": "SINK_NAME"
},
"transferOptions": {
"deleteObjectsFromSourceAfterTransfer": false
}
}
}
如要進一步瞭解其他支援的欄位,請參閱 transferJobs.create 參考資料。
有多個名稱節點的叢集
Storage 移轉服務代理只能設定一個 namenode。如果 HDFS 叢集設有多個名稱節點 (「高可用性」),且發生容錯移轉事件,導致新的主要名稱節點,您必須使用正確的名稱節點重新安裝代理程式。
如要刪除舊代理,請參閱「刪除代理」。
如要擷取叢集中的有效名稱節點,請執行下列指令:
hdfs haadmin -getAllServiceState