跨 Google Cloud 區域遷移:為跨區域遷移作業準備資料和批次工作負載

Last reviewed 2024-12-02 UTC

本文說明如何在 Google Cloud 上設計資料平台,盡可能降低未來擴充至其他區域或區域間遷移的影響。本文件是一系列文章的一部分,可協助您瞭解將資料平台擴充至其他區域的影響。本指南涵蓋的主題:

  • 準備移動資料和資料管道。
  • 在遷移階段設定檢查。
  • 將資料儲存庫和資料運算分開,建立彈性的遷移策略。

如果您未事先規劃跨區域遷移或擴展至多個區域,本系列指南也很有幫助。在這種情況下,您可能需要投入額外心力,為跨區域遷移和擴充至多個區域做好基礎架構、工作負載和資料準備。

本文件是系列文章的一部分:

本系列文章假設您已閱讀並熟悉下列文件:

以下是遷移流程圖。

列出四個階段的遷移路徑。

在每個遷移步驟中,請按照「遷移至 Google Cloud:開始使用」中定義的階段操作:

  1. 評估並探索工作負載。
  2. 規劃及奠定基礎。
  3. 部署工作負載。
  4. 將環境調整至最佳狀態。

Google Cloud上的現代化資料平台

本節說明現代資料平台的各個部分,以及這些部分通常如何在 Google Cloud中建構。資料平台一般可分為兩部分:

  • 資料儲存層是儲存資料的地方。您儲存的資料可能是檔案形式,您可以在 Hadoop 分散式檔案系統 (HDFS) 或 Cloud Storage 等檔案系統上管理實際位元組,也可以使用特定領域語言 (DSL) 管理資料庫管理系統中的資料。
  • 「資料運算」層是指您在儲存系統上啟用的任何資料處理作業。與儲存層一樣,運算層也有許多可能的實作方式,部分資料儲存工具也會處理資料運算。平台中資料運算層的角色是從儲存層載入資料、處理資料,然後將結果儲存至目標系統。目標系統可以是來源儲存層。

部分資料平台會使用多個資料儲存庫做為資料儲存層,並使用多個資料運算系統做為資料處理層。在多數情況下,資料儲存層和資料運算層是分開的。舉例來說,您可能使用下列Google Cloud 服務實作資料儲存層:

您可能已使用其他Google Cloud 服務導入資料運算層,例如:

為縮短通訊時間和延遲時間、降低傳出資料移轉費用,以及減少儲存層和運算層之間的 I/O 作業數量,建議您將資料儲存在處理資料的可用區。

我們也建議您將資料儲存層與資料運算層分開。將這兩層分開,可提高變更運算層和遷移資料的彈性。將層級分開也能減少資源用量,因為您不必一直執行運算層。因此,建議您在同一可用區和區域的不同平台上,部署資料儲存庫和資料運算。例如,您可以將資料儲存庫從 HDFS 移至 Cloud Storage,並使用 Managed Service for Apache Spark 叢集進行運算。

評估您的環境

在評估階段,您需要判斷遷移已部署批次資料管道的需求和依附元件:

  1. 建立資料管道的完整清單。
  2. 根據屬性和依附元件,將管道分類。
  3. 訓練及教育團隊 Google Cloud。
  4. 在 Google Cloud上建構實驗和概念驗證。
  5. 計算目標環境的總持有成本 (TCO)。
  6. 選擇您要先遷移的工作負載。

如要進一步瞭解評估階段和這些工作,請參閱「遷移至 Google Cloud:評估及探索工作負載」。以下各節內容均以該文件中的資訊為依據。

建立商品目錄

如要規劃遷移範圍,您必須瞭解部署資料管道的資料平台環境:

  1. 建立資料基礎架構的清單,包括用於資料儲存庫和批次資料處理的不同儲存層和運算層。
  2. 建立預定遷移的資料管道清單。
  3. 建立資料管道正在讀取且需要遷移的資料集清單。

如要建立資料平台的資產清單,請針對資料基礎架構的各個部分考量下列事項:

  • 儲存層。除了 Cloud Storage 等標準儲存平台外,您也可以考慮其他儲存層,例如 Firebase、BigQuery、Bigtable 和 Postgres 等資料庫,或其他叢集,例如 Apache Kafka。每個儲存平台都有自己的遷移策略和方法。例如,Cloud Storage 提供資料遷移服務,而資料庫可能內建遷移工具。請確認您用於資料儲存庫的每項產品,都可在目標環境中使用,或有相容的替代方案。練習並驗證每個相關儲存平台的技術資料移轉程序。
  • 運算層。針對每個運算平台,驗證部署計畫,並驗證您可能對不同平台所做的任何設定變更。
  • 網路延遲。測試並驗證來源環境與目標環境之間的網路延遲時間。請務必瞭解複製資料所需的時間。您也需要測試用戶端和外部環境 (例如地端部署環境) 到目標環境的網路延遲時間,並與來源環境比較。
  • 設定和部署。每項資料基礎架構產品都有專屬的設定方法。盤點您為各個元件建立的自訂設定,以及您在各個平台使用的預設版本元件 (例如您使用的 Managed Service for Apache Spark 版本或 Apache Kafka 版本)。請確認這些設定可做為自動化部署程序的一部分進行部署。

    您必須瞭解各個元件的設定方式,因為運算引擎在設定不同時,行為可能會有所差異,尤其是在遷移期間處理層架構發生變更時。舉例來說,如果目標環境執行的是不同版本的 Apache Spark,Spark 架構的某些設定可能會因版本而異。這類設定變更可能會導致輸出、序列化和運算結果發生變化。

    在遷移期間,建議您使用自動化部署作業,確保版本和設定保持不變。如果無法保持版本和設定相同,請務必進行測試,驗證架構計算的資料輸出內容。

  • 叢集大小。如果是自行管理的叢集,例如長期運作的 Managed Service for Apache Spark 叢集,或在 Compute Engine 上執行的 Apache Kafka 叢集,請記下叢集中每個節點的節點和 CPU 數量,以及記憶體。遷移至其他區域可能會導致部署作業使用的處理器變更。因此,建議您在將遷移後的基礎架構部署至正式環境後,對工作負載進行分析和最佳化。如果元件是全代管或無伺服器 (例如 Dataflow),則調整大小會是個別工作的一部分,而非叢集本身的一部分。

在盤點時,您需要評估下列與資料管道相關的項目:

  • 資料來源和接收器。請務必考量每個資料管道用於讀取和寫入資料的來源和接收器。
  • 服務水準協議 (SLA) 和服務水準目標 (SLO)。批次資料管道的服務水準協議和服務等級目標通常以完成時間來衡量,但也可以透過其他方式衡量,例如使用的運算能力。這項業務中繼資料對於推動業務持續性和災難復原計畫程序 (BCDR) 非常重要,例如在可用區或區域故障時,將部分最重要的管道容錯移轉至其他區域。
  • 資料管道依附元件。有些資料管道會依賴其他資料管道產生的資料。將管道拆分為多個遷移衝刺時,請務必考量資料依賴關係。
  • 生成及使用的資料集。針對每個資料管道,找出管道使用的資料集,以及管道產生的資料集。這樣做有助於找出管道之間,以及整體架構中其他系統或元件之間的依附關係。

在盤點時,您需要評估下列項目,重點在於要遷移的資料集:

  • 資料集。找出需要遷移至目標環境的資料集。如果歷來資料已封存且未主動使用,您可能會認為不需要遷移,或應在其他時間遷移。定義遷移程序和遷移衝刺的範圍,可降低遷移風險。
  • 資料大小。如果您打算先壓縮檔案再轉移,請務必記下壓縮前後的檔案大小。資料大小會影響將資料從來源複製到目的地所需的時間和費用。考量這些因素後,您就能選擇停機策略,詳情請參閱本文後續內容。
  • 資料結構:請將要遷移的每個資料集分類,並確認您瞭解資料是結構化、半結構化還是非結構化。瞭解資料結構有助於制定策略,確認資料是否正確且完整遷移。

完成評估

建立與 Kubernetes 叢集和工作負載相關的清單後,請完成「遷移至 Google Cloud:評估及探索工作負載」中評估階段的其他活動。

規劃及奠定基礎

遷移至 Google Cloud 的規劃和建構階段包含下列工作:

  1. 建立資源階層。
  2. 設定 Identity and Access Management (IAM)。
  3. 設定帳單資訊。
  4. 設定網路連線。
  5. 強化安全性。
  6. 設定記錄、監控和警告功能。

如要進一步瞭解各項工作,請參閱「遷移至 Google Cloud:規劃及建構基礎」。

遷移資料和資料管道

以下各節將說明遷移資料和批次資料管道的計畫。並定義資料管道特性的相關概念,這些概念在建立遷移計畫時非常重要。此外,本課程也會討論一些資料測試概念,協助您更有把握地遷移資料。

遷移計畫

在遷移計畫中,您需要預留時間完成資料移轉。您的計畫應考量網路延遲、測試資料完整性及取得任何遷移失敗資料所需的時間,以及任何網路費用。由於資料會從一個區域複製到另一個區域,因此您的網路費用計畫應包含跨區域網路費用。

建議您將不同的管道和資料集分成多個衝刺,並分別遷移。這種做法有助於降低每個遷移衝刺的風險,並在每個衝刺中進行改善。為改善遷移策略並及早發現問題,建議您先遷移較小、非關鍵的工作負載,再遷移較大、較關鍵的工作負載。

遷移計畫的另一個重要部分,是說明運算層中不同資料管道的策略、依附元件和性質。如果資料儲存層和資料運算層建構在同一個系統上,建議您在複製資料時監控系統效能。一般來說,複製大量資料會導致系統產生 I/O 負擔,並降低運算層的效能。舉例來說,如果您執行工作負載,以批次方式從 Kafka 叢集擷取資料,則讀取大量資料的額外 I/O 作業可能會導致來源環境中仍在執行的任何有效資料管道效能降低。在這種情況下,您應使用任何內建或自訂指標監控系統效能。為避免系統負荷過重,建議您在資料複製過程中,規劃停用部分工作負載,或降低複製階段的速度。

由於複製資料會使遷移作業耗時較長,建議您制定應變計畫,因應遷移期間可能發生的任何問題。舉例來說,如果資料移動時間比預期長,或是在新系統上線前完整性測試失敗,請考慮是否要復原,或嘗試修正並重試失敗的操作。雖然復原是較乾淨俐落的解決方案,但多次複製大型資料集可能相當耗時且昂貴。建議您清楚瞭解並預先定義測試,以判斷在哪些情況下應採取哪些行動、應預留多少時間嘗試建立修補程式,以及何時應執行完整復原。

請務必區分用於遷移的工具和指令碼,以及要複製的資料。復原資料移動作業,代表您必須重新複製資料,並覆寫或刪除已複製的資料。復原工具和指令碼的變更可能較容易且成本較低,但變更工具可能會迫使您重新複製資料。舉例來說,如果您在動態產生 Cloud Storage 位置的指令碼中建立新的目標路徑,可能需要重新複製資料。為避免重新複製資料,請建構指令碼,允許繼續執行和冪等性。

資料管道特性

為制定最佳遷移計畫,您必須瞭解不同資料管道的特性。請務必記住,寫入資料的批次管道與讀取資料的批次管道不同:

  • 寫入資料的資料管道:由於這會變更來源系統的狀態,因此在將資料複製到目標環境的同時,可能難以將資料寫入來源環境。請考量寫入資料的管道執行階段,並盡可能在整體程序中優先遷移這些管道。這樣一來,您就能在遷移讀取資料的管道之前,先在目標環境中準備好資料。
  • 讀取資料的資料管道:讀取資料的管道可能對資料更新間隔有不同的要求。如果來源系統停止產生資料的管道,則在資料複製到目標環境時,讀取資料的管道可能可以執行。

資料是狀態,在區域之間複製資料並非不可部分完成的作業。因此,您必須留意資料複製期間的狀態變化。

在遷移計畫中,區分系統也很重要。您的系統可能會有不同的功能性和非功能性需求 (例如,一個系統用於批次,另一個系統用於串流)。因此,您的計畫應包含遷移各個系統的不同策略。請務必指定系統之間的依附元件,並指定在遷移的每個階段中,如何減少各系統的停機時間。

遷移衝刺的典型計畫應包含下列項目:

  • 一般策略。說明在這個衝刺階段處理遷移作業的策略。如需常見策略,請參閱「部署工作負載」。
  • 資料複製和資源部署工具與方法清單。請指定您打算用來將資料複製或資源部署至目標環境的任何工具。這份清單應包含用於複製 Cloud Storage 資產的自訂指令碼、Google Cloud CLI 等標準工具,以及 Google Cloud 工具 (例如遷移服務)。
  • 要部署至目標環境的資源清單。列出所有需要在目標環境中部署的資源。這份清單應包含所有資料基礎架構元件,例如 Cloud Storage bucket、BigQuery 資料集和 Managed Service for Apache Spark 叢集。在某些情況下,早期遷移衝刺會包含部署容量較小的叢集 (例如 Managed Service for Apache Spark 叢集),而後續衝刺則會包含調整大小以因應新工作負載。請務必在計畫中 納入可能需要調整大小的考量
  • 要複製的資料集清單。請務必為每個資料集指定下列資訊:
    • 複製順序 (如適用):對大多數策略來說,作業順序可能很重要。例外狀況是排定維護策略,詳情請參閱本文後續章節。
    • 大小
    • 重要統計資料:圖表重要統計資料 (例如資料列編號),可協助您確認資料集是否已成功複製。
    • 預估複製時間:根據遷移計畫,完成資料移轉所需的時間。
    • 複製方法:請參閱本文稍早所述的工具和方法清單。
    • 驗證測試:明確列出您打算完成的測試,以驗證資料是否已完整複製。
    • 應變計畫:說明驗證測試失敗時的處理方式。應急計畫應指定何時重試並繼續複製或填補缺口,以及何時執行完整復原並重新複製整個資料集。

測試

本節說明幾種常見的測試類型,供您規劃。這些測試可協助您確保資料完整性。此外,這些指標也能協助您確保運算層正常運作,並準備好執行資料管道。

  • 摘要或雜湊比較:為了在複製資料後驗證資料完整性,您需要將原始資料集與目標環境中的新副本進行比較。如果資料在 BigQuery 資料表中結構化,您無法在查詢中彙整兩個資料表來查看所有資料是否存在,因為資料表位於不同區域。考量到費用和延遲時間,BigQuery 不允許查詢跨區域彙整資料。而是必須彙整各個資料集,並比較結果。視資料集結構而定,摘要方法可能有所不同。舉例來說,BigQuery 資料表可能會使用匯總查詢,但 Cloud Storage 上的一組檔案可能會使用 Spark 管道計算每個檔案的雜湊,然後匯總雜湊。
  • Canary 流程:Canary 流程會啟用工作,驗證資料完整性和完備性。在繼續進行資料分析等商業用途之前,建議您執行初期測試流程工作,確保輸入資料符合一組必要條件。您可以將初期測試流程實作為自訂資料管道,或實作為基於 Managed Service for Apache Airflow 的 DAG 流程。Canary 流程可協助您完成特定工作,例如確認特定欄位沒有遺漏值,或驗證特定資料集的資料列數量是否符合預期。

    您也可以使用初期測試流程,建立資料欄或資料子集的摘要或其他匯總。接著,您可以使用初期測試流程,將資料與從資料副本擷取的類似摘要或匯總資料進行比較。

    如需評估以檔案格式儲存及複製的資料準確度,例如 Cloud Storage 上的 Avro 檔案,Canary 流程方法就非常實用。Canary 流程通常不會產生新資料,但如果輸入資料不符合一組規則,則會失敗。

  • 測試環境:完成遷移計畫後,請在測試環境中測試計畫。測試環境應包括將樣本資料或測試資料複製到另一個區域,以估算透過網路複製資料所需的時間。這項測試有助於找出遷移計畫中的任何問題,並確認資料能否成功遷移。測試應包含功能和非功能測試。功能測試會驗證資料是否正確遷移。非功能測試則會驗證遷移作業是否符合效能、安全性和其他非功能需求。計畫中的每個遷移步驟都應包含驗證條件,詳細說明何時可視為完成。

如要驗證資料,可以使用 Data Validation Tool (DVT)。這項工具會執行多層級資料驗證功能 (從資料表層級到資料列層級),並協助您比較來源和目標系統的結果。

測試應驗證運算層的部署作業,並測試複製的資料集。其中一種做法是建構測試管道,計算複製資料集的某些匯總資料,並確保來源資料集和目標資料集相符。如果跨區域複製的檔案並非來源和目標系統之間的精確位元組複製表示法 (例如變更檔案格式或檔案壓縮),則來源和目標資料集之間不相符的情況更為常見。

舉例來說,假設資料集是由以換行符號分隔的 JSON 檔案組成。檔案會儲存在 Cloud Storage bucket,並在 BigQuery 中掛接為外部資料表。如要減少透過網路移動的資料量,您可以在遷移過程中執行 Avro 壓縮,然後再將檔案複製到目標環境。這項轉換作業有許多優點,但也存在一些風險,因為寫入目標環境的檔案並非來源環境中檔案的位元組副本。

如要降低轉換情境帶來的風險,您可以建立 Dataflow 工作,或使用 BigQuery 計算資料集的某些匯總和核對和雜湊 (例如計算每個數值資料欄的總和、平均值或分位數)。如果是字串資料欄,您可以根據字串長度或該字串的雜湊碼計算匯總。您可以為每個資料列,從所有其他資料欄的組合中計算匯總雜湊,以高準確度驗證資料列是否與來源相同。系統會在來源和目標環境中進行這些計算,然後比較結果。在某些情況下 (例如資料集儲存在 BigQuery 中),您無法彙整來源和目標環境中的資料表,因為這些資料表位於不同區域,因此您必須使用可連結至這兩個環境的用戶端。

您可以在 BigQuery 中或以批次工作 (例如在 Dataflow 中) 的形式,實作上述測試方法。接著,您可以執行匯總工作,並比較來源環境和目標環境的計算結果。這種做法有助於確保資料完整且準確。

測試運算層的另一個重要層面,是執行包含各種處理引擎和運算方法的管道。對於 BigQuery 或 Dataflow 等代管運算引擎,測試管道的重要性較低。不過,請務必測試非代管運算引擎 (例如 Managed Service for Apache Spark) 的管道。舉例來說,如果您有 Managed Service for Apache Spark 叢集,可處理多種不同類型的運算,例如 Apache Spark、Apache Hive、Apache Flink 或 Apache MapReduce,則應測試每個執行階段,確保不同的工作負載類型已準備好轉移。

遷移策略

透過適當測試驗證遷移計畫後,即可遷移資料。遷移資料時,您可以針對不同的工作負載採用不同的策略。以下是遷移策略範例,您可以直接使用或根據需求自訂:

  • 排定維護作業:您可規劃轉換時段。如果資料經常變更,但服務等級目標 (SLO) 和服務水準協議 (SLA) 可承受一些停機時間,則適合採用這項策略。這項策略可確保資料在複製時完全過時,因此資料移轉的可靠性很高。詳情請參閱「遷移至 Google Cloud:轉移大型資料集」中的「排定維護作業」一節。
  • 唯讀轉換:排定維護策略的微幅變化,來源系統資料平台允許唯讀資料管道在複製資料時繼續讀取資料。這項策略相當實用,因為部分資料管道可以繼續運作,並為終端系統提供洞察資訊。這項策略的缺點是,由於來源資料不會更新,因此在遷移期間產生的資料會過時。因此,您可能需要在遷移後採用追趕策略,以處理終端系統中的過時資料。
  • 完全啟用:您在特定時間戳記複製資料,而來源環境仍可讀取及寫入資料管道。複製資料並切換至新部署作業後,請執行差異複製階段,取得來源環境中遷移時間戳記之後產生的資料。相較於其他策略,這種方法需要更多協調和考量。因此,遷移計畫必須包含如何處理來源資料的更新和刪除作業。
  • 雙重寫入:複製資料時,資料管道可以在來源和目標環境中執行。如果使用完全主動或唯讀策略,就必須執行差異複製階段來補充資料,而這個策略可避免這個階段。不過,為確保資料管道產生相同的結果,雙重寫入策略在遷移前需要進行更多測試。如果未事先測試,在嘗試整合腦裂情境時就會遇到問題。雙重寫入策略也可能產生在不同區域執行相同工作負載兩次的潛在成本。這項策略有可能在不停機的情況下遷移平台,但需要更多協調工作才能正確執行。

遷移後測試

遷移完成後,您應測試資料完整性,並測試資料管道是否有效。如果您是以衝刺形式完成遷移,則必須在每次衝刺後執行這些測試。您在這個階段執行的測試與整合測試類似:您會測試資料管道的有效性,該管道會以完整的正式版資料做為輸入內容,執行商業用途,然後檢查輸出內容的有效性。您可以在來源環境和目標環境中執行相同的資料管道,比較整合測試的輸出內容與來源環境的輸出內容。只有在資料管道具有確定性,且您能確保兩個環境的輸入內容完全相同時,這類測試才有效。

當資料符合一組預先定義的條件,且來源環境中的資料與目標環境中的資料相同 (或足夠相似) 時,即可確認資料完整。視您在上一節採用的策略而定,資料可能不會一對一對應。因此,您需要預先定義條件,說明用途的資料完整性。舉例來說,如果是時間序列資料,當最新記錄與目前時間戳記的差距不超過五分鐘時,您可能會認為資料已完整。

切換

在目標環境中驗證及測試資料和資料管道後,即可開始轉換階段。進入這個階段後,用戶端可能需要變更設定,才能參照新系統。在某些情況下,設定不得與指向來源系統的設定相同。舉例來說,如果服務需要從 Cloud Storage bucket 讀取資料,用戶端就必須變更要使用哪個 bucket 的設定。Cloud Storage bucket 名稱在全域範圍內不得重複,因此目標環境的 Cloud Storage bucket 會與來源環境不同。

在轉換階段,您應停用來源環境工作負載,並取消排程。建議您保留來源環境資料一段時間,以備需要復原時使用。

遷移前測試階段不如資料管道的正式環境執行作業完整。因此,轉換完成且目標系統開始運作後,您需要監控資料管道的指標、執行階段和語意輸出內容。這項監控作業可協助您找出測試階段可能遺漏的錯誤,確保遷移作業順利完成。

最佳化環境

最佳化是遷移作業的最後階段。在這個階段,您會反覆執行可重複的迴圈,直到環境符合最佳化需求,進而提高環境效率:

  1. 評估目前的環境、團隊和最佳化循環。
  2. 確立最佳化需求和目標。
  3. 最佳化環境和團隊。
  4. 調整最佳化循環。

如要進一步瞭解如何最佳化 Google Cloud 環境,請參閱「遷移至 Google Cloud:最佳化環境」。

準備 Google Cloud 資料和運算資源,以便跨區域遷移

本節概略說明Google Cloud 上的資料和運算資源,以及跨區域遷移的設計原則。

BigQuery

BigQuery 是無伺服器 SQL 資料倉儲,因此您不必部署運算層。如果部分 BigQuery 用戶端指定了處理區域,您需要調整這些用戶端。除此之外,BigQuery 在來源環境和目標環境中都相同。BigQuery 資料儲存在兩種資料表中:

  • BigQuery 資料表:BigQuery 格式的資料表。BigQuery 會為您管理資料檔案。如要進一步瞭解如何遷移 BigQuery 格式的資料,請參閱「管理資料集」。
  • BigQuery 外部資料表:資料儲存在 BigQuery 外部的資料表。資料移動後,您必須在新的目的地重新建立外部資料表。如要進一步瞭解如何遷移外部資料表,請參閱「外部資料表簡介」。

Cloud Storage

Cloud Storage 提供 Storage 移轉服務,可協助您遷移資料。

Dataflow (批次)

Dataflow 是 Google 代管的資料處理引擎。為簡化 Dataflow 遷移作業,並確保工作可部署至任何區域,請將所有輸入和輸出內容做為參數插入工作。建議您將 Cloud Storage 路徑和資料庫連線字串做為引數或參數傳遞,而不是在原始碼中寫入輸入和輸出資料位置。

Managed Service for Apache Spark

Managed Service for Apache Spark 是代管 Apache Hadoop 環境,可執行與 Apache Hadoop 架構相容的任何工作負載。與 Apache Spark、Apache Flink 和 Apache Hive 等架構相容。

您可以透過下列方式使用 Managed Service for Apache Spark,這會影響您跨區域遷移 Managed Service for Apache Spark 環境的方式:

  • 資料儲存在 Cloud Storage 的臨時叢集:叢集是為了執行特定工作而建立,並在工作完成後刪除。這表示 HDFS 層或叢集的任何其他狀態也會一併刪除。如果您的設定符合下列條件,則這類用法的遷移作業會比其他類型的用法更簡單:
    • 工作的輸入和輸出內容不會硬式編碼在原始碼中。而是以引數形式接收輸入和輸出內容。
    • Managed Service for Apache Spark 環境佈建作業會自動執行,包括環境使用的個別架構設定。
  • 具有外部資料的長期叢集:您有一或多個叢集,但這些叢集是長期叢集,即使叢集上沒有執行中的工作,叢集仍會保持運作。資料和運算作業是分開的,因為資料會儲存在叢集外部,例如 Cloud Storage 或 BigQuery 等Google Cloud 解決方案。如果叢集上一直有工作在執行,這個模型通常很有效,因此不需要像在暫時性模型中那樣拆除及設定叢集。由於資料和運算作業是分開的,因此遷移作業與臨時模型的遷移作業類似。
  • 叢集內有資料的長期叢集:叢集為長期叢集,但叢集也會在叢集內保留狀態、資料或兩者,最常見的是 HDFS 上的資料。這類用途會使遷移作業變得複雜,因為資料和運算並未分開;如果只遷移其中一項,很有可能造成不一致。在這種情況下,建議您在遷移前將資料和狀態移出叢集,將兩者分開。如果無法這麼做,建議您採用排定維護策略,降低資料不一致的風險。

由於可能使用的架構有很多,且這些架構的版本和設定也很多,因此您必須在執行遷移計畫前進行徹底測試。

Managed Airflow

Managed Airflow 是 Google Cloud的 Apache Airflow 代管版本,用於自動化調度管理及排定流程。DAG、設定和記錄檔是在 Cloud Storage bucket 中管理,應與 Managed Airflow 部署作業一併遷移。如要遷移 Managed Airflow 部署作業的狀態,您可以儲存及載入環境快照。

如果您已將任何自訂外掛程式部署至 Managed Airflow 執行個體,建議您採用基礎架構即程式碼方法,以全自動化的方式重新建立環境。

Managed Airflow 不會管理資料,但會啟用其他資料處理架構和平台。因此,Managed Airflow 的遷移作業可以完全與資料隔離。Managed Airflow 也不會處理資料,因此部署作業不必與資料位於相同區域。因此,您可以在目標環境中建立 Managed Airflow 部署作業,並繼續在來源環境中執行管道。在某些情況下,這麼做有助於在整個平台遷移期間,在不同區域中操作不同的管道。

Cloud Data Fusion

Cloud Data Fusion 是視覺化整合工具,可讓您使用視覺化編輯器建構資料管道。Cloud Data Fusion 是以開放原始碼專案 CDAP 為基礎。與 Managed Airflow 相同,Cloud Data Fusion 本身不管理資料,但會啟用其他資料處理架構和平台。Cloud Data Fusion 管道應從來源環境匯出,並透過下列其中一種方式匯入目標環境:

視需要遷移的流程數量而定,您可能會偏好其中一種方法。使用 CDAP API 建構遷移指令碼可能較為困難,且需要更多軟體工程技能。不過,如果流程數量很多,或流程變更頻率較高,自動化程序可能是最佳做法。

後續步驟

貢獻者

作者:Eyal Ben Ivri | 雲端解決方案架構師

其他貢獻者:Marco Ferrari | 雲端解決方案架構師