這份文件說明分析混合式雲端與多雲端模式的目標,是善用交易和分析工作負載之間的分組。
在企業系統中,大多數的工作負載可以分成下列各類型:
- 「交易」工作負載,包括互動式應用程式,例如銷售、財務處理、企業資源規劃或通訊。
- 「分析」工作負載,包括轉換、分析、修正或以視覺化方式呈現資料,來輔助決策程序。
分析系統可透過查詢 API 或存取資料庫,從交易系統取得資料。在大多數企業中,分析與交易系統往往是彼此隔開並以鬆散的方式組合在一起。「分析混合和多雲端」模式的目標是在兩種不同的運算環境中執行交易和分析工作負載,以善加利用這個現有的分組。系統會先從私人運算環境中執行的工作負載擷取原始資料,然後將原始資料載入至Google Cloud以用於分析處理。接著,某些結果可能會傳回交易系統中。
下圖顯示潛在的資料管道,說明可能的架構概念。每個路徑/箭頭代表可能的資料移動和轉換管道選項,可根據 ETL 或 ELT,視可用的資料品質和目標用途而定。
如要將資料移至 Google Cloud 並從中發掘價值,請使用資料移動服務,這是一整套資料擷取、整合和複製服務。
如上圖所示,與地端環境和其他雲端環境建立連線 Google Cloud ,可啟用各種資料分析用途,例如資料串流和資料庫備份。如要為混合雲和多雲端分析模式提供基礎傳輸功能,並傳輸大量資料,Cloud Interconnect 和 Cross-Cloud Interconnect 可提供專屬連線,連至地端和其他雲端服務供應商。
優點
以下是在雲端中執行分析工作負載的多項重要優點:
- 輸入流量:可免費將資料從私人運算環境或其他雲端移動到Google Cloud。
- 分析工作負載通常需要處理大量資料,而且可能暴增,因此尤其適合部署在公用雲端環境中。透過動態調度運算資源,即可迅速處理大型資料集,同時避免預先投資或超額佈建運算設備的必要。
- Google Cloud 提供一套豐富的服務,讓資料在整個生命週期中都受到妥善管理,包括一開始的取得,經過處理與分析,一直到最終的視覺化。
- 資料移動服務 Google Cloud 提供全套產品,可透過不同方式順暢地移動、整合及轉換資料。
- Cloud Storage 非常適合建構資料湖泊。
Google Cloud 可協助您翻新及最佳化資料平台,打破資料孤島。使用資料湖倉有助於統一不同儲存格式。此外,資料湖倉還能提供彈性、擴充性和靈活性,確保資料能為貴公司創造價值,而非效率低落。詳情請參閱 BigLake。
BigQuery Omni 可提供運算能力,在 AWS 或 Azure 的儲存空間上執行本機運算作業。您也可以透過這項服務,查詢儲存在 Amazon Simple Storage Service (Amazon S3) 或 Azure Blob 儲存體中的自有資料。這項多雲端分析功能可協助資料團隊打破資料孤島,如要進一步瞭解如何查詢儲存在 BigQuery 外部的資料,請參閱「外部資料來源簡介」一文。
最佳做法
如要實作分析混合式雲端和多雲端架構模式,請考慮採用下列一般最佳做法:
- 使用轉換網路模式啟用資料擷取。如果需要將分析結果傳回交易系統,您可以結合轉換和閘道式輸出模式。
- 使用 Pub/Sub 佇列或 Cloud Storage 值區,將資料從私人運算環境中執行的交易系統轉移至 Google Cloud 。那麼這些佇列或值區就可以做為資料處理管道和工作負載的來源。
- 如要部署 ETL 和 ELT 資料管道,請視特定用途需求使用 Cloud Data Fusion 或 Dataflow。兩者都是全代管的雲端優先資料處理服務,可用於建構及管理資料管道。
- 如要找出、分類及保護寶貴的資料資產,建議使用 Google Cloud Sensitive Data Protection 功能,例如去識別化技術。這些技術可讓您使用隨機產生或預先決定的金鑰,遮蓋、加密及取代個人識別資訊 (PII) 等機密資料,前提是適用且符合規定。
當您執行從私人運算環境到 Google Cloud的初始資料移轉作業時,請選擇最適合您的資料集大小和可用頻寬的移轉方法。詳情請參閱「遷移至 Google Cloud:移動大型資料集」。
如果需要長期在 Google Cloud 和其他雲端之間傳輸或交換大量資料,建議評估是否使用 Google Cloud Cross-Cloud Interconnect,在Google Cloud 和其他雲端服務供應商之間建立高頻寬專屬連線 (僅適用於特定地點)。
如果連線層需要加密,您可以根據所選的混合式連線解決方案,選擇各種選項。這些選項包括 VPN 通道、採用 Cloud Interconnect 的高可用性 VPN,以及 Cross-Cloud Interconnect 的 MACsec。
在環境間使用一致的工具和程序。在分析混合情境中,雖然這個做法並非必要條件,但可協助提高作業效率。