執行資料管道時,維持安全環境和符合法規遵循需求是相當重要的挑戰。Dataflow 會自動強化及保護執行工作者的虛擬機器 (VM),藉此解決上述問題,協助您保護資料並降低安全風險,不必手動操作。
Dataflow worker VM 作業系統
Dataflow worker VM 採用 Google 維護的強化版 Container-Optimized OS。Container-Optimized OS 是由 Google 設計及最佳化,可在Google Cloud上安全且有效率地執行容器化工作負載。
Dataflow 會使用 Container-Optimized OS 做為 Dataflow 工作站 VM 的基礎,因為這項作業系統具有下列安全優勢:
- 盡量減少攻擊面:Container-Optimized OS 包含執行容器所需的最少套件。與一般用途的作業系統相比,這可減少潛在的攻擊面。
- 以安全性為核心的設計:Container-Optimized OS 的建構原則以安全性為核心。這個作業系統具有唯讀檔案系統 (必要的可寫入路徑除外)、鎖定防火牆和其他預設安全設定。
- 定期安全性更新:Google 安全團隊會持續監控安全漏洞,並及時提供 Container-Optimized OS 映像檔的修補程式和更新。Dataflow 會將這些更新整合至 VM 映像檔。
- 代管環境:Dataflow 是全代管服務,因此會管理整個 worker VM OS 的生命週期。這有助於確保所有工作站 VM 的一致性、可靠性,以及安全最佳做法的應用。
Dataflow VM 映像檔強化和安全措施
除了 Container-Optimized OS 的固有安全性優勢外,Google 還對 Dataflow worker VM 映像檔套用額外的強化和安全做法:
- 安全漏洞掃描:Google 會定期使用內部安全漏洞管理系統,掃描 Dataflow 擁有的 VM 映像檔和容器映像檔,找出已知安全漏洞。這些系統已整合業界標準的 CVE 資訊。
- 及時修補:Google 會根據嚴重程度,按照定義的服務水準目標 (SLO) 和 FedRAMP 等法規遵循計畫,對已識別的安全性弱點進行分類並套用修補程式。
- 法規遵循:Dataflow 已取得 FedRAMP High 認證,證明符合美國聯邦政府規定的嚴格安全標準和做法。包括安全漏洞管理和系統強化方面的控管措施。詳情請參閱Google Cloud 法規遵循產品。
- 安全性公告:如果發生重大安全漏洞,需要客戶採取行動 (例如更新長期執行的串流管道),Dataflow 會發布安全性公告。
為什麼不支援自訂 OS 映像檔
Dataflow 是代管服務,可簡化基礎架構的複雜性。包括作業系統。這種做法有助於 Google 提供經過高度最佳化、安全可靠的服務。基於下列原因,您無法在 Dataflow 工作站上使用自訂 OS 映像檔 (例如內部強化的 Debian):
- 代管服務完整性:使用自訂映像檔可能會降低 Dataflow 服務的穩定性和效能,同時引發安全風險。
- 直接整合:Dataflow 元件直接整合至特定 Container-Optimized OS 環境,包括網路、代理程式和容器執行階段。
- 作業複雜度:管理及支援各種自訂 OS 映像檔會帶來龐大的作業負擔和風險。
- 安全責任:使用自訂映像檔會導致作業系統層級的安全和修補責任界線模糊不清。
如要進一步瞭解安全責任的劃分方式,請參閱 Dataflow 共責式安全模型。
後續步驟
- 瞭解 Dataflow 安全性和權限。
- 進一步瞭解 Container-Optimized OS 安全性。
- 查看 Dataflow 安全性公告。