生成式 AI 用途的 Pub/Sub 控制項

本文提供 Pub/Sub 最佳做法和指南，適用於在 Google Cloud上執行生成式 AI 工作負載的情況。您可以搭配 Pub/Sub 使用 Vertex AI，在機器學習工作流程中實現有效率的通訊和自動化。

以下是搭配使用 Pub/Sub 與 Vertex AI 的應用實例：

  • 非同步事件導向架構：Pub/Sub 支援事件導向通訊，讓您根據發布至 Pub/Sub 主題的事件，觸發 Vertex AI Pipelines。這些事件可能包括新資料和模型更新。
  • 擴充性和可靠性：Pub/Sub 具有高度擴充性，可處理大量事件，效能不受影響。處理大型資料集或同時執行多個機器學習工作時，擴充性至關重要。Pub/Sub 也提供可靠的訊息傳遞和排序功能 (在主題內)，即使在高工作負載下，也能確保處理作業的一致性。
  • 彈性：您可以透過 Pub/Sub 將 Vertex AI 與其他服務 (例如 Cloud Run functions 或 Dataflow) 整合，建立具備彈性的動態 ML 管道。
  • 即時監控和快訊：您可以透過 Pub/Sub 訂閱特定主題，即時接收 Vertex AI Pipelines 中的事件通知。即時監控功能可協助您監控模型訓練進度、資料預先處理結果和預測輸出內容。您可以根據特定事件設定快訊，例如工作失敗，或預測期間偵測到異常狀況。快訊可讓您主動介入並及時排解問題。

舉例來說，Pub/Sub 可用於下列活動：

  • Cloud Storage bucket 中有新資料時，觸發模型訓練。
  • 將已部署模型的即時預測結果傳送至下游系統，以便進一步處理。
  • 監控模型成效指標的變化並採取相應措施。
  • 針對預測失敗或資料品質問題等重大事件觸發快訊。

視生成式 AI 的用途而定，我們建議您採取額外控管措施。這些控制措施包括資料保留控制項，以及其他以政策為依據的控制項，這些控制項會根據您的企業政策運作。

使用 CMEK 保護 Pub/Sub 訊息

Google 控制項 ID PS-CO-6.1
類別 建議
說明
為 Pub/Sub 啟用客戶自行管理的加密金鑰 (CMEK) 後，您就能進一步控管 Pub/Sub 用於保護訊息的加密金鑰。在應用程式層，Pub/Sub 會在收到訊息時加密個別訊息。Pub/Sub 會先使用為主題產生的最新資料加密金鑰 (DEK) 加密訊息，再將訊息發布至訂閱項目。Pub/Sub 會在訊息傳送給訂閱端不久前解密訊息。Pub/Sub 會使用 Google Cloud 服務帳戶存取 Cloud Key Management Service。Pub/Sub 是在內部為每個專案維護服務帳戶，因此這些帳戶不會顯示在服務帳戶清單中。
適用產品
  • Cloud KMS
  • Pub/Sub
相關的 NIST-800-53 控制項
  • SC-12
  • SC-13
相關的 CRI 設定檔控制項
  • PR.DS-1.1
  • PR.DS-1.2
  • PR.DS-2.1
  • PR.DS-2.2
  • PR.DS-5.1
相關資訊

選用的 Pub/Sub 控制項

這些控制項為選用項目。如果這些控制項適用於您的特定用途，不妨強制執行。

設定訊息儲存政策

Google 控制項 ID PS-CO-4.1
類別 選用
說明
如果您發布訊息至全球性 Pub/Sub 端點，Pub/Sub 會自動將訊息儲存在最靠近的 Google Cloud 區域。如要控管訊息會儲存到哪些區域，請為主題設定訊息儲存政策。如要為主題設定訊息儲存政策，請使用下列其中一種方法：
  • 使用「資源位置限制」(gcp.resourceLocations) 組織政策限制，設定訊息儲存政策。
  • 建立主題時，請設定訊息儲存政策。例如：

    gcloud pubsub topics create TOPIC_ID \--message-storage-policy-allowed-regions=REGION1, REGION2
適用產品
  • 組織政策服務
  • Pub/Sub
相關的 NIST-800-53 控制項
  • AC-3
  • AC-17
  • AC-20
相關的 CRI 設定檔控制項
  • PR.AC-3.1
  • PR.AC-3.2
  • PR.AC-4.1
  • PR.AC-4.2
  • PR.AC-4.3
  • PR.AC-6.1
  • PR.PT-3.1
  • PR.PT-4.1
相關資訊

後續步驟