本文件屬於Google Cloud Well-Architected Framework：AI 和機器學習觀點，概述在 Google Cloud上建構及運作穩健 AI 和機器學習系統的原則和建議。這些建議可協助您設定觀測能力、自動化和擴充性等基本要素。本文中的建議符合 Well-Architected Framework 的卓越營運支柱。
AI 和機器學習領域的卓越營運能力，是指能夠順暢部署、管理及控管 AI 和機器學習系統與管道，協助推動組織的策略目標。優質營運可讓您有效率地因應變化、降低營運複雜度，並確保營運符合業務目標。
本文中的建議對應至下列核心原則：
奠定穩固的模型開發基礎
如要開發及部署可靠且可擴充的 AI 系統，協助達成業務目標，就必須奠定穩固的模型開發基礎。這類基礎可確保工作流程一致、自動執行重要步驟以減少錯誤，並確保模型能依需求擴充。穩固的模型開發基礎可確保機器學習系統能順利更新、改良及重新訓練。此外，這個基礎架構也能協助您根據業務需求調整模型效能、快速部署具影響力的 AI 解決方案，並因應不斷變化的需求。
如要為開發 AI 模型奠定穩固基礎，請參考下列建議。
定義問題和所需結果
開始任何 AI 或機器學習專案前，請務必清楚瞭解要解決的業務問題和所需成果。首先，請列出業務目標，並將目標細分為可評估的主要成效指標 (KPI)。如要在 Jupyter 筆記本環境中整理及記錄問題定義和假設，請使用 Gemini Enterprise Agent Platform Workbench 等工具。如要為程式碼和文件導入版本管理，並記錄專案、目標和假設，請使用 Git 等工具。如要開發及管理生成式 AI 應用程式的提示，可以使用 Gemini Enterprise Agent Platform 的 Agent Studio。
收集並預先處理必要資料
如要實作資料預先處理和轉換，您可以使用 Dataflow (適用於 Apache Beam)、Managed Service for Apache Spark (適用於 Apache Spark)，或 BigQuery (如果適合使用 SQL 流程)。如要驗證結構定義並偵測異常狀況，請使用 TensorFlow Data Validation (TFDV)，並在適用情況下，利用 BigQuery 的自動資料品質掃描功能。
對生成式 AI 而言，資料品質包括準確性、關聯性、多樣性，以及是否符合所需輸出特徵。如果實際資料不足或不平衡，可以生成合成資料，提高模型的穩定性和一般化能力。如要根據現有模式建立合成資料集，或擴增訓練資料來提升模型效能，請使用 BigQuery DataFrames。合成資料對生成式 AI 尤其重要，因為這類資料有助於提升提示的多樣性，以及模型的整體穩定性。建構資料集來微調生成式 AI 模型時，建議使用 Gemini Enterprise Agent Platform 的合成資料生成功能。
如果是微調或人類回饋增強學習 (RLHF) 等生成式 AI 任務，請確保標籤能準確反映生成輸出的品質、關聯性和安全性。
選取合適的機器學習方法
設計模型和參數時，請考量模型的複雜度和運算需求。視工作 (例如分類、迴歸或生成) 而定，建議使用 Agent Platform 自訂訓練建構自訂模型，或使用 AutoML 處理較簡單的機器學習工作。如果是常見應用，您也可以透過 Model Garden 存取預先訓練模型。您可以嘗試各種先進的基礎模型，用於生成文字、圖片和程式碼等用途。
您可以微調預先訓練的基礎模型，針對特定用途達到最佳效能。如需高效能自訂訓練，請設定 Cloud TPU 或 GPU 資源，加速訓練及推論深度學習模型，例如大型語言模型 (LLM) 和擴散模型。
設定程式碼、模型和資料的版本管控
如要有效管理及部署程式碼版本，請使用 GitHub 或 GitLab 等工具。這些工具提供強大的協作功能、分支策略，並與 CI/CD 管道整合，確保開發流程順暢。
使用適當的解決方案管理機器學習系統的各項構件，例如：
- 對於容器映像檔和管道元件等程式碼構件，Artifact Registry 提供可擴充的儲存空間解決方案，有助於提升安全性。Artifact Registry 也提供版本管理功能，並可與 Cloud Build 和 Cloud Deploy 整合。
- 如要管理資料構件 (例如用於訓練和評估的資料集)，請使用 BigQuery 或 Cloud Storage 等解決方案進行儲存和版本管理。
- 如要儲存中繼資料和資料位置指標，請使用版本管控系統或獨立的 Data Catalog。
如要維持特徵資料的一致性和版本管理，請使用 Agent Platform 特徵儲存庫。如要追蹤及管理模型構件 (包括二進位檔和中繼資料)，請使用 Gemini Enterprise Agent Platform 的 Model Registry，順暢儲存、整理及部署模型版本。
為確保模型可靠性，請在 Gemini Enterprise Agent Platform 實作模型監控功能。偵測資料偏移、追蹤成效，並找出正式環境中的異常狀況。如果是生成式 AI 系統，請監控輸出內容品質和安全法規遵循的變化。
自動化模型開發生命週期
自動化功能可協助您簡化 AI 和機器學習生命週期的每個階段。自動化可減少人工作業並標準化流程，進而提高作業效率並降低錯誤風險。自動化工作流程可加快疊代速度、在不同環境中一致部署，並提供更可靠的結果，讓系統能順暢擴充及調整。
如要自動化 AI 和機器學習系統的開發生命週期，請參考下列建議。
使用代管管道自動化調度管理系統
使用 Gemini Enterprise Agent Platform Pipelines，自動執行機器學習生命週期的每個步驟，包括資料準備、模型訓練、評估和部署。如要加快部署速度並提升專案一致性，請排定管道執行作業，自動處理週期性工作，並透過執行指標監控工作流程，以及開發可重複使用的管道範本，建立標準化工作流程。這些功能也適用於生成式 AI 模型，這類模型通常需要提示工程、回覆篩選和human-in-the-loop評估等特殊步驟。如果是生成式 AI，Agent Platform Pipelines 可自動執行這些步驟，包括根據品質指標和安全指南評估生成輸出內容。為提升提示多樣性和模型穩定性，自動化工作流程也可納入資料擴增技術。
實作 CI/CD 管道
如要自動建構、測試及部署機器學習模型，請使用 Cloud Build。為應用程式程式碼執行測試套件時，這項服務特別有效，可確保基礎架構、依附元件和模型封裝符合部署需求。
機器學習系統通常需要執行程式碼測試以外的額外步驟。舉例來說，您必須在不同負載下對模型進行壓力測試、執行大量評估來評估模型在不同資料集中的效能，並在重新訓練前驗證資料完整性。如要模擬實際工作負載進行壓力測試，可以使用 Locust、Grafana k6 或 Apache JMeter 等工具。如要找出瓶頸，請透過 Cloud Monitoring 監控延遲時間、錯誤率和資源使用率等重要指標。如果是生成式 AI，測試也必須包含針對生成內容類型的評估，例如文字品質、圖片擬真度或程式碼功能。這類評估可能涉及語言模型的困惑度等自動化指標，或針對創意和安全性等更細微的層面，進行人工介入迴路評估。
如要執行測試和評估工作，您可以將 Cloud Build 與其他 Google Cloud 服務整合。例如，您可以使用 Agent Platform Pipelines 自動評估模型、使用 BigQuery 進行大規模資料分析，以及使用 Dataflow 管道驗證功能驗證特徵。
您可以使用 Agent Platform 進行持續訓練，進一步強化 CI/CD 管道，自動使用新資料重新訓練模型。具體來說，為了確保生成式 AI 的輸出內容切合需求且多元，重新訓練可能涉及使用新的訓練資料或提示，自動更新模型。您可以使用 Agent Platform Model Garden 選取可微調的最新基礎模型。這項做法可確保模型保持最新狀態，並根據不斷變化的業務需求進行最佳化。
安全且受控地發布模型
為盡可能降低風險並確保部署作業可靠，請採用模型發布方法，及早偵測問題、驗證效能，並在必要時快速復原。
如要將機器學習模型和應用程式封裝成容器映像檔並部署，請使用 Cloud Deploy。您可以將模型部署至 Agent Platform 端點。
使用初期測試版等策略，控管 AI 應用程式和系統的發布。如果應用程式使用 Gemini 等代管模型，建議您先逐步向部分使用者發布新版本，再全面部署。這種做法可讓您及早發現潛在問題，尤其是在使用輸出內容可能不盡相同的生成式 AI 模型時。
如要發布微調模型，您可以使用 Cloud Deploy 管理模型版本的部署作業，並採用初期測試版策略，將風險降至最低。對於代管模型和微調模型，控管發布作業的目標是在向所有使用者發布應用程式和模型之前，先向有限的目標對象測試變更。
如要進行更全面的驗證，請使用 Gemini Enterprise Agent Platform 的實驗功能比較新舊模型，並透過 Agent Platform 模型評估功能評估模型效能。特別是生成式 AI，請定義符合預期用途和潛在風險的評估指標。您可以使用 Agent Platform 的 Gen AI Evaluation Service，評估有害性、連貫性、事實準確度，以及是否遵循安全指南等指標。
為確保部署作業穩定，您需要制定完善的回溯計畫。如果是傳統機器學習系統，請使用 Agent Platform 的 Model Monitoring 偵測資料偏移和效能降低情形。如果是生成式 AI 模型，您可以使用 Agent Platform 模型評估功能，搭配 Cloud Logging 和 Monitoring，追蹤相關指標，並設定輸出品質變化或有害內容出現時的快訊。根據生成式 AI 專屬指標設定警告，在必要時觸發復原程序。如要追蹤模型歷程並還原至最新的穩定版本，請使用 Model Registry 的深入分析。
導入觀測能力
AI 和機器學習系統的行為可能會隨著時間而改變，原因包括資料或環境變化，以及模型更新。由於這種動態特性，觀測能力對於偵測效能問題、偏誤或非預期行為至關重要。生成式 AI 模型尤其如此，因為輸出內容可能會有很大的差異，且相當主觀。觀測能力可讓您主動處理非預期行為，確保 AI 和機器學習系統維持可靠、準確且公平。
如要為 AI 和機器學習系統導入觀測能力，請參考下列建議。
持續監控成效
部署模型後，請使用指標和成功條件持續評估模型。
您可以使用 Agent Platform 的 Model Monitoring，主動追蹤模型效能、找出訓練/應用偏差和預測偏移，並接收快訊，觸發必要的模型重新訓練或其他介入措施。如要有效監控訓練與應用偏差，請建構代表理想資料分布的黃金資料集，並使用 TFDV 分析訓練資料，建立基準結構定義。
在 Agent Platform 設定模型監控功能，比較輸入資料與黃金資料集的分布情形，自動偵測偏斜。如果是傳統機器學習模型，請著重於準確率、精確度、喚回度、F1 分數、AUC-ROC 和對數損失等指標。在 Agent Platform 的模型監控功能中，定義自訂警告門檻。如果是生成式 AI，請使用 Gen AI Evaluation Service，持續監控正式環境中的模型輸出內容。您也可以啟用自動評估指標，評估回覆品質、安全性、指令遵循程度、基準、寫作風格和詳細程度。如要評估生成內容的品質、關聯性、安全性，以及是否符合規範，可以採用human-in-the-loop評估。
建立意見回饋循環，在 Agent Platform 的模型監控功能觸發快訊時，使用 Agent Platform Pipelines 自動重新訓練模型。並運用這些洞察資訊持續改良模型。
在開發期間評估模型
部署 LLM 和其他生成式 AI 模型前，請在開發階段徹底評估。使用 Agent Platform 模型評估功能，可達到最佳效能並降低風險。使用 Agent Platform 快速評估，讓 Google Cloud 根據您提供的資料集和提示詞，自動執行評估。
您也可以定義及整合特定用途的自訂指標。如要取得生成內容的意見回饋，請使用 Agent Platform 模型評估，整合人工介入迴路工作流程。
使用對抗測試找出安全漏洞和潛在故障模式。如要找出並減少潛在偏誤，請使用子群組分析和反事實生成等技術。請根據開發階段完成的評估作業，收集深入分析資料，定義實際工作環境中的模型監控策略。請按照本文「持續監控成效」一節所述，準備持續監控解決方案。
監控可用性
如要掌握已部署端點和基礎架構的健康狀態和效能，請使用 Monitoring。針對 Agent Platform 端點，追蹤要求率、錯誤率、延遲時間和資源使用率等重要指標，並設定異常狀況快訊。詳情請參閱「Agent Platform 的監控指標」。
監控基礎架構的健康狀態，包括 Compute Engine 執行個體、Google Kubernetes Engine (GKE) 叢集、Cloud TPU 和 GPU。從 Active Assist 取得自動最佳化建議。如果您使用自動調度資源功能，請監控調度資源行為，確保自動調度資源功能會適當因應流量模式的變化。
將 Cloud Deploy 與 Monitoring 整合，即可追蹤模型部署作業的狀態，包括初期測試版和復原作業。此外，您也可以使用 Security Command Center 監控潛在的安全威脅和漏洞。
針對業務專屬門檻設定自訂快訊
為及時找出並修正異常狀況和問題，請根據業務目標設定自訂快訊門檻。以下列舉可用於實作自訂快訊系統的 Google Cloud 產品：
- Logging：收集、儲存及分析 AI 和機器學習系統所有元件的記錄。
- Monitoring：建立自訂資訊主頁，以視覺化方式呈現重要指標和趨勢，並根據需求定義自訂指標。設定快訊，接收重大問題通知，並將快訊與 PagerDuty 或 Slack 等事件管理工具整合。
- Error Reporting：自動擷取及分析錯誤和例外狀況。
- Cloud Trace：分析分散式系統的效能，找出瓶頸。追蹤功能特別適合用來瞭解 AI 和機器學習管道中不同元件之間的延遲時間。
- Cloud Profiler：持續分析正式環境中的程式碼效能，並找出 CPU 或記憶體用量的效能瓶頸。
建立卓越營運文化
將重心從單純建構模型，轉移到打造永續、可靠且具影響力的 AI 解決方案。團隊能持續學習、創新及改進，進而加快開發週期、減少錯誤並提高效率。只要優先考量自動化、標準化和道德考量，就能確保 AI 和機器學習計畫持續創造價值、降低風險，並促進負責任的 AI 開發。
如要為 AI 和機器學習系統建立卓越營運文化，請參考下列建議。
推動自動化和標準化
為強調效率和一致性，請在 AI 和機器學習生命週期的每個階段，融入自動化和標準化做法。自動化功能可減少人為錯誤，讓團隊專心創新。標準化可確保流程在不同團隊和專案中可重複執行及擴充。
優先著重持續學習與改進
營造以持續學習和實驗為核心原則的環境。鼓勵團隊隨時掌握 AI 和機器學習的最新進展，並提供從過往專案中學習的機會。培養好奇心和適應力，有助於推動創新，並確保團隊有能力因應新挑戰。
培養問責和當責精神
明確定義角色、職責和成功指標，建立信任並達成共識。讓團隊在這些界限內做出明智決策，並建立透明的進度評估方式。歸屬感能激勵團隊，確保大家共同承擔結果。
融入 AI 倫理和安全考量
在開發的每個階段，都應優先考量倫理問題。鼓勵團隊審慎思考 AI 解決方案的影響，並促進對公平性、偏誤和社會影響的討論。明確的原則和問責機制可確保 AI 系統符合組織價值觀，並提升信任度。
考量擴充性
為因應不斷增加的資料量和使用者需求，並充分發揮 AI 投資效益，AI 和機器學習系統必須具備擴充能力。系統必須適應並發揮最佳效能，避免效能瓶頸影響成效。設計擴充性時，請確保 AI 基礎架構能因應成長，並維持回應能力。使用可擴充的基礎架構、規劃容量，並採用水平擴充和代管服務等策略。
如要設計可擴充的 AI 和機器學習系統，請參考下列建議。
規劃容量和配額
評估未來成長，並據此規劃基礎架構容量和資源配額。與業務利害關係人合作，瞭解預計成長幅度，並據此定義基礎架構需求。
使用 Monitoring 分析歷來資源使用率、找出趨勢，並預測未來需求。定期執行負載測試，模擬工作負載並找出瓶頸。
請熟悉您使用的服務 (例如 Compute Engine、Agent Platform 和 Cloud Storage) 的Google Cloud 配額。透過 Google Cloud 控制台主動要求提高配額，並提供預測和負載測試資料，說明提高配額的理由。監控配額用量，並設定快訊，在用量接近配額限制時收到通知。
如要根據需求最佳化資源用量，請將資源調整為最適規模、使用 Spot VM 處理容錯批次工作負載，並實作自動調度資源功能。
為流量高峰事件做好準備
確保系統能處理尖峰活動期間突然增加的流量或工作負載。記錄尖峰活動策略，並定期演練，測試系統處理增加負載的能力。
如要在需求激增時積極擴充資源，請在 Compute Engine 和 GKE 中設定自動調度資源政策。如果尖峰模式可預測，建議使用預測式自動調度資源。如要根據應用程式專屬信號觸發自動調度資源，請使用 Monitoring 中的自訂指標。
使用 Cloud Load Balancing，將流量分配給多個應用程式執行個體。請根據應用程式需求，選擇合適的負載平衡器類型。如果使用者分布在不同地理位置，您可以使用全域負載平衡，將流量轉送至最近的可用執行個體。如果是複雜的微服務架構，建議使用 Cloud Service Mesh。
使用 Cloud CDN，在 Google 網路邊緣快取靜態內容。
如要快取經常存取的資料，請使用下列其中一項全代管記憶體內資料儲存庫服務：
使用 Pub/Sub 傳送即時訊息，並使用 Cloud Tasks 執行非同步工作，藉此分離系統元件。
擴充應用程式以用於正式環境
為確保正式環境中的服務可擴充，您可以使用 Agent Platform 分散式訓練和 Gemini Enterprise Agent Platform 推論等代管服務。將模型部署至端點或要求批次預測時，您可以使用 Agent Platform Inference 設定預測節點的機器類型。在某些設定中，您可以新增 GPU。選擇合適的機器類型和加速器，盡可能縮短延遲時間、提高處理量並降低成本。
如要跨分散式運算資源，擴充複雜的 AI 和 Python 應用程式及自訂工作負載，可以使用 Gemini Enterprise Agent Platform 的 Ray。這項功能有助於提升效能，並與Google Cloud 服務完美整合。Ray on Gemini Enterprise Agent Platform 可處理叢集管理工具、工作排程和資料移轉，簡化分散式運算。這項服務與其他 Agent Platform 服務整合，例如訓練、預測和管道。Ray 提供容錯和自動調度資源功能，可協助您根據工作負載變化調整基礎架構。提供統一的架構，可用於分散式訓練、超參數調整、強化學習和模型提供。使用 Ray 搭配 Dataflow 或 Managed Service for Apache Spark 進行分散式資料預先處理、加速模型訓練、可擴充的超參數調整、強化學習，以及平行化批次預測。
貢獻者
作者：
- Charlotte Gistelinck 博士 | 合作夥伴工程師
- Sannya Dang | AI 解決方案架構師
- Filipe Gracio 博士 | AI/機器學習專家客戶工程師
其他貢獻者：
- Gary Harmson | 首席架構師
- Kumar Dhanagopal | 跨產品解決方案開發人員
- Marwan Al Shawi | 合作夥伴客戶工程師
- Ryan Cox | 首席架構師
- Stef Ruinard | 生成式 AI 現場解決方案架構師