本文檔屬於Google Cloud Well-Architected Framework：AI 和機器學習觀點，概述了在整個機器學習生命週期中，最佳化 AI 系統成本的原則和建議。只要主動採取明智的成本管理方法，貴組織就能充分發揮 AI 和機器學習系統的潛力，同時維持財務紀律。本文中的建議符合 Well-Architected Framework 的成本最佳化要素。
AI 和機器學習系統可協助您從資料中發掘寶貴的洞察資訊和預測功能。例如，您可以減少內部流程的阻礙、改善使用者體驗，以及取得更深入的客戶洞察資料。雲端提供大量資源，可快速創造價值，不需為 AI 和機器學習工作負載投入大量前期投資。為盡可能提高業務價值，並根據業務目標調整支出，您必須瞭解成本動因、主動最佳化成本、設定支出控管機制，並採用 FinOps 做法。
本文中的建議對應至下列核心原則：
定義及評估成本和報酬
如要在 Google Cloud中有效管理 AI 和機器學習成本，您必須定義及評估雲端資源成本，以及 AI 和機器學習計畫的業務價值。為協助您精細追蹤支出， Google Cloud 提供全方位的帳單和成本管理工具，例如：
- Cloud Billing 帳單報表和表格
- 數據分析資訊主頁、預算和快訊
- Cloud Monitoring
- Cloud Logging
如要做出明智的資源分配和最佳化決策，請參考下列建議。
確立業務目標和 KPI
根據業務目標和主要成效指標 (KPI)，在 AI 和機器學習專案中選擇合適的技術。
定義策略目標和以投資報酬率為主的 KPI
確保 AI 和機器學習專案與策略目標一致，例如收益成長、成本降低、顧客滿意度和效率。與利害關係人互動，瞭解業務優先順序。定義 AI 和機器學習目標，確保目標具體、可衡量、可達成、相關且有時限 (SMART)。舉例來說，SMART 目標可以是：「在 6 個月內，使用 AI 聊天機器人將客服即時通訊處理時間縮短 15%」。
為達成業務目標並評估投資報酬率 (ROI)，請為下列類別的指標定義 KPI：
- 訓練、推論、儲存和網路資源的費用，包括特定單位費用 (例如每次推論、資料點或工作的費用)。這些指標可協助您深入瞭解效率和成本最佳化商機。您可以使用 Cloud Billing 帳單報表和 Monitoring 資訊主頁追蹤這些費用。
- 業務價值指標，例如收益成長、節省成本、顧客滿意度、效率、準確度和採用率。您可以使用 BigQuery 數據分析和 Looker 資訊主頁追蹤這些指標。
產業專屬指標，例如：
- 零售業：評估收益升幅和流失率
- 醫療照護產業：評估病患時間和病患成果
- 金融業：評估詐欺減少情形
專案專屬指標。您可以使用 Gemini Enterprise Agent Platform 的實驗和評估功能，追蹤這些指標。
- 預測式 AI：評估準確度和精確度
- 生成式 AI：評估採用率、滿意度和內容品質
- 電腦視覺 AI：評估準確度
培養注重成本和持續最佳化的文化
採用 FinOps 原則，確保每項 AI 和機器學習專案都有預估成本，並有方法在整個生命週期中衡量及追蹤實際成本。確保專案的成本和業務效益有指派擁有者，且責任歸屬明確。
詳情請參閱 Well-Architected Framework 成本最佳化支柱中的「培養成本意識文化」。
透過疊代和意見回饋，創造價值並持續最佳化
將 AI 和機器學習應用程式直接對應至業務目標，並評估投資報酬率。
如要驗證投資報酬率假設，請先從前測專案著手，並使用下列疊代最佳化週期：
- 持續監控及分析資料：監控 KPI 和成本，找出偏差和最佳化機會。
- 根據資料調整：根據資料洞察結果，調整策略、模型、基礎架構和資源分配。
- 反覆調整：根據所學和不斷變化的業務需求，調整業務目標和 KPI。這個反覆過程有助於維持相關性和策略一致性。
- 建立意見回饋循環：與利害關係人一起檢視成效、成本和價值，做為持續最佳化和未來專案規劃的依據。
使用 Cloud Billing 和標籤管理帳單資料
如要有效控管成本，就必須掌握各項成本要素的來源。本節的建議可協助您使用 Google Cloud工具，取得 AI 和機器學習費用的精細洞察資料。您也可以將成本歸因於特定的 AI 和機器學習專案、團隊和活動。這些深入分析結果是成本最佳化的基礎。
整理 Google Cloud 資源並加上標籤
- 請按照組織結構和 AI/機器學習工作流程，以階層結構安排專案和資源。如要追蹤及分析不同層級的費用，請使用組織、資料夾和專案來整理 Google Cloud 資源。詳情請參閱「決定 Google Cloud 到達區的資源階層」。
- 為資源套用有意義的標籤。您可以使用標籤來表示專案、團隊、環境、模型名稱、資料集、用途和效能需求。標籤可為帳單資料提供重要背景資訊，並進行精細的費用分析。
- 在所有 AI 和機器學習專案中，保持標籤慣例的一致性。一致的標籤命名慣例有助於確保帳單資料井然有序，且可隨時分析。
使用帳單相關工具
- 如要進行詳細分析和製作報表，請將帳單資料匯出至 BigQuery。BigQuery 具備強大的查詢功能，可讓您分析帳單資料，瞭解費用。
- 如要依標籤、專案或特定時間範圍匯總費用，您可以在 BigQuery 中編寫自訂 SQL 查詢。這類查詢可讓您將費用歸因於特定 AI 和機器學習活動，例如模型訓練、超參數調整或推論。
- 如要找出成本異常或支出意外激增的情況，請使用 BigQuery 的分析功能。這種做法有助於偵測 AI 和機器學習工作負載中的潛在問題或效率不彰之處。
- 如要找出並管理非預期費用，請使用 Cloud Billing 的異常偵測資訊主頁。
- 如要根據資源用量，將費用分配給不同團隊或部門，請使用 Google Cloud的費用分配功能。成本分配可促進問責和資訊公開。
- 如要深入瞭解支出模式，請查看預先建立的 Cloud Billing 帳單報表。您可以篩選及自訂這些報表，著重於特定 AI 和機器學習專案或服務。
透過資訊主頁、快訊和報表持續監控資源
如要建立可擴充且有彈性的費用追蹤方式，您需要持續監控和回報。資訊主頁、快訊和報表是有效追蹤成本的基礎。這項基礎可讓您持續存取成本資訊、找出可最佳化的部分，並確保業務目標與成本一致。
建立檢舉系統
建立定期報表，並與相關人員分享。
使用 Monitoring 收集各種來源的指標，包括應用程式、基礎架構和 Google Cloud 服務，例如 Compute Engine、Google Kubernetes Engine (GKE) 和 Cloud Run functions。如要即時以圖表呈現指標和記錄，您可以使用預先建構的 Monitoring 資訊主頁，或建立自訂資訊主頁。自訂資訊主頁可讓您定義及新增指標，追蹤系統的特定層面，例如模型效能、API 呼叫或業務層級 KPI。
使用 Logging 集中收集及儲存應用程式、系統和 Google Cloud 服務的記錄。記錄檔的用途如下：
- 追蹤 CPU、記憶體、儲存空間和網路等資源的費用和使用率。
- 找出過度佈建 (資源未充分利用) 和佈建不足 (資源不足) 的情況。過度佈建會產生不必要的費用。如果佈建不足，訓練時間會變慢，並可能導致效能問題。
- 找出閒置或使用率偏低的資源 (例如 VM 和 GPU)，並採取關閉或調整大小等措施，盡可能降低成本。
- 找出費用遽增的情況，偵測資源用量或費用是否突然增加。
使用 Looker 或數據分析建立互動式資訊主頁和報表。將資訊主頁和報表連結至各種資料來源，包括 BigQuery 和 Monitoring。
根據主要 KPI 設定快訊門檻
請為 KPI 決定觸發快訊的門檻。有意義的警告門檻可協助您避免警告疲勞。在 Monitoring 中建立警告政策，接收與 KPI 相關的通知。例如，當準確度低於特定門檻或延遲時間超過定義的限制時，您會收到通知。根據記錄資料設定的快訊，可即時通知您潛在的費用問題。這類警示可讓您及時採取修正措施，避免進一步的財務損失。
最佳化資源分配
如要在 Google Cloud中提高 AI 和機器學習工作負載的成本效益，您必須最佳化資源分配。為避免不必要的支出，並確保工作負載有足夠資源發揮最佳效能，請根據工作負載需求分配資源。
如要最佳化 AI 和機器學習工作負載的雲端資源分配，請參考下列建議。
使用自動調度資源功能動態調整資源
使用支援自動調度資源的 Google Cloud 服務，根據目前需求自動調整資源分配。自動調度資源有下列優點：
- 成本和效能最佳化：您不必為閒置資源付費。同時，自動調度資源功能可確保系統具備必要資源，即使在負載高峰期也能發揮最佳效能。
- 提升效率：團隊可專注於其他工作。
- 提高靈活度：您可以快速因應不斷變化的需求，並維持應用程式的高可用性。
以下各節將摘要說明在 AI 專案的不同階段，可用來實作自動調度資源的技術。
訓練
- 使用 Gemini Enterprise Agent Platform 或 GKE 等代管服務，這些服務內建訓練工作的自動調度資源功能。
- 設定自動調度資源政策，根據 CPU 使用率、記憶體用量和工作佇列長度等指標，調度訓練執行個體數量。
- 使用自訂資源調度指標，微調特定工作負載的自動調度資源行為。
推論
- 在可擴充的平台上部署模型，例如 Gemini Enterprise Agent Platform Inference、GKE 上的 GPU 或 GKE 上的 Cloud TPU。
- 使用自動調度資源功能，根據要求比率、延遲時間和資源使用率等指標調整副本數量。
- 實作負載平衡，將流量平均分配給各個副本，確保高可用性。
從小型模型和資料集開始
為降低成本，請盡可能小規模測試機器學習假設，並採用疊代方法。這種方法使用較小的模型和資料集，具有下列優點：
- 從一開始就降低成本：減少運算能力、儲存空間和處理時間，可降低初始實驗和開發階段的成本。
- 加快疊代速度：縮短訓練時間，加快疊代速度、探索替代方法，並更有效率地找出有潛力的方向。
- 降低複雜度：簡化偵錯、分析和解讀結果的流程，加快開發週期。
- 有效運用資源：降低過度佈建資源的機率。您只需佈建目前工作負載所需的資源。
請參考下列建議：
- 先使用樣本資料：使用資料的代表性子集訓練模型。這種做法可讓您評估模型成效並找出潛在問題，不必處理整個資料集。
- 使用筆記本進行實驗：先從較小的執行個體開始，再視需要擴充。您可以使用 Gemini Enterprise Agent Platform Workbench，這項代管 Jupyter 筆記本環境非常適合用來實驗不同的模型架構和資料集。
從較簡單或預先訓練的模型開始：使用 Model Garden 探索預先訓練模型。這類模型所需的運算資源較少。視效能需求逐步提高複雜度。
- 使用預先訓練模型執行圖片分類和自然語言處理等工作。為節省訓練成本，您可以先使用較小的資料集微調模型。
- BigQuery ML 適用於結構化資料。BigQuery ML 可讓您直接在 BigQuery 中建立及部署模型。這種做法可讓您利用 BigQuery 的按查詢付費定價模式，因此在初始實驗階段相當符合成本效益。
擴充資源，充分運用：使用 Google Cloud的彈性基礎架構，視需要擴充資源。建議先從較小的執行個體開始，再視需要調整大小或數量。
透過實驗瞭解資源需求
AI 和機器學習工作負載的資源需求可能會有很大差異。如要最佳化資源分配和成本，您必須透過系統化實驗，瞭解工作負載的特定需求。如要找出最有效率的模型設定，請測試不同的設定並分析其效能。接著，根據需求，將用於訓練和提供服務的資源調整至最適規模。
建議您採取下列實驗方法：
- 從基準開始：根據對工作負載需求的初步估算，從基準設定開始。如要建立基準，您可以使用 Google Cloud Pricing Calculator 估算新工作負載的費用，或使用現有的帳單報表。
- 瞭解配額：在展開大規模實驗前，請先熟悉 Google Cloud 專案配額，瞭解您打算使用的資源和 API。配額會決定您實際可測試的設定範圍。熟悉配額後，您就能在實驗階段，於可用資源限制內操作。
- 有系統地實驗：調整 CPU 數量、記憶體容量、GPU 和 Cloud TPU 的數量和類型，以及儲存空間容量等參數。Gemini Enterprise Agent Platform Managed Training 和 Agent Platform Inference 可讓您嘗試不同的機器類型和設定。
監控使用率、成本和效能：追蹤每個實驗設定的資源使用率、成本和關鍵成效指標，例如訓練時間、推論延遲時間和模型準確率。
- 如要追蹤資源使用率和成效指標，可以使用 Agent Platform 控制台。
- 如要收集及分析詳細的成效指標，請使用 Monitoring。
- 如要查看費用，請使用 Cloud Billing 帳單報表和 Monitoring 資訊主頁。
- 如要找出模型效能瓶頸並最佳化資源使用率，請使用 Agent Platform TensorBoard 等剖析工具。
分析成本：比較各項設定的成本和效能，找出最具成本效益的選項。
根據配額建立資源門檻和改善目標：定義門檻，在擴充開始導致成效報酬遞減時，例如訓練時間或延遲時間縮短幅度極小，但成本大幅增加，設定這些門檻時，請考量專案配額。判斷進一步擴充的成本和潛在配額影響，是否不再能透過效能提升來合理化。
反覆調整：根據發現結果調整設定，並重複實驗程序。請務必確保資源用量不超過分配的配額，並符合既定的成本效益門檻。
使用 MLOps 減少效率不彰的情況
隨著越來越多組織運用機器學習技術推動創新和提升效率，有效管理機器學習生命週期變得至關重要。機器學習運作 (MLOps) 是一套做法，可自動化及簡化機器學習生命週期，涵蓋模型開發、部署和監控等階段。
根據成本動因調整 MLOps
如要運用 MLOps 提高成本效益，請找出機器學習生命週期中的主要成本動因。接著，您可以採用並實施與成本動因一致的 MLOps 做法。優先採用可解決最重要成本動因的 MLOps 功能。這種做法有助於確保遷移過程可控且成功，大幅節省成本。
導入 MLOps 以最佳化成本
以下是常見的 MLOps 做法，有助於降低成本：
- 版本管控：Git 等工具可協助您追蹤程式碼、資料和模型的版本。版本管控可確保重現性、促進協作，並避免因版本問題而導致高成本的重工。
- 持續整合與持續推送軟體更新 (CI/CD)：Cloud Build 和 Artifact Registry 可讓您實作 CI/CD 管道，自動建構、測試及部署機器學習模型。CI/CD 管道可確保資源使用效率，並盡可能降低手動介入的相關成本。
- 觀測能力：監控和記錄功能可讓您追蹤正式環境中的模型效能、找出問題，並觸發警示，以便主動介入。觀測能力可讓您維持模型準確度、最佳化資源分配，並避免代價高昂的停機時間或效能降低。
- 模型重新訓練：Gemini Enterprise Agent Platform Pipelines 可簡化定期或在效能降低時重新訓練模型的程序。使用 Agent Platform Pipelines 重新訓練模型，可確保模型準確高效，避免不必要的資源消耗，並維持最佳效能。
- 自動化測試與評估：Agent Platform 可協助您加速及標準化模型評估作業。在整個機器學習生命週期中實施自動化測試，確保模型的品質和可靠性。這類測試可協助您及早發現錯誤、避免在正式環境中發生高成本問題，並減少大量手動測試的需求。
詳情請參閱「MLOps：機器學習的持續推送軟體更新與自動化管線」。
落實資料管理和治理做法
有效的資料管理和治理做法，對於成本最佳化至關重要。妥善整理資料可鼓勵團隊重複使用資料集、避免不必要的重複，並減少取得高品質資料所需的工作。主動管理資料可降低儲存成本、提升資料品質，並確保機器學習模型使用最相關且有價值的資料進行訓練。
如要實施資料管理和治理做法，請考慮下列建議。
建立及採用資料治理架構
隨著 AI 和機器學習技術日益普及，資料已成為機構數位轉型時最寶貴的資產。如要以符合成本效益的方式大規模管理 AI 和機器學習工作負載，就必須建立完善的資料治理架構。資料治理架構會明確定義政策、程序和角色，提供結構化方法，在整個生命週期中管理資料。這類架構有助於提升資料品質、強化安全性、提高使用率，以及減少冗餘。
建立資料治理架構
市面上有許多現成的資料治理架構，例如 EDM Council 發布的架構，可供不同產業和組織規模選擇。選擇並調整符合您特定需求和優先事項的架構。
實作資料治理架構
Google Cloud 提供下列服務和工具，協助您導入穩健的資料治理架構：
Knowledge Catalog 是智慧型 data fabric，可協助您統合分散式資料，並自動執行資料治理，不必將資料集整合至單一位置。這有助於降低發布及維護資料的成本、促進資料探索，以及推廣重複使用。
- 如要整理資料，請使用 Knowledge Catalog 抽象概念，並設定資料網域和資料產品。
- 如要管理資料資產和管理資源的存取權，請使用 Google 群組和 Knowledge Catalog Identity and Access Management (IAM) 角色。
- 如要簡化資料品質程序，請啟用自動資料品質功能。
Knowledge Catalog 也是可擴充的全代管中繼資料管理服務。目錄是確保資料資產可供存取和重複使用的基礎。
- 系統會自動將支援的 Google Cloud 來源中繼資料擷取至目錄。如果是 Google Cloud以外的資料來源，請建立自訂項目。
- 如要提升資料資產的曝光度和管理效率，請使用切面，以業務中繼資料充實技術中繼資料。
- 確保資料科學家和機器學習從業人員具備足夠的權限，可存取 Knowledge Catalog 並使用搜尋功能。
BigQuery sharing可讓您安全有效率地跨組織交換資料資產，解決資料可靠性和成本方面的難題。
在整個機器學習生命週期中，讓資料集和特徵可重複使用
在多項機器學習專案中重複使用資料集和特徵，可大幅提升效率和成本效益。避免重複的資料工程和特徵開發工作，貴組織就能加快模型開發速度、降低基礎架構成本，並釋出寶貴資源，用於其他重要工作。
Google Cloud 提供下列服務和工具，協助您重複使用資料集和特徵：
- 資料和機器學習從業人員可以發布資料產品，盡可能讓各團隊重複使用。接著，您就能透過 Knowledge Catalog 和 BigQuery sharing 功能，探索及使用資料產品。
- 如果是表格和結構化資料集，您可以使用 Agent Platform 特徵儲存庫，透過 BigQuery 提升可重複使用性並簡化特徵管理。
- 您可以將非結構化資料儲存在 Cloud Storage，並使用 BigQuery 物件資料表和經簽署的網址管理資料。
- 您可以在向量搜尋索引中加入中繼資料，藉此管理向量嵌入。
運用 MLOps 自動化及簡化作業
採用 MLOps 做法的主要好處是降低技術和人員成本。自動化可避免重複執行機器學習活動，並減輕數據資料學家和機器學習工程師的工作負擔。
如要透過 MLOps 自動化及簡化機器學習開發作業，請參考下列建議。
自動化及標準化資料收集和處理作業
為減少機器學習開發工作和時間，請自動化及標準化資料收集和處理技術。
自動收集及處理資料
本節摘要說明可用於自動收集及處理資料的產品、工具和技術。
找出並選擇適合 AI 和機器學習工作的資料來源：
- 資料庫選項，例如 Cloud SQL、Spanner、AlloyDB for PostgreSQL、Firestore 和 BigQuery。選擇時應考量您的需求，例如寫入存取權的延遲時間 (靜態或動態)、資料量 (高或低) 和資料格式 (結構化、非結構化或半結構化)。詳情請參閱「Google Cloud 資料庫」。
- 資料湖泊，例如採用 BigLake 的 Cloud Storage。
- Knowledge Catalog：控管各來源的資料。
- Pub/Sub、Dataflow 或 Apache Kafka 等串流事件平台。
- 外部 API。
為每個資料來源選擇擷取工具：
- Dataflow：用於批次和串流處理來自各種來源的資料，並整合機器學習元件。如果是事件導向架構，您可以將 Dataflow 與 Eventarc 結合，有效率地處理機器學習資料。如要提升 MLOps 和機器學習工作效率 請使用 GPU 和最適資源配置功能
- Cloud Run functions：用於事件導向的資料擷取，由即時應用程式的資料來源變更觸發。
- BigQuery：適用於經常存取的傳統表格型資料擷取。
選擇資料轉換和載入工具：
- 使用 Dataflow 或 Dataform 等工具，自動執行資料轉換作業，例如特徵縮放、編碼類別變數，以及建立新的特徵 (批次、串流或即時)。您選取的工具取決於您的需求和所選服務。
- 使用 特徵儲存庫 自動建立及管理特徵。您可以集中管理特徵，以便在不同模型和專案中重複使用。
標準化資料收集和處理
如要探索、瞭解及管理資料資產，請使用 Knowledge Catalog 等中繼資料管理服務。這項功能可協助您標準化資料定義，並確保整個組織的一致性。
為強制執行標準化作業，並避免維護多個自訂實作項目的成本，請使用自動化訓練管道和自動化調度管理。詳情請參閱下一節。
自動化訓練管道並重複使用現有素材資源
如要提升 MLOps 的效率和生產力，自動化訓練管道至關重要。 Google Cloud 提供一組強大的工具和服務，可用於建構及部署訓練管道，並著重於重複使用現有資產。自動化訓練管道有助於加快模型開發速度、確保一致性，並減少重複作業。
自動化訓練管線
下表說明可用於自動執行訓練管道不同功能的 Google Cloud 服務和功能。
| 函式 | Google Cloud 服務與功能 |
|---|---|
| 自動化調度管理：定義複雜的機器學習工作流程，包含多個步驟和依附元件。您可以將每個步驟定義為獨立的容器化工作，輕鬆管理及調度個別工作。 |
|
| 版本管理：追蹤及控管不同版本的管道和元件，確保可重現性和可稽核性。 | 將 Kubeflow pipeline 範本儲存在 Artifact Registry 的 Kubeflow Pipelines 存放區中。 |
| 可重複使用：重複使用現有的管道元件和構件，例如準備好的資料集和訓練好的模型，加快開發速度。 | 將管道範本儲存在 Cloud Storage，並在整個組織內共用。 |
| 監控：監控管道執行情形，找出並解決任何問題。 | 使用 Logging 和 Monitoring。詳情請參閱「透過資訊主頁、快訊和報表持續監控資源」。 |
擴大可重複使用性，不限於管道
尋找機會，將可重複使用性擴展到訓練管道之外。以下是 Google Cloud 功能的範例，可讓您重複使用機器學習特徵、資料集、模型和程式碼。
- 特徵儲存庫提供中央存放區，用於整理、儲存及提供機器學習特徵。您可以在不同專案和模型中重複使用特徵，提高一致性並減少特徵工程工作。您可以儲存、共用及存取特徵，用於線上和離線用途。
- Agent Platform 資料集可讓團隊集中建立及管理資料集，協助貴組織盡可能提高可重複使用性，並減少資料重複。團隊可以使用 Knowledge Catalog 搜尋及探索資料集。
- Gemini Enterprise Agent Platform 的 Model Registry 可讓您儲存、管理及部署訓練好的模型。Model Registry 可讓您在後續管道中重複使用模型，或用於線上預測，充分運用先前的訓練成果。
- 自訂容器可讓您將訓練程式碼和依附元件封裝至容器，並將容器儲存在 Artifact Registry。自訂容器可讓您在不同管道和專案中，提供一致且可重現的訓練環境。
使用 Google Cloud 服務評估及調整模型
Google Cloud 提供一系列強大的工具和服務，可簡化及自動化模型評估和調整作業。這些工具和服務可協助您縮短正式上線時間，並減少持續訓練和監控所需的資源。使用這些服務，AI 和機器學習團隊就能以更少的昂貴疊代次數提升模型效能、更快取得結果，並盡可能減少浪費運算資源。
使用資源效率高的模型評估和實驗
先透過實驗展開 AI 專案，再擴大解決方案規模。在實驗中，追蹤各種中繼資料，例如資料集版本、模型參數和模型類型。如要進一步重現及比較結果，除了程式碼版本管理之外，請使用中繼資料追蹤功能，類似於 Git 中的功能。為避免遺漏資訊或在正式環境中部署錯誤版本，請先使用 Agent Platform 的實驗功能，再全面部署或執行訓練工作。
您可以透過 Agent Platform 的 Experiments 執行下列操作：
- 透過容易使用的 UI 和 API，簡化及自動追蹤和探索中繼資料，適用於可部署於正式環境的工作負載。
- 分析模型的成效指標，並比較多個模型的指標。
模型訓練完成後，請持續監控效能和資料偏移，瞭解傳入資料的變化。如要簡化這項程序，請使用 Gemini Enterprise Agent Platform 的 Model Monitoring，直接存取 Model Registry 中建立的模型。Agent Platform 的模型監控功能也會透過線上和批次預測，自動監控資料和結果。您可以將結果匯出至 BigQuery，進一步分析及追蹤。
選擇最佳策略，自動執行訓練
如要調整超參數，建議採用下列方法：
- 如要自動找出模型的最佳超參數，請使用 Agent Platform 超參數調整。Agent Platform 會使用進階演算法探索超參數空間，並找出最佳設定。
- 如要有效調整超參數，建議使用貝氏最佳化技術，尤其是在處理複雜模型和大型資料集時。
如要進行分散式訓練，建議採用下列方法：
如要處理大型資料集和複雜模型，請使用 Agent Platform 的分散式訓練基礎架構。這種做法可讓您在多部機器上訓練模型，大幅縮短訓練時間和相關成本。請使用下列工具：
- Agent Platform 調整：對 Gemini、Imagen 和其他模型執行監督式微調。
- Agent Platform 代管訓練或 Gemini Enterprise Agent Platform 的 Ray，進行自訂分散式訓練。
選擇經過最佳化的機器學習框架，例如 Keras 和 PyTorch，這些框架支援分散式訓練，並能有效運用資源。
使用可解釋 AI
您必須瞭解模型做出特定決策的原因，並找出潛在偏誤或可改進之處。使用可解釋性技術，深入瞭解模型的預測結果。
- 以特徵為基礎：如要瞭解哪些特徵對模型的預測結果影響最大，請分析特徵歸因。這項資訊有助於引導特徵工程作業，並提高模型可解釋性。
- 範例式：使用最鄰近搜尋，傳回與輸入內容最相似的樣本清單 (通常來自訓練集)。由於類似的輸入內容通常會產生類似的預測結果，因此您可以使用這些說明來探索及解釋模型的行為。
使用代管服務和預先訓練模型
採用漸進式方法選擇及開發模型。這種做法可避免每次重新開始時產生過多費用。如要控管成本，請使用機器學習架構、代管服務和預先訓練模型。
如要充分發揮代管服務和預先訓練模型的價值，請參考下列建議。
使用筆記本進行探索和實驗
Notebook 環境是進行高成本效益機器學習實驗的關鍵。Notebook 提供互動式協作空間，讓資料科學家和工程師探索資料、開發模型、分享知識，並有效率地疊代。透過筆記本協作及分享知識，可大幅加快開發、程式碼審查和知識轉移的速度。Notebooks 有助於簡化工作流程，減少重複作業。
您不必為開發環境採購及管理昂貴的硬體，而是可以使用 Agent Platform Workbench 和 Colab Enterprise 的可擴充隨選基礎架構。
Agent Platform Workbench 是 Jupyter 筆記本開發環境，適用於整個資料科學工作流程。您可以透過執行個體的 Jupyter 筆記本，與 Agent Platform 和其他 Google Cloud服務互動。Agent Platform Workbench 整合功能和特色可協助您執行下列操作：
- 利用 BigQuery 和 Cloud Storage 整合功能，在 Jupyter 筆記本內存取及探索資料。
- 在 Agent Platform 排定執行程式碼，自動定期更新模型。
- 在 Managed Service for Apache Spark 叢集上執行筆記本，快速處理資料。
- 使用 Agent Platform Pipelines，將筆記本做為管道中的步驟執行。
Colab Enterprise 是協作式的代管筆記本環境，具備 Google Cloud的安全性和法規遵循功能。如果專案的優先事項包括協作開發和減少管理基礎架構的工作，Colab Enterprise 是理想選擇。Colab Enterprise 整合了Google Cloud 服務和採用 Gemini 的 AI 輔助功能。Colab Enterprise 可讓您執行下列操作：
- 在筆記本中工作，無須管理基礎架構。
- 與單一使用者、Google 群組或 Google Workspace 網域共用筆記本。您可以透過 IAM 控管筆記本存取權。
- 與 Agent Platform 和 BigQuery 內建的功能互動。
如要追蹤變更，並在必要時還原至先前的版本，可以將筆記本與 Git 等版本管控工具整合。
從現有和預先訓練的模型著手
從頭訓練複雜的模型 (尤其是深度學習模型) 需要大量運算資源和時間。如要加快模型選取和開發程序，請從現有和預先訓練的模型著手。這些模型是以龐大的資料集訓練而成，因此不必從頭訓練模型，可大幅降低成本和開發時間。
降低訓練和開發成本
為每項機器學習任務選取合適的模型或 API，並加以結合，建立端對端機器學習開發程序。
Model Garden 提供大量預先訓練模型，可用於圖像分類、物件偵測和自然語言處理等工作。模型分為以下幾類：
- Google 模型，例如 Gemini 系列模型和用於生成圖像的 Imagen。
- Gemma 和 Llama 等開放式模型。
- Anthropic 等合作夥伴的第三方模型。
Google Cloud 提供 AI 和機器學習 API，開發人員不必從頭建構模型，就能將強大的 AI 功能整合至應用程式。
- Cloud Vision API 可讓您從圖片中取得深入分析資訊。這項 API 適用於圖片分析、內容審核和自動資料輸入等應用程式。
- Cloud Natural Language API 可分析文字，瞭解其結構和意義。這項 API 適用於分析客戶意見回饋、分類內容，以及瞭解社群媒體趨勢等工作。
- Speech-to-Text API 可將音訊轉換成文字。這項 API 支援多種語言和方言。
- Document AI API：處理文件，擷取、分類及解讀資料。這項 API 可協助您自動執行文件處理工作流程。
- Dialogflow API 可用於建立對話式介面，例如聊天機器人和語音助理。您可以使用這個 API 建立客服機器人和虛擬助理。
- Gemini API 可讓您存取 Google 最強大的通用 AI 模型。
降低調整成本
為減少對大量資料和運算時間的需求，請使用特定資料集微調預先訓練模型。建議採取下列做法：
- 遷移學習：將預先訓練模型的知識用於新任務，不必從頭開始。這種方法需要的資料和運算時間較少，有助於降低成本。
- 適應器調整 (高效參數調整)： 不需全量微調，即可讓模型適應新任務或領域。這種方法所需的運算資源和資料集都少得多。
- 監督式微調：使用加上標籤的資料集調整模型行為。這種做法可簡化基礎架構的管理作業，以及自訂訓練工作所需的開發作業。
使用 Gemini Enterprise Agent Platform 的 Agent Studio 探索及實驗
Agent Studio 可讓您快速測試、設計原型及部署生成式 AI 應用程式。
- 整合 Model Garden：快速存取最新模型，並有效率地部署模型，節省時間和成本。
- 統一存取專用模型：整合各種預先訓練模型和 API 的存取權，包括對話、文字、媒體、翻譯和語音模型。這種統一存取方式可協助您減少搜尋和整合個別服務的時間。
使用代管服務訓練或提供模型
代管服務可降低模型訓練成本，並簡化基礎架構管理作業，讓您專注於模型開發和最佳化。這種做法可大幅降低成本並提高效率。
減輕作業負擔
如要降低基礎架構管理的複雜度和成本，請使用下列代管服務：
- Agent Platform 代管訓練提供全代管環境，可大規模訓練模型。您可以選擇各種預先建構的容器，搭配熱門的機器學習架構，或使用自己的自訂容器。 Google Cloud 會處理基礎架構佈建、資源調度及維護作業，因此可降低營運負擔。
- Agent Platform Inference 會處理基礎架構資源調度、負載平衡和要求轉送作業。您不必手動介入，就能享有高可用性和效能。
- Ray on Gemini Enterprise Agent Platform 提供全代管 Ray 叢集。您可以使用叢集執行複雜的自訂 AI 工作負載，執行多項運算 (超參數調整、模型微調、分散式模型訓練，以及根據人類回饋強化學習)，無須管理自己的基礎架構。
使用代管服務，充分運用資源
如要進一步瞭解如何有效運用資源，請參閱「最佳化資源分配」。
貢獻者
作者：
- Isaac Lo | AI 業務開發經理
- Anastasia Prokaeva | 生成式 AI 現場解決方案架構師
- Amy Southwood | 資料分析與 AI 技術解決方案顧問
其他貢獻者：
- Filipe Gracio 博士 | AI/機器學習專家客戶工程師
- Kumar Dhanagopal | 跨產品解決方案開發人員
- Marwan Al Shawi | 合作夥伴客戶工程師
- Nicolas Pintaux | 客戶工程師，應用程式翻新專家