本文說明如何透過提示 Gemini,規劃及設計叢集。
您可以在 Google Cloud 控制台使用 Gemini,透過 AI 輔助介面評估硬體選項、估算部署成本,以及查看叢集的建議設定。為提供量身打造的建議,Gemini 會評估您的專案,檢查配額限制、現有預留項目、承諾使用折扣 (CUD)、預設區域和可用區,以及任何資源位置限制。 Google Cloud在建立或修改叢集之前,您可以先使用 Gemini 協助規劃,為工作負載找出最佳設定。
如要進一步瞭解建立叢集前或建立叢集時必須設定的元件,請參閱「部署選項總覽」。
限制
在 Google Cloud 控制台中提示 Gemini 時,您無法使用 Gemini 建立、修改或刪除資源。
事前準備
使用 Google Cloud 控制台存取 Google Cloud 服務和 API 時,不需要設定驗證。
必要的角色
如要取得存取及提示 Gemini 所需的權限,請要求管理員授予您專案的「叢集導向器檢視者」 (roles/hypercomputecluster.viewer) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
這個預先定義的角色具備存取及提示 Gemini 所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:
所需權限
如要存取及提示 Gemini,必須具備下列權限:
-
如要查看叢集清單:
hypercomputecluster.clusters.list
在 Google Cloud 控制台存取 Gemini
如要在 Google Cloud 控制台中存取 Gemini,請完成下列步驟:
前往 Google Cloud 控制台的「Overview」(總覽) 頁面。
在「運用 Compute Advisor 設計基礎架構」部分,按一下「發起新的對話」。
在「Compute Advisor」頁面中,您可以查看下列資訊:
上圖顯示的 UI 元素如下:
對話記錄側邊面板:顯示近期對話。您可以透過下列方式與這個面板互動:
如要展開新對話,請按一下「新的對話」。
如要繼續最近的對話,請在「最近的對話」部分點選該對話。
如要查看所有對話的清單,請按一下「查看全部」。在「我的記錄」頁面中,你可以查看過往對話的詳細資料、繼續對話,或刪除不再需要的對話。
快速動作提示資訊卡:一組資訊卡,每張都包含範例提示。點選資訊卡後, Google Cloud 控制台會自動在提示詞輸入框中填入範例提示。
提示詞輸入框:這個欄位可供輸入及提交提示詞。如要提交提示,請按一下「提交提示」。
輸入提示詞給 Gemini
提交提示後,Gemini 就會開始生成回覆。 系統會顯示窗格,且控制台會在窗格中顯示提示的回應,如下方螢幕截圖所示: Google Cloud
根據提示,回覆窗格會包含下列元素:
情境基礎:Gemini 會自動評估專案情境,提供高度客製化的建議,包括配額限制、現有預留項目、CUD、預設區域和可用區,以及任何資源位置限制。
互動式程式碼片段:Gemini 會產生 gcloud 指令、REST API 方法或 Terraform 資源。您可以複製並貼上這些程式碼片段,或在 Cloud Shell 中執行。
視覺化畫布:Gemini 會將建議整理成結構完整的表格,並進行並列比較。這個檢視畫面有助於評估產品功能和架構方法。此外,還會提供您用途的實作計畫。
以下各節將說明撰寫提示的最佳做法,以及您在建立或修改叢集前可使用的提示範例。
提示詞最佳做法
如要讓 Gemini 提供最準確且實用的建議,建議您以程式碼區塊的結構編寫提示。這種方法會使用明確的參數宣告、角色定義、具體指示和明確的輸出格式,引導生成式 AI。
提示 Gemini 時,請考慮下列最佳做法:
專注於設計和規劃:建議您不要提示 Gemini 解決叢集錯誤。如要解決這些錯誤,請參閱「排解建立、更新及刪除運算執行個體的問題」。
指定形象或角色:宣告目標角色或形象,例如 IT 管理員、AI 研究人員或平台工程師,供 Gemini 採用。這項做法會引導系統生成建議,並決定建議的語氣、深度和專業程度。
提供明確的編號指令:將目標分解成具體的逐步問題或工作。這種做法可建構 Gemini 的推論過程,並協助確保 Gemini 滿足所有需求。
定義特定輸出格式:明確說明建議的格式,例如逐步說明、Markdown 比較表,或可直接使用的 gcloud 程式碼區塊。
善用自動內容基礎:您不需要在提示中加入預設區域或地帶、可用配額、CUD 或資源位置限制。Gemini 可以存取 Google Cloud 專案中的這項資訊。
逐步修正設計:你可以傳送新的提示,修改或擴充 Gemini 生成的回覆。舉例來說,您可以要求助理在部署計畫中加入網路建議,或修改儲存空間需求,不必重新開始對話。
範例提示詞
以下是提示範例,可協助您設計及最佳化叢集:
叢集拓撲和刊登位置策略:如要為高效能 AI 工作負載決定最佳部署模型和刊登位置政策,請使用類似下列的提示:
Act as an AI researcher. I need to design a cluster topology in Cluster Director for training a large language model that balances high accelerator performance with guaranteed capacity. Please provide the following: 1. A side-by-side comparison of deploying A3 Mega VMs across different regions. 2. An explanation of how topology-aware scheduling minimizes network latency. 3. The optimal reservation configuration for this training workload. Format the comparison as a Markdown table, and provide the deployment steps as a ready-to-use gcloud code block.佈建模式和成本最佳化:如要評估佈建模式並降低批次處理成本,請使用下列提示:
Act as an IT administrator. I need to find the cheapest way to run large, interruptible batch jobs on our clusters in Cluster Director without risking data loss. Please provide the following: 1. A cost and reliability comparison of standard discounted VMs against Spot VMs. 2. An explanation of how to provision all our compute power at the exact same time. 3. A deployment script that gives our jobs a two-minute warning before a Spot VM gets reclaimed. Format the comparison as a Markdown table, and provide the steps to take in the Google Cloud console.