使用 Gemini 设计和优化集群

本文档介绍了如何通过向 Gemini 发出提示来规划和设计您的 集群 。

您可以在 Google Cloud 控制台中使用 Gemini 作为 AI 驱动的 界面来评估硬件选项、估算部署费用,以及查看 集群的 推荐配置。 为了定制建议,Gemini 会通过检查配额限制、现有预留、承诺使用折扣 (CUD)默认区域和可用区以及任何资源位置限制来评估您的项目。 Google Cloud通过使用 Gemini 来帮助您进行规划,您可以在创建或修改 集群 之前为工作负载找到最佳配置。

如需详细了解在创建集群之前或创建集群时必须配置的组件,请参阅部署选项概览

限制

在 Google Cloud 控制台中向 Gemini 发出提示时,您无法使用 Gemini 创建、修改或删除资源。

准备工作

当您使用 Google Cloud 控制台访问 Google Cloud 服务 和 API 时,无需设置身份验证。

所需角色

如需获得访问 Gemini 并向其发出提示所需的权限,请让您的管理员为您授予项目的Cluster Director Viewer (roles/hypercomputecluster.viewer) IAM 角色。如需详细了解如何授予角色,请参阅管理对项目、文件夹和组织的访问权限

此预定义角色可提供 访问 Gemini 并向其发出提示所需的权限。如需查看所需的确切权限,请展开所需权限部分:

所需权限

如需访问 Gemini 并向其发出提示,您需要拥有以下权限:

  • 如需查看集群列表: hypercomputecluster.clusters.list

您也可以使用自定义角色或其他预定义角色来获取这些权限。

在 Google Cloud 控制台中访问 Gemini

如需在 Google Cloud 控制台中访问 Gemini,请完成以下 步骤:

  1. 在 Google Cloud 控制台中,前往概览页面。

    转到“概览”页面

  2. Design your infrastructure with Compute Advisor (使用 Compute Advisor 设计基础架构)部分,点击发起新对话

  3. Compute Advisor (Compute Advisor)页面上,您可以查看以下内容:

    Compute Advisor 页面的屏幕截图以及构成该页面的界面元素。

    上图所示的界面元素如下:

    • 会话记录侧边栏:显示您最近的聊天记录。您可以按如下方式与此面板互动:

      • 如需开始新对话,请点击发起新对话

      • 如需继续最近的对话,请在最近的聊天 部分中点击相应对话。

      • 如需查看所有对话的列表,请点击查看全部 。在我的记录 页面上,您可以查看过去对话的详细信息并继续对话,或者删除不再需要的对话。

    • 快速操作提示卡片:一组卡片,每张卡片都包含一个示例 提示。如果您点击一张卡片, Google Cloud 控制台 会自动在提示框中填充示例提示。

    • 提示框:您可以在此字段中输入和提交提示。如需提交提示,请点击提交提示

向 Gemini 发出提示

提交提示后,Gemini 会开始生成回答。 系统会显示一个窗格, Google Cloud 控制台会在该窗格中显示对您提示的回答 ,如以下屏幕截图所示:

提交提示后的 Compute Advisor 页面屏幕截图。

根据您的提示,回答窗格包含以下元素:

  • 情境基础:Gemini 会自动评估您的 项目情境,以提供高度定制的建议,包括配额 限制、现有预留、CUD、默认区域和可用区以及任何 资源位置限制。

  • 互动式代码段:Gemini 会生成 gcloud 命令、REST API 方法或 Terraform 资源。您可以复制并粘贴这些代码段,或在 Cloud Shell 中运行它们。

  • 可视化画布:Gemini 会将建议整理成 结构化表格和并排比较。此视图有助于您评估产品功能和架构方法。它还为您的使用场景提供了实现方案。

以下部分概述了撰写提示的最佳实践,以及 您在创建或修改 集群 之前可以使用的示例提示。

关于提示的最佳实践

如需从 Gemini 获得最准确且可操作的建议,我们建议您以与代码块相同的方式构建提示。此方法通过使用明确的参数声明、角色定义、具体说明和明确的输出格式来指导生成式 AI。

向 Gemini 发出提示时,请考虑以下最佳实践:

  • 专注于设计和规划:我们建议您不要向 Gemini 发出提示来排查 集群 错误。如需解决这些错误,请参阅 排查创建、更新和删除计算实例时出现的问题

  • 指定人设或角色:声明 Gemini 要采用的目标角色或人设,例如 IT 管理员、AI 研究员或平台工程师。此方法可指导生成的建议的语气、深度和专业程度。

  • 提供明确的编号说明:将您的目标分解为 具体的、分步的问题或任务。此方法可构建 Gemini 的推理过程,并有助于确保 Gemini 满足您的所有要求。

  • 定义特定的输出格式:明确说明您希望 建议采用的格式,例如分步说明、 Markdown 比较表或可直接使用的 gcloud 代码 块。

  • 利用自动情境基础:您无需在提示中添加 默认区域或可用区、可用配额、CUD 或资源位置 限制。Gemini 可以在您的 Google Cloud 项目中访问此 信息。

  • 以迭代方式优化设计:您可以通过发送新提示来修改或扩充 Gemini 生成的回答 。例如,您可以要求助理将网络建议添加到部署方案中,或修改存储要求,而无需开始新对话。

示例提示

以下是一些示例提示,可帮助您设计和优化集群:

  • 集群拓扑和展示位置策略:如需确定高性能 AI 工作负载的最佳部署模型和展示位置政策,请使用如下提示:

    Act as an AI researcher. I need to design a cluster topology in
    Cluster Director for training a large language model that balances high
    accelerator performance with guaranteed capacity.
    
    Please provide the following:
    1. A side-by-side comparison of deploying A3 Mega VMs across different
       regions.
    2. An explanation of how topology-aware scheduling minimizes network
       latency.
    3. The optimal reservation configuration for this training workload.
    
    Format the comparison as a Markdown table, and provide the deployment steps
    as a ready-to-use gcloud code block.
    
  • 预配模型和费用优化:如需评估预配 模型并降低批处理费用,请使用如下提示:

    Act as an IT administrator. I need to find the cheapest way to run large,
    interruptible batch jobs on our clusters in Cluster Director
    without risking data loss.
    
    Please provide the following:
    1. A cost and reliability comparison of standard discounted VMs against
       Spot VMs.
    2. An explanation of how to provision all our compute power at the exact
       same time.
    3. A deployment script that gives our jobs a two-minute warning before a
       Spot VM gets reclaimed.
    
    Format the comparison as a Markdown table, and provide the steps to take in
    the Google Cloud console.
    

后续步骤