调优简介

模型调优是调整 Gemini 以更准确地执行特定任务的关键过程。模型调优的工作原理是为模型提供训练数据集，其中包含一组特定下游任务的示例。

本页面简要介绍了 Gemini 的模型调优，介绍了 Gemini 可用的调优选项，并可帮助您确定应在何时使用每个调优选项。

调优模型的好处

模型调优是针对任务自定义大型模型的有效方法。这是提高模型质量和效率的关键步骤。模型调优具有以下优势：

  • 针对您的特定任务提供更高的质量
  • 提高模型稳健性
  • 提示较短，因此推理延迟时间和费用更低

调优与提示设计比较

  • 使用预训练的 Gemini 模型发出提示：提示是撰写有效指令的艺术，可以指导 Gemini 等 AI 模型生成所需的输出。这涉及设计提示，以清晰地传达任务、所需格式和任何相关上下文。您只需进行最少的设置即可使用 Gemini 的功能。它最适合的情况：
    • 有限的加标签数据：您有少量已加标签的数据或无法承受冗长的微调过程。
    • 快速原型设计：当您需要快速测试概念或获取基准性能，而无需投入大量精力进行微调时。
  • 自定义 Gemini 模型调优：为了获得更个性化的结果，Gemini 允许您针对特定数据集微调其模型。如需创建在特定领域表现出色的 AI 模型，不妨考虑微调。这涉及使用您自己的标记数据集重新训练基本模型，使其权重适应您的任务和数据。您可以根据自己的应用场景调整 Gemini。在以下情况下，微调最为有效：
    • 您有标记数据：用于训练的可调数据集（例如 100 个示例或更多），可让模型深入学习任务的具体细节。
    • 复杂或独特的任务：在高级提示策略不够用且必须根据您的数据量身定制模型的场景中。

从提示开始找到最佳提示。然后，继续进行微调（如果需要），以进一步提高性能或修复重复错误。虽然添加更多示例可能有益，但在添加更多数据之前，请务必评估模型在哪些方面出错。高质量、准确添加标签的数据对于提高性能和更好的数量都至关重要。此外，用于微调的数据应反映模型在生产环境中遇到的提示分布、格式和上下文。

与提示设计相比，调优具有以下优势：

  • 允许对模型进行深度自定义，从而在特定任务上获得更好的性能。
  • 使模型与自定义语法、指令、特定于网域的语义规则保持一致。
  • 提供更一致、更可靠的结果。
  • 能够一次处理更多示例。
  • 通过移除提示中的少样本示例和冗长说明，节省推理成本

调优方法

参数高效调优和全量微调是自定义大型模型的两种方法。这两种方法在模型质量和资源效率方面有各自的优势和影响。

参数高效微调

参数高效调优（也称为适配器调优）可让大型模型高效地适应特定任务或领域的需求。参数高效的调优会在调整过程中更新模型参数中相对较小的子集。

如需了解 Gemini Enterprise Agent Platform 如何支持适配器调优和传送，请参阅《大型基础模型自适应》白皮书了解详情。

全量微调

全量微调会更新模型的所有参数，它适合用来调整模型以适应高度复杂的任务，同时尽可能提高任务完成质量。但是，全面微调需要更多计算资源来进行调优和传送，从而导致总体费用更高。

参数高效调优与完全微调对比

与全量微调相比，参数高效调优更省资源且更经济实惠。它训练模型所需的计算资源要少得多。它能够使用较小的数据集更快地调整模型。 参数高效调优的灵活性为多任务学习提供了一种解决方案，无需进行大量重新训练。

支持的调优方法

Agent Platform 支持监督式微调、偏好调优和强化学习微调，以自定义基础模型。您还可以跨训练运行使用调优检查点和持续调优。

下表比较了主要的调优方法：

调整方法 工作原理 典型数据集大小 最适合
监督式微调 (SFT) 基于带标签的输入-输出演示进行训练 数百到数千个有标签样本 严格的输出格式设置、分类、情感分析、实体提取以及特定领域的风格或基调。
偏好调优 优化成对偏好（所选回答与被拒回答） 数百到数千个偏好对 使模型行为与主观的人类偏好、实用性或对话语气保持一致。
强化学习微调 (RLFT) 生成候选推理轨迹和回答（MINIMAL 或 HIGH 思考级别），并最大限度地提高多达 16 个加权奖励函数的得分 数十到数百个带有 references 元数据的提示 多步推理、复杂领域规则、可验证任务（例如代码或 SQL 生成），以及在不降低推理质量的情况下优化思考模型。

监督式微调

监督式微调通过让模型学习新技能来提高模型的性能。此方法使用包含数百个有标签样本的数据来训练模型，让其模拟目标行为或任务。每个有标签样本均展示您希望模型在推理期间输出的内容。

运行监督式微调作业时，模型会学习其他参数，以便对所需信息进行编码以执行目标任务或学习预期行为。在推理期间会用到这些参数。 调优作业的输出是一个新模型，它将新学习的参数与原始模型相结合。

如果模型的输出不复杂且相对容易定义，则对文本模型进行监督式微调是一个不错的选择。建议将监督式微调用于分类、情感分析、实体提取、非复杂内容的总结以及编写特定领域的查询。

支持监督式微调的模型

以下 Gemini 模型支持监督式调优：

点击即可展开支持的模型

如需详细了解如何将监督式微调与各种数据类型结合使用，请参阅以下页面：对文本、图片、音频、视频和文档数据类型进行调优。

偏好调优

Agent Platform 偏好调优以监督式微调为基础，可让您使用人类反馈数据调优 Gemini 模型。

偏好调优使模型能够从主观用户偏好中学习，而这些偏好很难仅通过使用特定标签和监督式微调来定义。

支持偏好调优的模型

以下 Gemini 模型支持偏好调优：

点击即可展开支持的模型

如需详细了解偏好调优，请参阅 Gemini 模型的偏好调优简介。

强化学习微调

强化学习微调 (RLFT) 通过程序化或基于模型的奖励函数引导的试错探索来调整 Gemini 模型。在训练期间，模型会针对每个提示采样多个候选回答和推理轨迹（MINIMAL 或 HIGH 思考级别），使用您的奖励配置在 [-1, 1] 范围内对其进行评估，并更新参数高效的 LoRA 适配器以最大限度地提高奖励。

与监督式微调（在训练期间省略中间思考 Token）不同，强化学习微调直接优化多步推理，并且在较小的数据集（通常为几十到几百个提示）上具有良好的泛化能力。您可以使用单个奖励函数或最多 16 个奖励函数的加权组合（涵盖四种评分器类型）来评估输出：

  • 字符串匹配：将模型输出与数据集的 references 字典中的标准答案字段进行比较（完全字符串或 JSON 匹配，可选择正则表达式提取）。
  • 基于 Gemini 的自动评分器：使用 LLM-as-a-judge 评分准则返回数字分数或结构化判定。
  • 代码执行：在代管式沙盒环境中运行自定义 Python evaluate(example, response) 函数。
  • Cloud Run：将候选回答发送到托管在 Cloud Run 上的自定义 HTTP 端点，以进行特定于网域的验证。

支持强化学习微调的模型

以下 Gemini 模型支持强化学习微调：

点击即可展开支持的模型

如需详细了解强化学习微调，请参阅强化学习微调简介。

调优检查点

借助调优检查点，您可以保存调优进度、比较检查点性能，并选择性能最佳的检查点，具体方式为：对于监督式微调，按周期选择；对于强化学习微调，按步长间隔 (checkpointInterval) 选择。

支持调优检查点的模型

以下 Gemini 模型支持调优检查点：

点击即可展开支持的模型

如需详细了解调优检查点，请参阅在 Gemini 调优中使用检查点和强化学习微调的作业状态、指标和监控。

持续调优

通过持续调优，您可以继续调优已调优的模型或模型检查点。您可以对已调优的模型运行额外的监督式微调周期 (SFT -> SFT)，在监督式微调检查点的基础上应用强化学习微调，以将严格的格式与增强的推理相结合 (SFT -> RLFT)，或者从之前的强化学习检查点继续训练 (RLFT -> RLFT)。

支持持续调优的模型

以下 Gemini 模型支持持续调优：

点击即可展开支持的模型

如需详细了解持续调优，请参阅 Gemini 模型的持续调优简介和通过强化学习微调进行持续调优。

后续步骤