调优简介

模型调优是调整 Gemini 以更准确地执行特定任务的关键过程。模型调优的工作原理是为模型提供训练数据集，其中包含一组特定下游任务的示例。

本页面简要介绍了 Gemini 的模型调优，介绍了 Gemini 可用的调优选项，并可帮助您确定应在何时使用每个调优选项。

调优模型的好处

模型调优是针对任务自定义大型模型的有效方法。这是提高模型质量和效率的关键步骤。模型调优具有以下优势：

  • 针对您的特定任务提供更高的质量
  • 提高模型稳健性
  • 提示较短，因此推理延迟时间和费用更低

调优与提示设计比较

  • 使用预训练的 Gemini 模型发出提示：提示是撰写有效指令的艺术 ，可以指导 Gemini 等 AI 模型 生成所需的输出。它涉及设计清晰传达任务、所需格式和任何相关上下文的提示。您只需进行最少的设置即可使用 Gemini 的功能。它最适合的情况：
    • 带标签的数据有限：如果您只有少量带标签的数据，或者无法承担漫长的微调过程。
    • 快速原型设计：当您需要快速测试概念或获取基准性能，而无需投入大量精力进行微调时。
  • 自定义 Gemini 模型微调：为了获得更个性化的 结果，Gemini 允许您针对特定 数据集微调其模型。如需创建在特定领域表现出色的 AI 模型，请考虑进行微调。这涉及使用您自己的标记数据集重新训练基本模型，使其权重适应您的任务和数据。您可以根据自己的使用场景调整 Gemini。在以下情况下，微调最为有效：
    • 您有带标签的数据：一个可用于训练的大型数据集（例如 100 个或更多示例），让模型能够深入了解任务的具体细节。
    • 复杂或独特的任务：在高级提示策略不够用且必须根据您的数据量身定制模型的场景中。

我们建议从提示开始找到最佳提示。然后，继续进行微调（如果需要），以进一步提高性能或修复重复错误。虽然添加更多示例可能很有用，但请务必先评估模型在哪些方面出错，然后再添加更多数据。高质量、带标签的数据对于获得良好的性能至关重要，比数量更重要。 此外，用于微调的数据应反映模型在生产环境中将遇到的提示分布、格式和上下文。

与提示设计相比，调优具有以下优势：

  • 允许对模型进行深度自定义，从而在特定任务上获得更好的性能。
  • 使模型与自定义语法、说明、特定于领域的语义规则保持一致。
  • 提供更一致、更可靠的结果。
  • 能够一次处理更多示例。
  • 通过移除提示中的少量示例和长说明，节省推理费用

调优方法

参数高效调优和完全微调是自定义大型模型的两种方法。这两种方法在模型质量和资源效率方面有各自的优势和影响。

参数高效微调

参数高效调优（也称为适配器调优）可让大型模型高效地适应特定任务或领域的需求。参数高效的调优会在调整过程中更新模型参数中相对较小的子集。

如需了解 Gemini Enterprise Agent Platform 如何支持适配器调优和传送，您可以 参阅以下白皮书了解详情：《大型基础模型自适应》 。

全面微调

全面微调会更新模型的所有参数，它适合用来调整模型以适应高度复杂的任务，同时尽可能提高任务完成质量。但是，全面微调需要更多计算资源来进行调优和传送，从而导致总体费用更高。

参数高效调优与完全微调对比

与全面微调相比，参数高效调优更省资源且更经济实惠。它使用的训练计算资源要少得多。它能够使用较小的数据集更快地调整模型。 参数高效调优的灵活性为多任务学习提供了一种解决方案，无需进行大量重新训练。

支持的调优方法

Agent Platform 支持监督式微调，以自定义基础模型。

监督式微调

监督式微调通过教模型一项新技能来提高模型的性能。此方法使用包含数百个有标签样本的数据来训练模型，让其模拟所需的行为或任务。每个有标签样本均展示您希望模型在推理期间输出的内容。

当您运行监督式微调作业时，模型会学习其他参数，这些参数有助于模型对必要信息进行编码，以执行所需任务或学习所需行为。这些参数在推理期间使用。 调优作业的输出是一个新模型，它将新学习的参数与原始模型相结合。

如果模型的输出不复杂且相对容易定义，则对文本模型进行监督式微调是一个不错的选择。建议对分类、情感分析、实体提取、不复杂的内容摘要以及编写特定于领域的查询使用监督式微调。对于代码模型，只能选择监督式调优。

支持监督式微调的模型

以下 Gemini 模型支持监督式调优：

点击即可展开支持的模型

如需详细了解如何将监督式微调与每个模型搭配使用， 请参阅以下页面：调优 文本、 图片、 音频和 文档数据类型。

偏好调优

Gemini Enterprise Agent Platform 偏好调优以监督式微调为基础，让您可以使用人工反馈数据调优 Gemini 模型。

偏好调优使模型能够从主观用户偏好中学习，而这些偏好很难仅使用特定标签和监督式微调来定义。

支持偏好调优的模型

以下 Gemini 模型支持偏好调优：

点击即可展开支持的模型

如需详细了解偏好调优，请参阅 Gemini 模型的偏好调优简介。

调优检查点

借助调优检查点，您可以保存调优进度、比较检查点性能并选择性能最佳的检查点。

支持调优检查点的模型

以下 Gemini 模型支持调优检查点：

点击即可展开支持的模型

如需详细了解调优检查点，请参阅在 Gemini 调优中使用检查点。

持续调优

通过持续调优，您可以添加更多周期或训练示例，继续调优已调优的模型或模型检查点。

支持持续调优的模型

以下 Gemini 模型支持持续调优：

点击即可展开支持的模型

如需详细了解持续调优，请参阅 Gemini 模型的持续调优简介。

后续步骤