Vertex AI 上的生成式 AI 训练概览

生成式 AI 通常依赖于大规模机器学习 (ML) 模型，这些模型基于海量数据进行预训练。这些模型称为基础模型，可作为各种任务的基础。您可以使用 Vertex AI 上的生成式 AI 通过多种方式自定义基础模型：

  • 调优：调优是指为模型提供与所选下游任务相关的特定示例的训练数据集。

    • 监督式调优：此技术使用有标签样本来微调模型。每个样本都展示了在推理期间针对给定输入的所选输出。对于预期输出不太复杂且可以明确定义的任务，监督式调优非常有效，例如分类、情感分析、实体提取、不太复杂的内容的总结以及生成特定领域的查询。您可以使用监督式学习对文本、图片、音频和文档数据类型进行调优。
    • 基于人类反馈的强化学习 (RLHF) 调优：如果所选模型输出较为复杂，则适合采用此方法。对于无法通过监督式调优轻松区分的目标，例如问答、复杂内容摘要和创意内容生成，RLHF 调优效果很好。

  • 蒸馏：蒸馏通常涉及训练较小的“学生”模型来模仿功能更强大的“教师”模型的行为。

  • 适配器模型训练：这涉及训练较小的适配器模型（或层），这些模型与基础模型结合使用，可改善专用任务的执行情况。原始基础模型的参数通常保持冻结状态，并且在训练期间仅更新适配器的权重。

  • 接地：虽然接地不是一种训练方法，但它是确保生成式 AI 输出可靠性的关键方面。接地是指将模型输出与可验证的信息源相关联，从而降低虚构内容的可能性。这通常涉及在推理期间为模型提供对特定数据源的访问权限。

后续步骤