本页面提供了使用监督学习对 Gemini 模型进行文档数据微调的先决条件和详细说明。
使用场景
借助微调，您可以根据自己的特定需求自定义强大的语言模型。以下是一些关键用例，其中使用您自己的一组 PDF 进行微调可以显著提升模型的性能：
- 内部知识库：将您的内部文档转换为一个由 AI 提供支持的知识库，以便提供即时答案和数据洞见。例如，销售代表可以立即访问过去的培训材料中的产品规格和价格详情。
- 研究助理：创建一个能够分析一系列研究论文、文章和图书的研究助理。研究气候变化的研究人员可以快速分析科学论文，以确定海平面上升趋势或评估不同缓解策略的有效性。
- 法律或监管合规性：对法律文件进行微调有助于自动审核合同，并标记潜在的不一致或风险区域。这样，法律专业人士就可以在确保合规性的同时，专注于更高级别的任务。
- 自动生成报告：自动分析复杂的财务报告、提取关键绩效指标并为利益相关方生成摘要。与手动分析相比，这可以节省时间并降低出错的风险。
- 内容摘要和分析：汇总冗长的 PDF 文档、提取关键数据洞见并分析趋势。例如，市场研究团队可以分析一系列客户调查，以确定关键主题和情绪。
- 文档比较和版本控制：比较文档的不同版本，以找出更改并跟踪修订。在协作环境中，多个作者共同编辑文档时，此功能特别有用。
限制
在数据集中包含 PDF 时，存在以下限制：
- 每个示例的 PDF 页数上限：300
- 每个示例的 PDF 文件数量上限：4
- PDF 文件大小上限：20MB
如需详细了解文档理解要求，请参阅文档理解。
数据集格式
数据集的 fileUri 可以是 Cloud Storage 存储桶中文件的 URI，也可以是可公开访问的 HTTP 或 HTTPS 网址。
如需查看通用格式示例，请参阅适用于 Gemini 的数据集示例。
以下是文档数据集示例。
{
"contents": [
{
"role": "user",
"parts": [
{
"fileData": {
"mimeType": "application/pdf",
"fileUri": "gs://cloud-samples-data/generative-ai/pdf/2403.05530.pdf"
}
},
{
"text": "You are a very professional document summarization specialist. Please summarize the given document."
}
]
},
{
"role": "model",
"parts": [
{
"text": "The report introduces Gemini 2.0 Flash, a multimodal AI model developed by Google DeepMind. The report positions Gemini 2.0 Flash as a significant advancement in multimodal AI, pushing the boundaries of long-context understanding and opening new avenues for future research and applications."
}
]
}
]
}
（仅限 Gemini 3 及更高版本的模型）从 Gemini 3 模型开始，您还可以为每个媒体文件单独设置媒体分辨率Part。这样，您就可以在数据集中混合使用不同的分辨率（例如，为一个商品设置 MEDIA_RESOLUTION_HIGH，为另一个商品设置 MEDIA_RESOLUTION_LOW）。
Part 级媒体分辨率设置优先于全局设置。
如果您未为特定媒体指定媒体 Part，则默认值与投放端的默认值相同。如需详细了解部件级分辨率及其对应的 token 数，请参阅媒体分辨率。
以下是一个数据集示例，其中在 Part 级别和全局级别设置了媒体分辨率：
{
"contents": [
{
"role": "user",
"parts": [
{
"fileData": {
"mimeType": "application/pdf",
"fileUri": "gs://cloud-samples-data/generative-ai/pdf/2403.05530.pdf"
}
},
{
"fileData": {
"mimeType": "application/pdf",
"fileUri": "gs://<path to another PDF>"
},
"mediaResolution": {
"level": "MEDIA_RESOLUTION_HIGH"
}
},
{
"text": "Describe these documents in detail."
}
]
},
{
"role": "model",
"parts": [
{
"text": "PDF 1 is low resolution while PDF 2 is sharp and clear"
}
]
}
],
"generationConfig": {
"mediaResolution": "MEDIA_RESOLUTION_LOW"
}
}
后续步骤
- 如需详细了解 Gemini 模型的文档理解功能，请参阅文档理解概览。
- 如需开始调优，请参阅使用监督式微调来调优 Gemini 模型
- 如需了解如何在构建生成式 AI 知识库的解决方案中使用监督式微调，请参阅快速起步解决方案：生成式 AI 知识库。