为文档加标签

必须使用加标签的文档数据集才能训练、追加训练或评估处理器版本。

本页面介绍了如何将处理器架构中的标签应用于数据集中导入的文档。

本页面假定您已 创建支持训练、追加训练或评估的处理器。如果您的处理器受支持，您现在会 在 Google Cloud 控制台中看到 训练 标签页。本页面还假定您已 创建数据集、导入文档并定义处理器 架构。

用于生成式 AI 提取的名称字段

字段的命名方式会影响使用生成式 AI 提取字段的准确性。我们建议您在命名字段时遵循以下最佳实践：

• 使用与文档中描述字段时所用的语言相同的语言来命名字段: 例如，如果文档中有一个字段描述为 Employer Address，则将 该字段命名为 employer_address。请勿使用缩写，例如 emplr_addr。

• 目前不支持在字段名称中使用空格：请使用 _ 而不是空格。例如：First Name 应命名为 first_name。

• 迭代名称以提高准确率：Document AI 有一个 限制，不允许更改字段名称。如需测试不同的名称， 请使用重命名实体名称工具 在数据集中使用较新的名称更新旧实体的名称，导入数据集， 在处理器中启用新实体，然后停用或删除现有字段。

零样本学习和少量样本学习

搭载 Gemini 的模型具有零样本学习和少量样本学习功能，只需少量或无需训练数据即可创建高性能模型。

零样本学习 是一个机器学习示例，其中预训练模型在没有任何追加训练的情况下，学习识别和分类在测试期间之前从未遇到过的类别和实体。

少量样本学习 是指模型仅需每个类别提供少量训练示例，即可学习识别和分类新类别和实体。它利用在大型、标记良好的数据集上预训练的模型中的知识，来提高少样本任务的性能。

当训练数据集整洁且经过仔细标记时，少样本会更加有效。通常，这意味着模型至少需要 10 个测试示例和 10 个训练示例才能进行学习。

标签选项

以下是为文档添加标签的选项：

• 手动：在 Google Cloud 控制台中手动为文档添加标签

• 自动添加标签：使用现有处理器版本生成 标签

• 导入预先添加标签的文档：如果您已有 加标签的文档，则可以节省时间

在 Google Cloud 控制台中手动添加标签

在训练 标签页中，选择一个文档以打开标签工具。

在标签工具左侧的架构标签列表中，选择“添加”符号以选择边界框 工具，突出显示文档中的实体并将其分配给标签。

在以下屏幕截图中，文档中的 EMPL_SSN EMPLR_ID_NUMBER、EMPLR_NAME_ADDRESS、FEDERAL_INCOME_TAX_WH、SS_TAX_WH、SS_WAGES 和 WAGES_TIPS_OTHER_COMP 字段已分配标签。

使用边界框 工具选择复选框实体时，请仅选择复选框本身，而不要选择任何关联的文本。确保左侧显示的复选框实体处于选中或未选中状态，以与文档中的内容保持一致。

为父子实体添加标签时，请勿为父实体添加标签。父实体只是子实体的容器。请仅为子实体添加标签。 父实体会自动更新。

为子实体添加标签时，请先为第一个子实体添加标签，然后将相关的子实体与该行关联。首次为这类实体添加标签时，您会在第二个子实体中注意到这一点。例如，对于发票， 如果您为说明 添加标签，它看起来就像任何其他实体一样。但是，如果您接下来为数量 添加标签，系统会提示您选择父级。

针对每个新行项重复此步骤，方法是为每个新行项选择新建父实体 。

父子实体支持最多三层嵌套的表格。 基础模型支持三层字段（祖父级、父级、子级），因此子实体可以有一层子级。如需详细了解嵌套，请参阅 三级嵌套。

速查表

为表格添加标签时，重复为每一行添加标签可能会很麻烦。 有一个非常方便的工具可以复制行实体结构。 请注意，此功能仅适用于水平对齐的行。

1. 首先，照常为第一行添加标签。

2. 然后，将指针停留在表示该行的父实体上。选择添加更多行 。该行将成为创建更多行的模板。

   

3. 选择表格的其余区域。

   

该工具会猜测注解，通常情况下可以正常运行。对于无法处理的任何表格，请手动添加注解。

在控制台中使用键盘快捷键

如需查看可用的键盘快捷键，请选择标签控制台右上角的 菜单 。系统会显示键盘快捷键列表，如下表所示。

操作	快捷键
放大	Alt + =（macOS 上为 Option + =）
缩小	Alt + -（macOS 上为 Option + -）
缩放至合适大小	Alt + 0（macOS 上为 Option + 0）
滚动即可缩放	Alt + Scroll（macOS 上为 Option + Scroll）
平移	Scroll
已撤消的平移	Shift + Scroll
拖动进行平移	Space + Mouse drag
撤消	Ctrl + Z（macOS 上为 Control + Z）
重做	Ctrl + Shift + Z（macOS 上为 Control + +Shift + Z）

自动添加标签

如果可用，您可以使用现有版本的处理器开始添加标签。

注意 ：只有当处理器版本支持 该标签时，自动添加标签功能才能填充标签。下面介绍了启动自动添加标签 流程。

注意： 在自动添加标签期间，系统不会强制执行架构合规性。 您必须为每个实体的所有实例添加标签，以用于训练。

1. 您可以在导入 期间启动自动添加标签功能。系统会使用指定的处理器版本为所有文档添加注解。

   

2. 对于未加标签或自动添加标签类别中的文档，您可以在导入 后启动自动添加标签功能。系统会使用指定的处理器版本为所有选定文档添加注解。

   

您不能使用自动添加标签的文档进行训练或追加训练，也不能在测试集中使用这些文档，除非将其标记为已加标签。手动审核并更正自动添加标签的注解，然后选择标记为已加标签 以保存更正。然后，您可以根据需要分配文档。

导入预先添加标签的文档

您可以导入 JSON Document 文件。如果文档中的 entity 与处理器架构中的标签匹配，导入器会将 entity 转换为标签实例。您可以通过多种方式获取 JSON 文档文件：

• 从其他处理器导出数据集。请参阅 导出数据集。

• 向现有处理器发送处理请求。

• 使用 导入工具包 转换来自其他系统的现有标签，例如将 CSV 格式的标签 转换为 JSON 文档。

为文档添加标签的最佳实践

如需训练高质量的处理器，您需要保持标签的一致性。我们建议您：

• 创建标签说明：您的说明应包含 常见情况和极端情况的示例。一些提示：

  • 说明应为哪些字段添加注解，以及如何确保标签的一致性。例如，为“金额”添加标签时，请指定是否应为币种符号添加标签。如果标签不一致，则处理器质量会降低。
  • 为实体的所有出现位置添加标签，即使标签类型为 REQUIRED_ONCE 或 OPTIONAL_ONCE 也是如此。例如，如果 invoice_id 在文档中出现两次，请为其所有出现位置添加标签。
  • 通常，建议先使用默认的边界框工具添加标签。如果失败，请使用选择文本工具。
  • 如果 OCR 未正确检测到标签的值，请勿手动更正该值。否则，该值将无法用于训练。

以下是一些标签说明示例：

• 银行对账单解析器
• 工资单解析器
• 费用解析器
• 发票解析器

• 训练注解者：确保注解者理解并能够遵循 准则，且不会出现任何系统性错误。实现此目标的一种方法是让不同的受训者为同一组文档添加注解。然后，培训师可以检查每位受训者的注解工作的质量。您可能需要重复此过程，直到受训者达到基准准确率水平。
• 初始审核：在为用例添加标签的新标签者为大量文档添加标签之前，应先审核其为用例添加标签的前几个（10 个左右）文档，以防止出现大量需要更正的错误。
• 注解质量审核：鉴于注解工作的艰巨性，即使是 经过训练的注解者也可能会犯错。我们建议至少再由一位经过训练的注解者检查注解。

添加说明提示

在自定义提取器和自定义敏感类别中向架构添加标签时，您可以为标签添加说明。这有助于训练处理器，方法是提供一个提示来识别标签。您可以尝试稍加修改以测试回答质量。例如，“总金额”“账单总金额”或“账单的总金额”。

提示： 这些说明可以“被动”使用。如果某个标签经常被误认为相似的标签，您可以使用每个标签的说明来阐明它们之间的差异，从而减少误报。

重新同步数据集

重新同步可使数据集的 Cloud Storage 文件夹与 Document AI 的内部元数据索引保持一致。如果您不小心更改了 Cloud Storage 文件夹并想要同步数据，这将非常有用。

如需重新同步，请执行以下操作：

在处理器详细信息 标签页中，选择存储位置 行旁边的，然后选择重新同步数据集。

使用说明：

• 如果您从 Cloud Storage 文件夹中删除文档，重新同步会将其从数据集中移除。
• 如果您向 Cloud Storage 文件夹中添加文档，重新同步不会将其添加到数据集中。如需添加文档，请导入它们。
• 如果您在 Cloud Storage 文件夹中修改文档标签，重新同步会更新数据集中的文档标签。

迁移数据集

借助导入和导出功能，您可以将数据集中的所有文档从一个处理器移至另一个处理器。如果您在不同的 区域或 Google Cloud 项目中拥有处理器，如果您有 用于暂存和生产的不同处理器，或者用于一般离线 使用，这将非常有用。

请注意，系统只会导出文档及其标签。数据集元数据（例如处理器架构、文档分配情况 [训练/测试/未分配] 和文档标签状态 [已加标签、未加标签、自动添加标签]）不会 导出。

复制并导入数据集，然后训练目标处理器，与训练源处理器并不完全相同。这是因为在训练过程开始时会使用随机值。使用 importProcessorVersion API 调用在项目之间导入迁移完全相同的模型。如果政策允许，这是将处理器迁移到更高环境（例如从开发环境到暂存环境再到生产环境）的最佳实践。

导出数据集

如需将所有文档以 JSON Document 文件的形式导出到 Cloud Storage 文件夹， 请选择 导出数据集。

请注意以下几点重要事项：

1. 在导出期间，系统会创建三个子文件夹：Test、Train 和 Unassigned。您的文档会相应地放入这些子文件夹中。

2. 文档的标签状态不会导出。如果您稍后导入文档，它们不会标记为自动添加标签 。

3. 如果您的 Cloud Storage 位于不同的 Google Cloud 项目中，请务必 授予访问权限，以便 Document AI 可以将文件写入 该位置。具体而言，您必须向 Document AI 的核心服务代理 service-{project-id}@gcp-sa-prod-dai-core.iam.gserviceaccount.com授予 Storage Object Creator角色。如需了解详情，请参阅 服务代理。

导入数据集

该过程与导入文档相同。

选择性标签用户指南

选择性标签有助于提供有关要添加标签的文档的建议。您可以创建多样化的训练和测试数据集，以训练具有代表性的模型。每次执行选择性标签时，系统都会从数据集中选择最多 30 个最多样化的文档。

获取建议文档

1. 创建 CDE 处理器并导入文档。

   • 训练至少需要 100 个文档（测试需要 25 个）。
   • 导入足够的文档并执行选择性标签后，信息栏应会显示。

   

   

2. 如果 CDE 处理器没有建议的文档，请导入更多文档，以便在拆分中包含足够的文档以进行抽样。

   • 这应会在建议的类别 中启用建议的文档。您应该能够手动请求建议的文档。
   • 顶部有一个新过滤条件，用于过滤掉建议的文档。

   

为建议的文档添加标签

1. 前往左侧标签列表面板中的建议的类别 。开始为这些文档添加标签。

   

2. 如果处理器经过训练，请在信息栏中选择自动添加标签 。 为建议的文档添加标签。

   

3. 然后，当处理器中有建议的文档可供浏览时，您可以在栏中选择立即审核 以进行浏览。应审核所有自动添加标签的文档，以确保其准确性。开始审核。

   

在为所有建议的文档添加标签后进行训练

前往信息栏中的立即训练 。为建议的文档添加标签后，您应该会看到以下信息栏，建议您进行训练。

支持的功能和限制

功能	说明	支持
支持旧处理器	可能无法与之前导入数据集的旧处理器很好地配合使用