概念性概览
Document AI Warehouse 是一个基于云的集成平台，用于存储、搜索、整理、治理和分析文档及其结构化元数据（称为“属性”）。文档包括结构化文档（例如表单、账单）和非结构化文档（例如合同、研究论文），其属性（元数据）包括从文档中提取的 AI 数据以及手动或 AI 分配的标签（例如账号、贷款 ID、文档类型）。
主要优势和功能
与旧版代码库相比，Document AI Warehouse 具有多项优势。以下是一些功能和优势：
- API 优先：单个集成式 API，用于管理文档及其属性（提取或标记的元数据），可集成到您的工作流和应用中。
- 元数据管理：管理提取和已标记的元数据。
- 治理：与 IAM 和企业目录集成
- 您可以将文档和文件夹级层的精细访问权限控制（权限）分配给用户和群组，以允许其查看、修改、管理（共享、删除）文档。
- Document AI Warehouse 与 IAM (Cloud Identity) 集成，因此您可以将用户和群组预配到 Cloud Identity 中
- 您也可以从企业 LDAP/身份提供方（如 Azure AD、Active Directory 和 Keycloak）将用户/群组联合 / 同步到 Cloud Identity 中。
- 搜索：该产品支持丰富的语义搜索，包括以下功能：
- 全文搜索
- 按属性（日期、数字、枚举、文本）过滤搜索结果。
过滤条件可以与
AND和OR运算符结合使用 - 语义搜索 - 支持常见同义词、拼写错误和词干提取。 您可以在查询中使用引号 (" ") 来指定完全匹配关键字
- 自定义同义词 - 例如，行业专用术语或公司专用术语。
- 在根文件夹层次结构中搜索
- 搜索广告关键字的运算符：
""完全匹配、|或、+与、-排除
- 组织：灵活的文件夹管理
- 您可以根据应用将文档编目到一个或多个文件夹中（例如，将一张身份证放在 KYC 文件夹、贷款文件夹或银行账户文件夹中），而不需要复制该文档。
- 这些文件夹有自己的属性和访问权限控制，独立于文档属性和访问权限控制。
- 文件夹可以嵌套在一个或多个层次结构中 [例如，AllLoans->State->Branch->Loans 或 LoanTypes->Loans]。
- 用户可以在文件夹层次结构中搜索文档，例如在 AllLoans->State 中搜索
- 界面* - 产品包含可通过 Web 访问的界面，具有以下功能：
- 文档浏览器：搜索文档、过滤搜索结果、选择文档以批量更新属性或删除
- 文档查看者：查看文档、查看/更新其属性、分配 ACL、添加到文件夹
- 上传：上传文档，并通过 DocAI** 提取器（OCR 或受支持的专用解析器，例如 Invoice DocAI）运行这些文档。
- 文件夹浏览器：将文档添加到一个或多个文件夹，浏览文件夹层次结构。
- 可嵌入界面：文档浏览器和文档查看器（适用于 PDF）组件可集成到客户的应用中
- 连接器***：连接到常见的本地和 Cloud Repository：我们提供 Cloud Storage 到 Document AI Warehouse 连接器（作为基于 Google Workflows 的单独模板），可自定义/扩展到其他代码库。我们还与合作伙伴合作，提供与 Sharepoint、Amazon S3、IBM FileNet 等代码库的开箱即用连接器，以注入文档并为其编制索引。
- 迁移与联合灵活性：该产品支持灵活的架构，您的文档内容可以迁移到 Document AI Warehouse，或者如果内容迁移存在限制，可以原地保留（我们只将内容和元数据编入索引）
- 与文档工作流集成 - 通过支持以下功能，与 Google Workflows 和其他文档处理工作流集成：
- 属性 - 表示工作流中文档的状态，以及工作流可用于更新文档状态的 API
- Doc Explorer 界面 - 用于通过工作流流水线跟踪文档的进度，您可以安排人工检查和管理工作流流水线中的故障和停滞的文档。
- 有条件通知 - 满足特定条件的文档可以通过 Pub/Sub 主题或 Web API 调用触发/通知工作流：例如，触发器：OnUpdate；条件：(DocType=Invoice and TotalAmount>$1000) -> 发送 Pub/Sub 通知
- 政策管理和合规性强制执行：条件式通知和预定通知可用于触发对 Document AI Warehouse 中的特定文档强制执行政策（例如记录管理、保留和处置、法定保全）的工作流。
- 支持的文件 - 文本 PDF、图片（扫描的 PDF、TIFF 文件、JPEG 文件）、Office（DOCX、PPTX、XLSX）文件 - 通过 OCR 运行并编入索引。
- 注意 - 虽然该产品专注于文档，但它也用于管理相关图片（例如，在保险、工程、建筑、研究等行业）。
与 DocAI 集成：Document AI Warehouse 在多个级别与 Document AI 处理器集成：
- 界面中的 Document AI 处理：Document AI Warehouse 界面允许用户上传扫描的 PDF/TIFF 或特殊文档类型。文档在 Document AI Warehouse 中编入索引之前，会分别由 Document AI OCR 或专用处理器自动提取。
- 管理批处理 Document AI 流水线***：Document AI Warehouse 与 Workflows 集成，提供通过 Document AI 提取和分类来处理文档的批处理流水线的模板。这并非易事，因为它涉及长时间运行的操作 (LRO) 和异步 API 调用，需要管理失败和重试。Workflows 模板可编排此类流水线。Document AI Warehouse 界面可用于搜索和跟踪通过此类流水线的文档流，直观呈现流水线每个步骤中失败的 Document AI 输出，并对停滞/失败的文档采取行动。
*该界面目前为预览版，预计很快会正式发布。
**Document AI 产品中提供 OCR 和其他文档提取器，但它们不包含在 Document AI Warehouse 中。
***这些功能不属于 Document AI Warehouse。这些功能通过可由客户部署或自定义的外部开源组件和脚本启用，未在 Document AI Warehouse 中实现。
免责声明和已知限制
如需详细了解免责声明和已知限制，请参阅免责声明和已知限制
术语
以下是 Document AI Warehouse 中使用的术语。
| 术语、概念 | 定义、示例 |
| 文档 | Document AI Warehouse 中的一条记录，用户可以对其进行搜索、管理和实施访问权限控制。它由原始文档和一些关联的元数据组成。
[存储在 Document AI Warehouse 中的图片也称为“文档”] |
| 原始文档 [内容] | 文档的原始内容文件（pdf/图片/二进制/blob）。 |
| 架构 [文档类型] | 每个文档都属于特定文档类型，并由架构指定。例如，账单包含以下架构：供应商名称、账单金额等。 |
| 属性 [元数据] | 文档架构中可能从文档中提取或由用户丰富（标记）的字段。目前，元数据包括以下类型：自由文本值、枚举、数字、日期、映射（键值对的 JSON 层次结构）。我们计划在未来支持布尔值、金额和其他类型。 |
| 文档提取器（DocAI 等） | 文档可能会由 AI 流水线提取，以便在 Document AI Warehouse 中与原始文档一起提取和管理（作为元数据）。提取可以通过以下方式完成：
|
| 文件夹 | 文件夹是文档的虚拟集合（之所以称为虚拟，是因为同一文档可以包含在一个或多个文件夹中）。它具有“文档类型/架构”，并包含元数据和访问控制列表，就像文档一样。
用户需要拥有文件夹的“编辑”权限和文档的“查看”权限，才能将文档添加到文件夹中 |
| 链接 | 链接用于将文档添加到文件夹或将相关文档链接在一起。链接没有“链接类型” |
| 相关文档 | 文档可以通过从一个文档到另一个文档的方向链接进行关联。 |
| 关联权限 | 用户需要对“链接自”对象（例如文件夹）拥有“修改”权限，并对“链接至”对象（例如文档）拥有“查看”权限，才能将文档添加到文件夹中 |
| 政策 | 在创建/更新文档/文件夹时评估的政策，用于验证或更新文档元数据、ACL 或在文件夹中添加/移动/移除文档。政策包含：
|
| 通知政策 | 是一种特殊类型的政策，其操作是在满足特定条件时向 Pub/Sub 主题发布消息。使用方应用 / 工作流可能会使用该消息来触发对文档或业务工作流其他部分的操作。 |
| 政策引擎、政策 API | 引擎：评估政策并采取行动的服务器
API：用于创建/更新/读取/删除政策的 Admin API。 |
| 分面搜索 | Facet 是搜索查询中使用的元数据过滤条件。例如，搜索“Month = March 2021”和“Branch State = CA”的银行对账单会按这两个分面过滤搜索结果。
|
| 语义搜索 | 语义搜索支持搜索查询中的同义词或“语义相关”字词。例如，“Driver license”会返回“driver permit”。 |
| 搜索直方图 | 直方图是一项搜索 API 功能，可按构面返回搜索结果的分布（计数）。例如，Driver License 的搜索结果会返回直方图“CA 500, NV 150, …” |
| 公开访问权限与文档级访问权限控制 | Document AI Warehouse 为每个项目支持两种访问模式
|