Document AI 倉儲總覽

概念總覽

Document AI Warehouse 是雲端式整合平台，可儲存、搜尋、整理、管理及分析文件和當中的結構化中繼資料 (稱為屬性)。文件包括結構化 (例如表單、應付憑據) 和非結構化 (例如合約、研究論文) 文件，其屬性 (中繼資料) 包括從文件中擷取的 AI 資料，以及手動或 AI 指派的標記 (例如帳號、貸款 ID、文件類型)。

主要優勢與特色

與舊版存放區相比，Document AI Warehouse 具備多項優勢。以下是部分功能和優點：

  • API 優先：單一整合式 API，可管理文件及其屬性 (擷取或標記的中繼資料)，並整合至工作流程和應用程式。
  • 中繼資料管理：管理已擷取並加上標記的中繼資料。
  • 管理：與 IAM 和企業目錄整合
    • 您可以將文件和資料夾層級的精細存取權控管機制 (權限) 指派給使用者和群組，藉此查看、編輯、管理 (共用、刪除) 文件。
    • Document AI Warehouse 已與 IAM (Cloud Identity) 整合，因此您可以將使用者和群組佈建至 Cloud Identity
    • 使用者/群組也可以從企業 LDAP/識別資訊提供者 (例如 Azure AD、Active Directory 和 Keycloak) 聯合 / 同步到 Cloud Identity。
  • 搜尋：產品支援豐富的語意搜尋，包括下列功能：
    • 全文搜尋
    • 依據屬性 (日期、數字、列舉、文字) 篩選搜尋結果。篩選器可與 AND 和 OR 運算子搭配使用
    • 語意搜尋：支援常見的同義詞、錯別字和詞幹。您可以在查詢中使用引號 (" ")，指定完全比對關鍵字
    • 自訂同義詞，例如產業專屬或公司專屬字詞。
    • 在根資料夾階層中搜尋
    • 搜尋關鍵字的運算子：""完全比對、|或、+和、-排除
  • 機構：靈活的資料夾管理
    • 視應用程式而定，文件可以編入一或多個資料夾 (例如身分證放在客戶身分驗證資料夾、貸款資料夾或銀行帳戶資料夾中)，無須複製文件。
    • 這些資料夾有專屬的屬性和存取控管，與文件屬性和存取控管各自獨立。
    • 資料夾可以嵌套在一或多個階層中 [例如 AllLoans->State->Branch->Loans 或 LoanTypes->Loans]。
    • 使用者可以搜尋資料夾階層中的文件，例如在 AllLoans->State 中搜尋
  • UI*：產品包含可透過網路存取的 UI，並具備下列功能：
    • 文件探索工具：搜尋文件、篩選搜尋結果、選取文件，以便大量更新屬性或刪除
    • 文件檢視者：查看文件、查看/更新文件屬性、指派 ACL、新增至資料夾
    • 上傳：上傳文件，並透過 DocAI ** 擷取器 (OCR 或支援的專用剖析器，例如 Invoice DocAI) 執行文件。
    • 資料夾探索工具：將文件新增至一或多個資料夾，探索資料夾階層。
    • 可嵌入的使用者介面：Doc Explorer 和 Doc Viewer (適用於 PDF) 元件可整合至客戶的應用程式
  • 連接器***，可連結至常見的地端部署和 Cloud Repository：我們提供 Cloud Storage 至 Document AI Warehouse 連接器 (以 Google Workflows 為基礎的獨立範本)，可自訂/擴充至其他存放區。我們也與合作夥伴合作，提供現成的連接器，可連接至 Sharepoint、Amazon S3、IBM FileNet 等存放區，以便擷取文件並建立索引。
  • 遷移與聯合彈性：本產品支援靈活的架構，如果遷移內容有限制，您的文件內容就能遷移至 Document AI 倉儲或存放在存放區中 (我們會單純針對內容和中繼資料建立索引)。
  • 與文件工作流程整合：支援下列項目，可與 Google Workflows 和其他文件處理工作流程整合：
    • 屬性：代表工作流程中的文件狀態，以及工作流程可用來更新文件狀態的 API
    • Doc Explorer 介面：透過工作流程管道追蹤文件處理進度，並以人工方式檢查及管理工作流程管道中的錯誤和進度停滯的文件。
    • 條件式通知：符合特定條件的文件可透過 Pub/Sub 主題或 Web API 呼叫觸發/通知工作流程，例如：觸發條件：OnUpdate；條件：(DocType=Invoice 且 TotalAmount>$1000) -> 傳送 Pub/Sub 通知
  • 政策管理和法規遵循執行：條件式通知和排定通知可用於觸發工作流程，對 Document AI Warehouse 中的特定文件強制執行政策 (例如記錄管理、保留和處置、訴訟保留)。
  • 支援的檔案：文字 PDF、圖片 (掃描的 PDF、TIFF 檔案、JPEG 檔案)、Office (DOCX、PPTX、XLSX) 檔案，會透過 OCR 執行並建立索引。
    • 注意：雖然產品重點是文件，但也可用於管理相關圖片 (例如保險、工程、建築、研究等產業)。

  • 與 DocAI 整合：Document AI Warehouse 在多個層級與 Document AI 處理器整合：

    • 在 UI 中處理 Document AI：Document AI Warehouse UI 可讓使用者上傳掃描的 PDF/TIFF 或特殊文件類型，Document AI OCR 或特殊處理器會分別自動擷取上述兩種文件，再將文件存放至 Document AI Warehouse 並建立索引。
    • 管理 Document AI 批次管道***：Document AI Warehouse 與 Workflows 整合，提供多種批次管道範本，方便您透過 Document AI 擷取和分類功能處理文件。這項作業相當複雜，因為涉及長時間執行 (LRO) 作業和非同步 API 呼叫，必須管理失敗和重試作業。Workflows 範本會自動調度管理這類管道。您可以使用 Document AI Warehouse UI 搜尋及追蹤這類管道中的文件流程、以視覺化方式呈現 Document AI 輸出內容，瞭解管道中每個步驟的失敗情形，並對停滯/失敗的文件採取行動。

*使用者介面目前為預先發布版，預計很快就會正式發布。

**OCR 和其他文件擷取器可在 Document AI 產品中使用，但不包含在 Document AI Warehouse。

***這些功能不屬於 Document AI Warehouse。上述功能必須透過外部開放原始碼元件和指令碼啟用，但 Document AI 倉儲並未導入這些內容，客戶可自行部署或自訂所需元件和指令碼。

免責事項和已知限制

如要進一步瞭解免責事項和已知限制，請參閱「免責事項和已知限制」

術語

以下是 Document AI Warehouse 使用的術語。

Terms, Concepts 定義、範例
文件 Document AI Warehouse 中的記錄，使用者可以搜尋、管理及強制執行存取控管。包含原始文件和部分相關聯的中繼資料。

[儲存在 Document AI Warehouse 的圖片也稱為「文件」]

原始文件 [內容] 文件的原始內容檔案 (PDF/圖片/二進位檔/blob)。
結構定義 [文件類型] 每份文件都有特定文件類型，並由結構定義指定。例如，應付憑據包含下列結構定義：供應商名稱、廠商名稱、應付憑據金額等。
Property [Metadata] 文件結構定義的欄位，可從文件擷取或由使用者擴充 (加上標籤)。目前中繼資料包含下列類型：自由文字值、列舉、數值、日期、對應 (鍵/值組合的 JSON 階層)。我們預計日後會支援布林值、金額和其他類型。
文件擷取器 (DocAI 等) 文件可由 AI 管道擷取，以便在 Document AI Warehouse 中擷取及管理 (做為中繼資料)，以及原始文件。擷取方式如下：
  • Document AI 專用剖析器 (用於採購表單、貸款表單等)
  • OCR、AutoML、表單剖析器 (適用於 TIFF/PNG 等圖片)
  • 其他自訂模型
  • 文字擷取工具，適用於 PDF、Office 文件等特殊文件格式。

    請注意，Document AI Warehouse 可與任何擷取管道搭配使用，只要該管道呼叫 Document AI Warehouse API 來擷取/更新文件即可。
資料夾 資料夾是文件的虛擬集合 (之所以稱為虛擬，是因為同一份文件可以包含在一或多個資料夾中)。它有「文件類型/結構定義」，並包含中繼資料和存取控管清單，就像文件一樣。

使用者必須具備資料夾的「編輯」權限和文件的「檢視」權限，才能將文件新增至資料夾。

連結 連結可用於將文件新增至資料夾，或連結相關文件。連結沒有「連結類型」
相關文件 文件可以透過從一份文件指向另一份文件的方向連結建立關聯。
連結權限 使用者必須具備連結來源物件 (例如資料夾) 的「編輯」權限，以及連結目標物件 (例如文件) 的「檢視」權限，才能將文件新增至資料夾。
政策 在建立/更新文件/資料夾時評估的政策，用於驗證或更新文件中繼資料、ACL，或在資料夾中新增/移動/移除文件。政策包含：
  • 觸發條件，例如 DocUpdate/DocCreate
  • 條件，例如 Invoice.Amount <$1000
  • 動作，例如更新文件中繼資料、傳回條件評估、將文件新增至資料夾等。

    政策通常與文件類型相關聯。

    並以低程式碼的一般運算語言 (JSON 格式，稍後會說明) 表示
通知政策 這是一種特殊類型的政策，會在符合特定條件時，將訊息發布至 Pub/Sub 主題。取用應用程式 / 工作流程可能會取用訊息，觸發文件或其他業務工作流程部分的動作。
政策引擎、Policy API 引擎：評估政策並採取行動的伺服器

API：用於建立/更新/讀取/刪除政策的 Admin API。
分面搜尋 Facet 是搜尋查詢中使用的中繼資料篩選器。舉例來說，搜尋「Month = March 2021」和「Branch State = CA」的銀行對帳單，系統就會依據這 2 個面向篩選搜尋結果。
  • Facet 通常是列舉欄位。我們會在日後推出的版本中支援日期和數字 facet。
  • 管理員會透過 Admin API，在文件結構定義中指定文件類型的 facet
語意搜尋 語意搜尋支援搜尋查詢中的同義詞或「語意相關」字詞。例如，輸入「駕照」會傳回「駕駛執照」。
搜尋直方圖 直方圖是 Search API 的一項功能，可依據 facet 傳回搜尋結果的分佈情形 (計數)。舉例來說，駕照的搜尋結果會傳回直方圖「CA 500, NV 150, …」
通用存取權與文件層級存取控管機制 Document AI Warehouse 為每項專案提供兩種存取模式
  1. 通用存取權：任何使用者都能存取專案中的任何文件。API 存取權控管對象為使用者帳戶或服務帳戶，但沒有文件層級權限
  2. 文件層級 ACL：使用者會獲得文件層級權限。每份文件都有指派給使用者/群組的 R/U/D 權限。