コンセプトの概要
Document AI ウェアハウスは、ドキュメントとその構造化メタデータ（プロパティ）を保存、検索、整理、管理、分析するためのクラウドベースの統合プラットフォームです。ドキュメントには、構造化されたもの（フォーム、請求書など）と構造化されていないもの（契約書、研究論文など）が含まれます。プロパティ（メタデータ）には、ドキュメントから AI によって抽出されたデータと、手動または AI によって割り当てられたタグ（口座番号、ローン ID、ドキュメント タイプなど）が含まれます。
主なメリットと機能
Document AI ウェアハウスには、従来のリポジトリに比べていくつかの利点があります。以下に、機能とメリットをいくつか示します。
- API ファースト: 単一の統合 API を使用して、ドキュメントとそのプロパティ（抽出されたメタデータまたはタグ付けされたメタデータ）を管理し、ワークフローとアプリケーションに統合します。
- メタデータ管理: 抽出およびタグ付けされたメタデータを管理します。
- ガバナンス: IAM と企業ディレクトリに統合
- ドキュメント レベルとフォルダレベルでのきめ細かいアクセス制御（権限）をユーザーとグループに割り当てると、ドキュメントの表示、編集、管理（共有、削除）が可能になります。
- Document AI ウェアハウスは IAM（Cloud Identity）と統合されているため、ユーザーとグループを Cloud Identity にプロビジョニングできます。
- Azure AD、Active Directory、Keycloak などのエンタープライズ LDAP / ID プロバイダから、ユーザーやグループを Cloud Identity に連携、同期することもできます。
- 検索: このプロダクトは、次の機能を含む豊富なセマンティック検索をサポートしています。
- 全文検索
- プロパティ（日付、数値、列挙型、テキスト）で検索結果をフィルタします。フィルタは
AND演算子とOR演算子と組み合わせることができます - セマンティック検索 - 一般的な同義語、スペルミス、ステミングをサポートします。クエリで引用符（" "）を使用して、完全一致のキーワードを指定できます。
- カスタムの類義語 - 業界固有の用語や会社固有の用語など。
- ルートフォルダ階層内で検索する
- 検索キーワードの演算子:
""完全一致、|OR、+AND、-除外
- 組織: 柔軟なフォルダ管理
- ドキュメントはアプリケーションに基づいて 1 つまたは複数のフォルダにカタログ化できます（たとえば、ID カードは KYC フォルダ、ローンフォルダ、銀行口座フォルダに配置されます）。ドキュメントを複製する必要はありません。
- これらのフォルダには、ドキュメントのプロパティとアクセス制御とは独立した独自のプロパティとアクセス制御があります。
- フォルダは 1 つ以上の階層にネストできます（例: AllLoans->State->Branch->Loans または LoanTypes->Loans）。
- ユーザーは、フォルダ階層内のドキュメントを検索できます（例: AllLoans->State 内を検索）。
- UI* - ウェブ アクセス可能な UI が含まれており、次の機能を備えています。
- ドキュメント エクスプローラ: ドキュメントの検索、検索結果のフィルタ、ドキュメントの選択によるプロパティの一括更新または削除
- ドキュメント ビューア: ドキュメントの表示、プロパティの表示/更新、ACL の割り当て、フォルダへの追加
- アップロード: ドキュメントをアップロードし、DocAI** エクストラクタ（OCR または Invoice DocAI などのサポートされている専用パーサー）で実行します。
- フォルダ エクスプローラ: 1 つ以上のフォルダにドキュメントを追加し、フォルダの階層構造を確認します。
- 埋め込み可能な UI: ドキュメント エクスプローラとドキュメント ビューア（PDF 用）のコンポーネントを、お客様のアプリケーションに統合できます。
- 一般的なオンプレミス リポジトリとクラウド リポジトリへのコネクタ***: Cloud Storage から Document AI Warehouse へのコネクタ（Google Workflows に基づく個別のテンプレートとして）を提供します。このコネクタは、他のリポジトリに合わせてカスタマイズ/拡張できます。また、パートナーと協力して、Sharepoint、Amazon S3、IBM FileNet などのリポジトリへのすぐに使えるコネクタを提供し、ドキュメントの取り込みとインデックス登録を行っています。
- 移行とフェデレーションの柔軟性: このプロダクトは、ドキュメント コンテンツを Document AI ウェアハウスに移行したり、コンテンツの移行に制約がある場合にそのまま残したりすることができる柔軟なアーキテクチャをサポートしています（コンテンツとメタデータを単にインデックス登録します）。
- Document Workflows との統合 - Google Workflows やその他のドキュメント処理ワークフローと統合されます。次の機能がサポートされています。
- プロパティ - ワークフロー内のドキュメントの状態を表すプロパティと、ワークフローがドキュメントの状態を更新するために使用できる API
- Doc Explorer インターフェース - ワークフロー パイプラインからドキュメントの進行状況を追跡し、ワークフロー パイプラインでエラーや処理が停止しているドキュメントを人間が検査して管理できるようにします。
- 条件付き通知 - 特定の条件を満たすドキュメントが、Pub/Sub トピックまたは Web API 呼び出しを介してワークフローをトリガーまたは通知できます。たとえば、トリガー: OnUpdate、条件: (DocType=Invoice and TotalAmount>$1000) -> Pub/Sub 通知を送信
- ポリシー管理とコンプライアンスの適用: 条件付き通知とスケジュール設定された通知を使用して、Document AI Warehouse の特定のドキュメントにポリシー（レコード管理、保持と廃棄、法的保持など）を適用するワークフローをトリガーできます。
- サポートされているファイル - テキスト PDF、画像（スキャンされた PDF、TIFF ファイル、JPEG ファイル）、Office（DOCX、PPTX、XLSX）ファイル - OCR を実行してインデックス登録されます。
- 注 - このプロダクトはドキュメントに重点を置いていますが、関連する画像（保険、エンジニアリング、建設、研究などの業種）の管理にも使用されます。
DocAI との統合: Document AI ウェアハウスは、複数のレベルで Document AI プロセッサと統合されています。
- UI での Document AI 処理: Document AI ウェアハウス UI を使用すると、ユーザーはスキャンされた PDF や TIFF、または特殊なドキュメント タイプのいずれかをアップロードできます。どちらも、ドキュメントが Document AI ウェアハウスにインデックス登録される前に、それぞれ Document AI OCR または専用プロセッサによって自動的に抽出されます。
- バッチ Document AI パイプラインの管理***: Document AI ウェアハウスは Workflows と統合され、Document AI の抽出と分類によって、ドキュメントのバッチ パイプラインを処理するテンプレートを提供します。これは、長時間実行オペレーション（LRO）と、障害と再試行を管理する必要がある非同期 API 呼び出しを伴うため、簡単ではありません。Workflows テンプレートは、このようなパイプラインをオーケストレートします。Document AI Warehouse UI を使用すると、このようなパイプラインを介したドキュメント フローの検索と追跡、パイプラインの各ステップでの障害に対する Document AI 出力の可視化、停止または失敗したドキュメントに対するアクションの実行を行うことができます。
*UI はプレビュー版であり、まもなく一般提供される予定です。
**OCR とその他のドキュメント抽出器は Document AI プロダクトで使用できますが、Document AI ウェアハウスには含まれていません。
***これらの機能は Document AI ウェアハウスの一部ではありません。これらの機能は、お客様がデプロイまたはカスタマイズできる外部のオープンソース コンポーネントとスクリプトによって有効になりますが、Document AI ウェアハウス内には実装されません。
免責事項と既知の制限事項
免責事項と既知の制限事項の詳細については、免責事項と既知の制限事項をご覧ください。
用語
Document AI ウェアハウスで使用される用語は次のとおりです。
| 用語、コンセプト | 定義、例 |
| ドキュメント | ユーザーが検索、管理、アクセス制御の適用を行える Document AI ウェアハウス内のレコード。これには、未加工のドキュメントと関連するメタデータが含まれます。 [Document AI ウェアハウスに保存された画像は「ドキュメント」とも呼ばれます] |
| Raw Document [Content] | ドキュメントの未加工のコンテンツ ファイル（pdf/画像/バイナリ/blob）。 |
| スキーマ [ドキュメント タイプ] | 各ドキュメントは特定のドキュメント タイプであり、スキーマで指定されます。たとえば、請求書にサプライヤー名、ベンダー名、請求額などのスキーマが含まれている場合。 |
| プロパティ [Metadata] | ドキュメント スキーマのフィールド。ドキュメントから抽出されるか、ユーザーによって拡充（ラベル付け）される可能性があります。現在、メタデータには、自由形式のテキスト値、列挙型、数値、日付、マップ（Key-Value ペアの JSON 階層）などの型が含まれています。今後、ブール値や通貨などの型をサポートしていく予定です。 |
| ドキュメント エクストラクタ（DocAI など） | ドキュメントは AI パイプラインによって抽出され、抽出されたデータは Document AI ウェアハウスで（メタデータとして）元のドキュメントとともに取り込まれ、管理されます。抽出は、次の方法で行うことができます。
|
| Folders | フォルダはドキュメントの仮想コレクションです（同じドキュメントを複数のフォルダに含めることができるため、仮想です）。「ドキュメント タイプ/スキーマ」があり、ドキュメントと同様にメタデータとアクセス制御リストが含まれています。 フォルダにドキュメントを追加するには、フォルダに対する編集権限とドキュメントに対する閲覧権限が必要です。 |
| リンク | リンクは、フォルダにドキュメントを追加したり、関連するドキュメントをリンクしたりするために使用されます。リンクに「リンクタイプ」がない |
| 関連ドキュメント | ドキュメントは、あるドキュメントから別のドキュメントへの方向性のあるリンクで関連付けることができます。 |
| リンクの権限 | ドキュメントをフォルダに追加するには、リンク元オブジェクト（フォルダなど）に対する編集権限と、リンク先オブジェクト（ドキュメントなど）に対する閲覧権限が必要です。 |
| ポリシー | ドキュメントやフォルダの作成時や更新時に評価されるポリシー。ドキュメントのメタデータや ACL の検証や更新、フォルダへのドキュメントの追加、移動、削除に使用されます。ポリシーは次の要素で構成されます。
|
| 通知ポリシー | 特定の条件が満たされたときに、Pub/Sub トピックにメッセージをパブリッシュするアクションを含む特別なタイプのポリシーです。アプリケーション / ワークフローは、メッセージを消費して、ドキュメントやビジネス ワークフローの他の部分でアクションをトリガーできます。 |
| ポリシー エンジン、ポリシー API | エンジン: ポリシーを評価してアクションを実行するサーバー API: ポリシーの作成、更新、読み取り、削除に使用される Admin API。 |
| ファセット検索 | ファセットは、検索クエリで使用されるメタデータ フィルタです。たとえば、「月 = 2021 年 3 月」と「支店の都道府県 = CA」で銀行取引明細書を検索すると、検索結果がこの 2 つのファセットでフィルタされます。
|
| セマンティック検索 | セマンティック検索では、検索クエリで類義語や「意味的に関連する」語句がサポートされています。たとえば、「運転免許証」と入力すると「運転免許」が返されます。 |
| ヒストグラムの検索 | ヒストグラムは、検索結果の分布（数）をファセット別に返す検索 API 機能です。たとえば、「運転免許証」の検索結果には、「CA 500、NV 150、…」というヒストグラムが返されます。 |
| ユニバーサル アクセスとドキュメント レベルのアクセス制御 | Document AI ウェアハウスでは、プロジェクトごとに 2 つのアクセスモードがサポートされています。
|