コンセプトの概要
Document AI ウェアハウスは、ドキュメントとドキュメントの構造化されたメタデータ（プロパティと呼ばれる）を保存、検索、整理、管理、分析するためのクラウドベースの統合プラットフォームです。ドキュメントには、構造化されたドキュメント（フォーム、請求書など）と構造化されていないドキュメント（契約書、研究論文など）が含まれます。プロパティ（メタデータ）には、ドキュメントから AI によって抽出されたデータと、手動または AI によって割り当てられたタグ（口座番号、ローン ID、ドキュメント タイプなど）が含まれます。
主なメリットと機能
Document AI ウェアハウスには、以前のリポジトリに比べていくつかの利点があります。主な機能とメリットは次のとおりです。
- API ファースト: 単一の統合 API。ドキュメントとそのプロパティ（抽出またはタグ付けされたメタデータ）を管理し、ワークフローやアプリケーションに統合します。
- メタデータ管理: 抽出およびタグ付けされたメタデータを管理します。
- ガバナンス: IAM および企業ディレクトリと統合
- ドキュメント レベルとフォルダレベルでのきめ細かいアクセス制御（権限）をユーザーとグループに割り当てると、ドキュメントの表示、編集、管理（共有、削除）が可能になります。
- Document AI ウェアハウスは IAM（Cloud Identity）と統合されているため、ユーザーとグループを Cloud Identity にプロビジョニングできます。
- Azure AD、Active Directory、Keycloak などのエンタープライズ LDAP / ID プロバイダから、ユーザーやグループを Cloud Identity に連携、同期することもできます。
- 検索: このプロダクトは、次の機能を含む高度なセマンティック検索をサポートしています。
- 全文検索
- プロパティ（日付、数値、列挙型、テキスト）による検索結果のフィルタリング。フィルタは
AND演算子とOR演算子と組み合わせることができます。 - セマンティック検索 - 一般的な類義語、スペルミス、語幹処理をサポートします。クエリで引用符（" "）を使用して、完全一致キーワードを指定できます。
- カスタムの類義語（業界固有の用語や会社固有の用語など）。
- ルートフォルダ階層内を検索する
- 検索広告キーワードの演算子:
""完全一致、|OR、+AND、-除外
- 組織: 柔軟なフォルダ管理
- ドキュメントはアプリケーションに基づいて 1 つまたは複数のフォルダにカタログ化できます（たとえば、ID カードは KYC フォルダ、ローンフォルダ、銀行口座フォルダに配置されます）。ドキュメントを複製する必要はありません。
- これらのフォルダには、ドキュメントのプロパティとアクセス制御とは独立した独自のプロパティとアクセス制御があります。
- フォルダは 1 つ以上の階層にネストできます（例: AllLoans->State->Branch->Loans、LoanTypes->Loans）。
- ユーザーは、フォルダ階層内でドキュメントを検索できます（例: AllLoans->State 内を検索）。
- UI* - このプロダクトには、次の機能を備えたウェブアクセス可能な UI が含まれています。
- ドキュメント エクスプローラ: ドキュメントの検索、検索結果のフィルタ、ドキュメントの選択、プロパティの一括更新、削除
- ドキュメント閲覧者: ドキュメントの表示、プロパティの表示/更新、ACL の割り当て、フォルダへの追加
- アップロード: ドキュメントをアップロードし、DocAI** エクストラクタ（OCR または Invoice DocAI などのサポートされている専用パーサー）で実行します。
- フォルダ エクスプローラ: 1 つ以上のフォルダにドキュメントを追加し、フォルダ階層を探索します。
- 埋め込み可能な UI: Doc Explorer と Doc Viewer（PDF 用）コンポーネントを、お客様のアプリケーションに統合できます。
- 一般的なオンプレミス リポジトリと Cloud Repository へのコネクタ***: Google は、Cloud Storage から Document AI Warehouse へのコネクタ（Google Workflows に基づく別のテンプレートとして）を提供しています。このコネクタは、他のリポジトリにカスタマイズまたは拡張できます。また、パートナーと連携して、Sharepoint、Amazon S3、IBM FileNet などのリポジトリにすぐに使えるコネクタを提供し、ドキュメントを取り込んでインデックスに登録します。
- 移行と連携の柔軟性: このプロダクトは、ドキュメント コンテンツを Document AI ウェアハウスに移行したり、コンテンツの移行に制約がある場合にそのまま残したりすることができる柔軟なアーキテクチャをサポートしています（コンテンツやメタデータを単にインデックス登録します）。
- ドキュメント ワークフローとの統合 - 以下をサポートすることで、Google Workflows やその他のドキュメント処理ワークフローと統合します。
- プロパティ - ワークフロー内のドキュメントの状態を表すプロパティと、ワークフローがドキュメントの状態を更新するために使用できる API
- Doc Explorer インターフェース - ワークフロー パイプラインからドキュメントの進行状況を追跡します。これにより、ワークフロー パイプラインでエラーや処理が停止しているドキュメントを人間が検査して管理できます。
- 条件付き通知 - 特定の条件を満たすドキュメントが、Pub/Sub トピックまたは Web API 呼び出しを介してワークフローをトリガー/通知できます。たとえば、トリガー: OnUpdate、条件: （DocType=Invoice かつ TotalAmount>$1000）-> Pub/Sub 通知を送信します。
- ポリシー管理とコンプライアンスの適用: 条件付き通知とスケジュール設定された通知を使用して、Document AI Warehouse 内の特定のドキュメントにポリシー（レコード管理、保持と廃棄、訴訟対象データの保持など）を適用するワークフローをトリガーできます。
- サポートされているファイル - テキスト PDF、画像（スキャンされた PDF、TIFF ファイル、JPEG ファイル）、Office（DOCX、PPTX、XLSX）ファイル - OCR で処理され、インデックスに登録されます。
- 注 - このプロダクトはドキュメントに重点を置いていますが、関連する画像（保険、エンジニアリング、建設、研究などの業種）の管理にも使用されます。
DocAI との統合: Document AI ウェアハウスは、いくつかのレベルで Document AI プロセッサと統合されています。
- UI での Document AI 処理: Document AI ウェアハウス UI により、ユーザーはスキャンされた PDF や TIFF または特殊なドキュメント タイプのいずれかをアップロードできます。どちらも、ドキュメントが Document AI ウェアハウスにインデックス登録される前に、それぞれ Document AI OCR または専用プロセッサによって自動的に抽出されます。
- バッチ Document AI パイプラインを管理する***: Document AI ウェアハウスは Workflows と統合され、Document AI の抽出と分類によって、ドキュメントのバッチ パイプラインを処理するテンプレートを提供します。これは、長時間実行（LRO）オペレーションと非同期 API 呼び出しを伴うため、障害や再試行を管理する必要があるため、簡単ではありません。Workflows テンプレートは、このようなパイプラインをオーケストレートします。Document AI Warehouse UI を使用すると、このようなパイプラインを介してドキュメント フローを検索して追跡し、パイプラインの各ステップで失敗した Document AI 出力を可視化して、停止したドキュメントや失敗したドキュメントに対してアクションを実行できます。
*UI はプレビュー版であり、近日中に一般提供される予定です。
**OCR とその他のドキュメント抽出器は Document AI プロダクトで使用できますが、Document AI ウェアハウスには含まれていません。
***これらの機能は Document AI ウェアハウスの一部ではありません。これらの機能は、お客様がデプロイまたはカスタマイズできる外部のオープンソース コンポーネントとスクリプトによって有効になりますが、Document AI ウェアハウス内には実装されません。
免責事項と既知の制限事項
免責事項と既知の制限事項の詳細については、免責事項と既知の制限事項をご覧ください。
用語
Document AI ウェアハウスで使用される用語は次のとおりです。
| 用語、コンセプト | 定義、例 |
| ドキュメント | Document AI ウェアハウス内のレコード。ユーザーは、このレコードを検索、管理し、アクセス制御を適用できます。未加工のドキュメントと、関連するメタデータで構成されます。 [Document AI ウェアハウスに保存されている画像は「ドキュメント」とも呼ばれます] |
| 未加工のドキュメント [コンテンツ] | ドキュメントの未加工のコンテンツ ファイル（PDF/画像/バイナリ/BLOB）。 |
| スキーマ [ドキュメント タイプ] | 各ドキュメントは特定のドキュメント タイプであり、スキーマによって指定されます。たとえば、請求書には、サプライヤー名、ベンダー名、請求額などのスキーマが含まれています。 |
| プロパティ [メタデータ] | ドキュメントから抽出されるか、ユーザーによって拡充（ラベル付け）されるドキュメント スキーマのフィールド。現在、メタデータには、自由形式のテキスト値、列挙型、数値、日付、マップ（Key-Value ペアの JSON 階層）のタイプが含まれています。今後、ブール値、金額、その他のタイプをサポートする予定です。 |
| ドキュメント エクストラクタ（DocAI など） | ドキュメントは AI パイプラインによって抽出されるため、抽出されたデータは、未加工のドキュメントとともに Document AI ウェアハウスに（メタデータとして）取り込まれ、管理されます。抽出は、次の方法で行うことができます。
|
| フォルダ | フォルダはドキュメントの仮想的なコレクションです（同じドキュメントを複数のフォルダに含めることができるため、仮想的と表現しています）。「ドキュメント タイプ/スキーマ」があり、ドキュメントと同様にメタデータとアクセス制御リストが含まれています。 ユーザーがフォルダにドキュメントを追加するには、フォルダに対する編集権限とドキュメントに対する表示権限が必要です。 |
| リンク | リンクは、フォルダにドキュメントを追加したり、関連するドキュメントをリンクしたりするために使用されます。リンクに「リンクタイプ」がない |
| 関連ドキュメント | ドキュメントは、あるドキュメントから別のドキュメントへの方向リンクによって関連付けることができます。 |
| リンクの権限 | フォルダにドキュメントを追加するには、ユーザーにリンク元オブジェクト（フォルダなど）の編集権限と、リンク先オブジェクト（ドキュメントなど）の表示権限が必要です。 |
| ポリシー | ドキュメント/フォルダの作成/更新時に評価されるポリシー。ドキュメントのメタデータ、ACL の検証または更新、フォルダへのドキュメントの追加/移動/削除に使用されます。ポリシーは次の要素で構成されます。
|
| 通知ポリシー | 特定の条件が満たされたときに、アクションが Pub/Sub トピックにメッセージをパブリッシュする特別なタイプのポリシーです。コンシューマ アプリケーション / ワークフローは、メッセージを消費して、ドキュメントまたはビジネス ワークフローの他の部分でアクションをトリガーできます。 |
| Policy Engine、Policy API | エンジン: ポリシーを評価してアクションを実行するサーバー API: ポリシーの作成、更新、読み取り、削除に使用される Admin API。 |
| ファセット検索 | ファセットは、検索クエリで使用されるメタデータ フィルタです。たとえば、「Month = March 2021」と「Branch State = CA」の銀行の明細書を検索すると、これらの 2 つのファセットで検索結果がフィルタされます。
|
| セマンティック検索 | セマンティック検索では、検索クエリで類義語や「意味的に関連する」用語がサポートされています。たとえば、「運転免許証」は「運転許可証」を返します。 |
| 検索ヒストグラム | ヒストグラムは、ファセット別に検索結果の分布（数）を返す Search API の機能です。たとえば、運転免許証の検索結果では、ヒストグラム「CA 500、NV 150、…」が返されます。 |
| ユニバーサル アクセスとドキュメント レベルのアクセス制御 | Document AI ウェアハウスでは、プロジェクトごとに 2 つのアクセスモードがサポートされています。
|