Document AI Warehouse – Übersicht

Konzeptübersicht

Document AI Warehouse ist eine integrierte, cloudbasierte Plattform zum Speichern, Suchen, Organisieren, Steuern und Analysieren von Dokumenten und deren strukturierten Metadaten (als Attribute bezeichnet). Dokumente umfassen strukturierte (z. B. Formulare, Rechnungen) und unstrukturierte (z. B. Verträge, Forschungsarbeiten) Dokumente. Ihre Eigenschaften (Metadaten) umfassen KI-extrahierte Daten aus Dokumenten und manuell oder durch KI zugewiesene Tags (z. B. Kontonummer, Darlehens-ID, Dokumenttyp).

Wichtige Vorteile und Funktionen

Document AI Warehouse bietet mehrere Vorteile gegenüber Legacy-Repositories. Hier einige Funktionen und Vorteile:

  • API-orientiert: Einzelne integrierte API zum Verwalten von Dokumenten und deren Eigenschaften (extrahierten oder getaggten Metadaten), die in Ihre Workflows und Anwendungen eingebunden werden kann.
  • Metadatenverwaltung: zum Verwalten extrahierter und getaggter Metadaten.
  • Governance: In IAM und Unternehmensverzeichnisse eingebunden
    • Eine detaillierte Zugriffssteuerung (Berechtigungen) auf Dokument- und Ordnerebene kann Nutzern und Gruppen zum Anzeigen, Bearbeiten, Verwalten (Freigeben, Löschen) von Dokumenten zugewiesen werden.
    • Document AI Warehouse ist in IAM (Cloud Identity) eingebunden, sodass Nutzer und Gruppen in Cloud Identity bereitgestellt werden können.
    • Nutzer/Gruppen können auch über einen LDAP-/Identitätsanbieter für Unternehmen, z. B. Azure AD, Active Directory oder Keycloak, mit Cloud Identity föderiert / synchronisiert werden.
  • Suche: Das Produkt unterstützt die semantische Suche mit folgenden Funktionen:
    • Volltextsuche
    • Suchergebnisse nach Attributen (Datum, numerische Zahl, Aufzählung, Text) filtern. Filter können mit den Operatoren AND und OR kombiniert werden.
    • Semantische Suche – Unterstützung gängiger Synonyme, Rechtschreibfehler und Wortstämme. Anführungszeichen („ “) können in der Anfrage verwendet werden, um genau passende Keywords anzugeben.
    • Benutzerdefinierte Synonyme, z. B. branchen- oder unternehmensspezifische Begriffe.
    • In einer Stammordnerhierarchie suchen
    • Operatoren für Such-Keywords: "" genau passend, | oder, + und, - ausschließen
  • Organisation: Flexible Ordnerverwaltung
    • Dokumente können je nach Anwendung (z. B. ein Ausweis in einem KYC-Ordner, einem Kreditordner oder einem Bankkonto) in einen oder mehrere Ordner katalogisiert werden, ohne das Dokument zu replizieren.
    • Diese Ordner haben eigene Eigenschaften und Zugriffssteuerung, die unabhängig von den Dokumenteigenschaften und der Zugriffssteuerung sind.
    • Die Ordner können in einer oder mehreren Hierarchien verschachtelt werden, z. B. „AllLoans“ –> „State“ –> „Branch“ –> „Loans“ oder „LoanTypes“ –> „Loans“.
    • Nutzer können in einer Ordnerhierarchie nach Dokumenten suchen, z. B. in „AlleDarlehen“ –> „Bundesstaat“.
  • Benutzeroberfläche*: Das Produkt umfasst eine über das Web zugängliche Benutzeroberfläche mit den folgenden Funktionen:
    • Dokument-Explorer: Dokumente suchen, Suchergebnisse filtern, Dokumente auswählen, um Eigenschaften im Bulk zu aktualisieren oder zu löschen
    • Doc Viewer: Dokumente ansehen, Eigenschaften ansehen/aktualisieren,ACLs zuweisen, Ordnern hinzufügen
    • Hochladen: Laden Sie Dokumente hoch und führen Sie sie durch einen DocAI**-Extractor (entweder OCR oder einen unterstützten spezialisierten Parser wie Invoice DocAI).
    • Ordner-Explorer: Dokumente zu einem oder mehreren Ordnern hinzufügen, Ordnerhierarchie erkunden.
    • Einbettbare Benutzeroberfläche: Die Komponenten „Dokument-Explorer“ und „Dokument-Viewer“ (für PDFs) können in Kundenanwendungen eingebunden werden.
  • Connectors*** für gängige lokale und Cloud-Repositories: Wir bieten einen Cloud Storage-zu-Document AI Warehouse-Connector (als separates Template basierend auf Google Workflows), der an andere Repositories angepasst/erweitert werden kann. Wir arbeiten auch mit Partnern zusammen, um sofort einsatzbereite Connectors für Repositories wie SharePoint, Amazon S3 und IBM FileNet bereitzustellen, damit Dokumente aufgenommen und indexiert werden können.
  • Flexibilität bei Migration und Föderation: Das Produkt unterstützt eine flexible Architektur, sodass Ihre Dokumentinhalte zu Document AI Warehouse migriert werden können oder an ihrem ursprünglichen Speicherort verbleiben, falls es Einschränkungen bei der Migration von Inhalten gibt (wir indexieren einfach die Inhalte und Metadaten).
  • In Dokument-Workflows eingebunden: Diese Funktion ist in Google-Workflows und andere Workflows zur Dokumentenverarbeitung eingebunden und unterstützt Folgendes:
    • Attribute, die den Status eines Dokuments in einem Workflow repräsentieren, und APIs, dank derer Workflows den Status von Dokumenten aktualisieren können
    • Doc Explorer-Oberfläche: Hier können Sie den Fortschritt von Dokumenten entlang einer Workflow-Pipeline verfolgen. Dadurch können Mitarbeiter Fehler und angehaltene Dokumente in der Workflow-Pipeline prüfen und verwalten.
    • Bedingte Benachrichtigungen: Dokumente, die bestimmte Bedingungen erfüllen, können einen Workflow über ein Pub/Sub-Thema oder einen Web-API-Aufruf auslösen/benachrichtigen. Beispiel: Trigger: OnUpdate; Bedingung: (DocType=Invoice and TotalAmount>$1000) -> Pub/Sub-Benachrichtigung senden
  • Richtlinienverwaltung und Compliance-Durchsetzung: Mit bedingten und geplanten Benachrichtigungen können Workflows ausgelöst werden, die Richtlinien (z. B. Datensatzverwaltung, Aufbewahrung und Vernichtung, rechtliche Aufbewahrungspflichten) für bestimmte Dokumente in Document AI Warehouse erzwingen.
  • Unterstützte Dateien: Text-PDFs, Bilder (gescannte PDFs, TIFF-Dateien, JPEG-Dateien), Office-Dateien (DOCX, PPTX, XLSX) – werden per OCR verarbeitet und indexiert.
    • Hinweis: Der Schwerpunkt des Produkts liegt zwar auf Dokumenten, es wird aber auch zur Verwaltung zugehöriger Bilder verwendet (z.B. in Branchen wie Versicherungen, Ingenieurwesen, Bauwesen und Forschung).

  • In DocAI integriert: Document AI Warehouse ist auf mehreren Ebenen in Document AI-Prozessoren integriert:

    • Document AI-Verarbeitung in der Benutzeroberfläche: Über die Document AI Warehouse-Benutzeroberfläche können Nutzer gescannte PDFs/TIFFs oder spezielle Dokumenttypen hochladen, die automatisch von Document AI OCR oder speziellen Prozessoren extrahiert werden, bevor das Dokument in Document AI Warehouse indexiert wird.
    • Document AI-Pipelines im Batch verwalten***: Document AI Warehouse lässt sich in Workflows einbinden, um Vorlagen zur Verarbeitung von Batchpipelines von Dokumenten über die Extraktion und Klassifizierung mit Document AI bereitzustellen. Das ist nicht trivial, da es Vorgänge mit langer Ausführungszeit und asynchrone API-Aufrufe umfasst, die im Hinblick auf Fehler und Wiederholungen verwaltet werden müssen. Die Workflows-Vorlage orchestriert solche Pipelines. Mit der Document AI Warehouse-Benutzeroberfläche können Sie den Dokumentfluss durch solche Pipelines suchen und verfolgen, die Document AI-Ausgabe für Fehler in jedem Schritt der Pipeline visualisieren und Maßnahmen für blockierte/fehlgeschlagene Dokumente ergreifen.

* Die Benutzeroberfläche ist eine Vorabversion und wird voraussichtlich bald allgemein verfügbar sein.

**OCR und andere Dokumentextraktoren sind in Document AI-Produkten verfügbar, aber nicht in Document AI Warehouse enthalten.

*** Diese Funktionen sind nicht Teil von Document AI Warehouse. Diese Funktionen werden durch externe Open-Source-Komponenten und ‑Scripts aktiviert, die Kunden bereitstellen oder anpassen können und die nicht in Document AI Warehouse implementiert sind.

Haftungsausschlüsse und bekannte Einschränkungen

Weitere Informationen zu Haftungsausschlüssen und bekannten Einschränkungen finden Sie unter Haftungsausschlüsse und bekannte Einschränkungen.

Terminologie

Im Folgenden finden Sie die in Document AI Warehouse verwendeten Begriffe.

Begriffe, Konzepte Definition, Beispiele
Dokument Ein Datensatz in Document AI Warehouse, in dem Nutzer suchen, den sie verwalten und für den sie die Zugriffssteuerung erzwingen können. Sie umfasst das Rohdokument und einige zugehörige Metadaten.

[In Document AI Warehouse gespeicherte Bilder werden auch als „Dokumente“ bezeichnet.]

Rohdokument [Inhalt] Die Rohinhaltsdatei (PDF/Bild/Binärdatei/Blob) des Dokuments.
Schema [Dokumenttyp] Jedes Dokument hat einen bestimmten Dokumenttyp und wird durch ein Schema angegeben. Eine Rechnung enthält beispielsweise das folgende Schema: „Lieferantenname“, „Anbietername“, „Rechnungsbetrag“ usw.
Attribut [Metadaten] Felder des Dokumentschemas, die entweder aus dem Dokument extrahiert oder von Nutzern angereichert (mit Labels versehen) werden können. Derzeit umfasst Metadata die folgenden Typen: Freitextwerte, Enum, Numerisch, Datum, Karte (eine JSON-Hierarchie von Schlüssel/Wert-Paaren). Wir planen, in Zukunft auch die Typen „Boolean“ und „Money“ sowie weitere Typen zu unterstützen.
Dokumentextraktoren (DocAI und andere) Dokumente können von einer KI-Pipeline extrahiert werden, sodass die Extraktionen zusammen mit dem Rohdokument in Document AI Warehouse (als Metadaten) aufgenommen und verwaltet werden können. Die Extraktion kann durch
  • Spezialisierte Document AI-Parser (für Beschaffungsformulare, Kreditformulare usw.)
  • OCR, AutoML, Formularparser (für Bilder wie TIFF/PNG usw.)
  • Andere benutzerdefinierte Modelle
  • Tools zum Extrahieren von Text für spezielle Dokumentformate wie PDFs, Office-Dokumente und andere.

    Document AI Warehouse kann mit jeder Extraktionspipeline verwendet werden, die Document AI Warehouse-APIs aufruft, um Dokumente aufzunehmen oder zu aktualisieren.
Ordner Ein Ordner ist eine virtuelle Sammlung von Dokumenten (virtuell, weil dasselbe Dokument in einem oder mehreren Ordnern enthalten sein kann). Es hat einen „Dokumenttyp/ein Schema“ und enthält Metadaten und Zugriffssteuerungslisten wie Dokumente.

Ein Nutzer benötigt die Bearbeitungsberechtigung für den Ordner und die Berechtigung zum Aufrufen des Dokuments, um ein Dokument zu einem Ordner hinzuzufügen.

Links Links werden verwendet, um Dokumente zu Ordnern hinzuzufügen oder verwandte Dokumente zu verknüpfen. Links haben keinen „Linktyp“
Zugehörige Dokumente Dokumente können über gerichtete Links miteinander verknüpft werden.
Verknüpfungsberechtigungen Ein Nutzer benötigt die Bearbeitungsberechtigung für das Link-from-Objekt (z. B. Ordner) und die Berechtigung zum Anzeigen für das Link-to-Objekt (z. B. Dokument), um ein Dokument zu einem Ordner hinzuzufügen.
Richtlinie Eine Richtlinie, die ausgewertet wird, wenn ein Dokument oder Ordner erstellt oder aktualisiert wird. Sie wird verwendet, um Dokumentmetadaten oder ACLs zu validieren oder zu aktualisieren oder um Dokumente in Ordnern hinzuzufügen, zu verschieben oder zu entfernen. Eine Richtlinie umfasst Folgendes:
  • Ein Trigger, z. B. bei DocUpdate/DocCreate
  • Bedingung, z. B. Invoice.Amount <$1000
  • Aktion, z. B. „Dokumentmetadaten aktualisieren“, „Bedingungsbewertung zurückgeben“, „Dokument zum Ordner hinzufügen“ usw.

    Eine Richtlinie ist in der Regel einem Dokumenttyp zugeordnet.

    Sie wird in einer Low-Code-Version der Common Expression Language (JSON-Format, siehe unten) ausgedrückt.
Benachrichtigungsrichtlinie Ist ein spezieller Richtlinientyp, bei dem die Aktion darin besteht, eine Nachricht in einem Pub/Sub-Thema zu veröffentlichen, wenn eine bestimmte Bedingung erfüllt ist. Verbrauchende Anwendungen / Arbeitsabläufe können die Nachricht nutzen, um Aktionen für die Dokumente oder andere Teile eines geschäftlichen Arbeitsablaufs auszulösen.
Policy Engine, Policy APIs Engine: Der Server, der Richtlinien auswertet und Aktionen ausführt

API: Admin API zum Erstellen, Aktualisieren, Lesen und Löschen von Richtlinien.

Mit Attributen suchen Ein Attribut ist ein Metadatenfilter, der in einer Suchanfrage verwendet wird. Wenn Sie beispielsweise nach Kontoauszügen mit den Filtern „Monat = März 2021“ und „Bundesstaat der Filiale = CA“ suchen, werden die Suchergebnisse nach diesen beiden Facetten gefiltert.
  • Eine Facette ist in der Regel ein aufgezähltes Feld. In zukünftigen Versionen werden Datums- und numerische Facetten unterstützt.
  • Facetten für einen Dokumenttyp werden im Dokumentschema von Administratoren (über die Admin API) angegeben.
Semantische Suche Bei der semantischen Suche werden Synonyme oder semantisch verwandte Begriffe in der Suchanfrage berücksichtigt. Wenn Sie z.B. „Führerschein“ eingeben, wird „Fahrerlaubnis“ zurückgegeben.
Histogramm für die Suche Das Histogramm ist eine Funktion der Search API, die die Verteilung (Anzahl) der Suchergebnisse nach Attribut zurückgibt. Für die Suchergebnisse für „Führerschein“ wird beispielsweise das Histogramm „CA 500, NV 150, …“ zurückgegeben.
Universalzugriff im Vergleich zur Zugriffssteuerung auf Dokumentebene In Document AI Warehouse werden für jedes Projekt zwei Zugriffsmodi unterstützt.
  1. Universeller Zugriff: Jeder Nutzer kann auf jedes Dokument im Projekt zugreifen. Der Zugriff auf die API wird über Nutzerkonten oder Dienstkonten gesteuert, es gibt aber keine Berechtigungen auf Dokumentebene.
  2. ACL auf Dokumentebene: Nutzern werden Berechtigungen auf Dokumentebene gewährt. Jedem Dokument sind R/U/D-Berechtigungen für Nutzer/Gruppen zugewiesen.