Document AI Warehouse – Übersicht

Achtung: Document AI Warehouse wurde eingestellt und ist nach dem 16. Januar 2025 nicht mehr auf Google Cloudverfügbar. Migrieren Sie alle Dokumente, die derzeit in Document AI Warehouse gespeichert sind, zu einer Alternative wie Cloud Storage, um Ihre Daten zu schützen. Prüfen Sie vor dem Datum der Einstellung, ob die Datenmigration abgeschlossen ist, um Datenverluste zu vermeiden. Weitere Informationen finden Sie unter Einstellung.

Konzeptübersicht

Document AI Warehouse ist eine integrierte, cloudbasierte Plattform zum Speichern, Suchen, Organisieren, Steuern und Analysieren von Dokumenten und deren strukturierten Metadaten (als Attribute bezeichnet). Dokumente umfassen strukturierte (z. B. Formulare, Rechnungen) und unstrukturierte (z. B. Verträge, Forschungsarbeiten) Dokumente. Zu ihren Attributen (Metadaten) gehören KI-extrahierte Daten aus Dokumenten und manuell oder KI-zugewiesene Tags (z. B. Kontonummer, Kredit-ID, Dokumenttyp).

Wichtige Vorteile und Funktionen

Document AI Warehouse bietet mehrere Vorteile gegenüber Legacy-Repositories. Im Folgenden finden Sie einige Funktionen und Vorteile:

• API-first: Einzelne integrierte API zum Verwalten von Dokumenten und deren Eigenschaften (extrahierte oder getaggte Metadaten), die sich in Ihre Workflows und Anwendungen einbinden lässt.
• Metadatenverwaltung: Zum Verwalten extrahierter und getaggter Metadaten.
• Governance: in IAM und Unternehmensverzeichnisse eingebunden
  • Eine detaillierte Zugriffssteuerung (Berechtigungen) auf Dokument- und Ordnerebene kann Nutzern und Gruppen zum Anzeigen, Bearbeiten, Verwalten (Freigeben, Löschen) von Dokumenten zugewiesen werden.
  • Document AI Warehouse ist in IAM (Cloud Identity) eingebunden, sodass Nutzer und Gruppen in Cloud Identity bereitgestellt werden können.
  • Nutzer/Gruppen können auch über einen LDAP-/Identitätsanbieter für Unternehmen, z. B. Azure AD, Active Directory oder Keycloak, mit Cloud Identity föderiert / synchronisiert werden.
• Suche: Das Produkt unterstützt die semantische Suche, einschließlich der folgenden Funktionen:
  • Volltextsuche
  • Suchergebnisse nach Attributen (Datum, numerische Zahl, Aufzählung, Text) filtern Filter können mit den Operatoren AND und OR kombiniert werden.
  • Semantische Suche – Unterstützung gängiger Synonyme, fehlerhafter Schreibweisen und Stemming. In der Abfrage können Anführungszeichen (" ") verwendet werden, um genau passende Keywords anzugeben.
  • Benutzerdefinierte Synonyme – z. B. branchen- oder unternehmensspezifische Begriffe.
  • In einer Stammordnerhierarchie suchen
  • Operatoren für Keywords für Suchanzeigen: "" genau passend, | oder, + und, - ausschließen
• Organisation: Flexible Ordnerverwaltung
  • Dokumente können je nach Anwendung (z. B. ein Personalausweis in einem KYC-Ordner, einem Kreditordner oder einem Bankkonto-Ordner) in einen oder mehrere Ordner katalogisiert werden, ohne das Dokument zu replizieren.
  • Diese Ordner haben eigene Attribute und Zugriffssteuerungen, die unabhängig von den Attributen und Zugriffssteuerungen von Dokumenten sind.
  • Die Ordner können in einer oder mehreren Hierarchien verschachtelt sein [z. B. AllLoans->State->Branch->Loans oder LoanTypes->Loans].
  • Nutzer können innerhalb einer Ordnerhierarchie nach Dokumenten suchen, z. B. innerhalb von „AllLoans“ > „State“.
• UI^* – Das Produkt enthält eine über das Web zugängliche UI mit den folgenden Funktionen:
  • Doc Explorer: Dokumente suchen, Suchergebnisse filtern, Dokumente auswählen, um Attribute im Bulk zu aktualisieren oder zu löschen
  • Doc Viewer: Dokumente ansehen, Eigenschaften ansehen/aktualisieren,ACLs zuweisen, zu Ordnern hinzufügen
  • Upload: Dokumente hochladen und über einen DocAI-^**-Extraktor (entweder OCR oder einen unterstützten spezialisierten Parser wie Invoice DocAI) verarbeiten.
  • Ordner-Explorer: Dokumente zu einem oder mehreren Ordnern hinzufügen, Ordnerhierarchie ansehen.
  • Einbettbare Benutzeroberfläche: Die Komponenten „Doc Explorer“ und „Doc Viewer“ (für PDFs) können in die Anwendungen des Kunden eingebunden werden.
• Connectors^*** für gängige lokale und Cloud-Repositories: Wir bieten einen Connector von Cloud Storage zu Document AI Warehouse (als separate Vorlage basierend auf Google Workflows), der für andere Repositories angepasst/erweitert werden kann. Wir arbeiten auch mit Partnern zusammen, um vordefinierte Connectors für Repositories wie Sharepoint, Amazon S3, IBM FileNet und andere bereitzustellen, um Dokumente aufzunehmen und zu indexieren.
• Flexibilität bei Migration und Föderation: Das Produkt unterstützt eine flexible Architektur, sodass Ihre Dokumentinhalte zu Document AI Warehouse migriert werden können oder an Ort und Stelle verbleiben, falls es Einschränkungen bei der Migration von Inhalten gibt (wir indexieren einfach die Inhalte und Metadaten).
• In Document Workflows eingebunden: Diese Funktion lässt sich in Google Workflows und andere Workflows zur Dokumentenverarbeitung einbinden und unterstützt Folgendes:
  • Attribute, die den Status eines Dokuments in einem Workflow repräsentieren, und APIs, dank derer Workflows den Status von Dokumenten aktualisieren können.
  • Document Explorer-Oberfläche: Hier können Sie den Fortschritt von Dokumenten entlang einer Workflow-Pipeline verfolgen. Dadurch können Mitarbeiter Fehler und angehaltene Dokumente in der Workflow-Pipeline prüfen und verwalten.
  • Bedingte Benachrichtigungen: Dokumente, die bestimmte Bedingungen erfüllen, können einen Workflow über ein Pub/Sub-Thema oder einen Web-API-Aufruf auslösen oder benachrichtigen. Beispiel: Trigger: OnUpdate; Bedingung: (DocType=Invoice und TotalAmount>$1000) -> Pub/Sub-Benachrichtigung senden
• Richtlinienverwaltung und Compliance-Erzwingung: Bedingte Benachrichtigungen und geplante Benachrichtigungen können verwendet werden, um Workflows auszulösen, die Richtlinien (z. B. Datensatzverwaltung, Aufbewahrung und Disposition, gesetzliche Aufbewahrungsfristen) für bestimmte Dokumente in Document AI Warehouse erzwingen.
• Unterstützte Dateien: Text-PDFs, Bilder (gescannte PDFs, TIFF-Dateien, JPEG-Dateien), Office-Dateien (DOCX, PPTX, XLSX) werden per OCR verarbeitet und indexiert.
  • Hinweis: Der Schwerpunkt des Produkts liegt zwar auf Dokumenten, es wird aber auch zur Verwaltung zugehöriger Bilder verwendet (z. B. in Branchen wie Versicherungen, Ingenieurwesen, Bauwesen, Forschung usw.).

• In DocAI integriert: Document AI Warehouse ist auf mehreren Ebenen in Document AI-Prozessoren integriert:

  • KI‑Verarbeitung in der Benutzeroberfläche von Document AI: Über die Document AI Warehouse-Benutzeroberfläche können Nutzer gescannte PDFs/TIFFs oder spezielle Dokumenttypen hochladen, die automatisch von Document AI OCR oder speziellen Prozessoren extrahiert werden, bevor das Dokument in Document AI Warehouse indexiert wird.
  • Document AI-Pipelines im Batch verwalten^***: Document AI Warehouse lässt sich in Workflows einbinden, um Vorlagen zur Verarbeitung von Batchpipelines von Dokumenten über die Extraktion und Klassifizierung mit Document AI bereitzustellen. Das ist nicht trivial, da es Vorgänge mit langer Ausführungszeit (LRO) und asynchrone API-Aufrufe umfasst, die bei Fehlern und Wiederholungsversuchen verwaltet werden müssen. Die Workflows-Vorlage orchestriert solche Pipelines. Mit der Document AI Warehouse-Benutzeroberfläche können Sie den Dokumentenfluss durch solche Pipelines suchen und verfolgen, die Document AI-Ausgabe für Fehler in jedem Schritt der Pipeline visualisieren und Maßnahmen für blockierte/fehlgeschlagene Dokumente ergreifen.

^* Die Benutzeroberfläche befindet sich in der Vorabversion und wird voraussichtlich bald allgemein verfügbar sein.

^** OCR und andere Dokumentextraktoren sind in Document AI-Produkten verfügbar, aber nicht in Document AI Warehouse enthalten.

^*** Diese Funktionen sind nicht Teil von Document AI Warehouse. Diese Funktionen werden durch externe Open-Source-Komponenten und -Skripts aktiviert, die Kunden bereitstellen oder anpassen können, und sind nicht in Document AI Warehouse implementiert.

Haftungsausschluss und bekannte Einschränkungen

Weitere Informationen zu Haftungsausschlüssen und bekannten Einschränkungen finden Sie unter Haftungsausschlüsse und bekannte Einschränkungen.

Terminologie

Im Folgenden finden Sie die in Document AI Warehouse verwendeten Begriffe.

Begriffe, Konzepte	Definition, Beispiele
Dokument	Ein Eintrag in Document AI Warehouse, den Nutzer suchen, verwalten und für den sie die Zugriffssteuerung erzwingen können. Es umfasst das Rohdokument und einige zugehörige Metadaten. [In Document AI Warehouse gespeicherte Bilder werden auch als „Dokumente“ bezeichnet.]
Rohdokument [Inhalt]	Die Rohinhaltsdatei (PDF/Bild/Binärdatei/Blob) des Dokuments.
Schema [Dokumenttyp]	Jedes Dokument hat einen bestimmten Dokumenttyp und wird durch ein Schema angegeben. Eine Rechnung enthält beispielsweise das folgende Schema: Lieferantenname, Anbietername, Rechnungsbetrag usw.
Property [Metadata]	Felder des Dokumentschemas, die entweder aus dem Dokument extrahiert oder von Nutzern angereichert (gelabelt) werden können. Derzeit umfassen Metadaten die folgenden Typen: Freitextwerte, Enum, Numerisch, Datum, Map (eine JSON-Hierarchie von Schlüssel/Wert-Paaren). Wir planen, in Zukunft boolesche Werte, Geld und andere Typen zu unterstützen.
Dokumentextraktoren (DocAI und andere)	Dokumente können von einer KI-Pipeline extrahiert werden, sodass die Extraktionen zusammen mit dem Rohdokument in Document AI Warehouse (als Metadaten) aufgenommen und verwaltet werden können. Die Extraktion kann folgendermaßen erfolgen: Spezialisierte Document AI-Parser (für Beschaffungsformulare, Kreditformulare usw.) OCR, AutoML, Formularparser (für Bilder wie TIFF/PNG usw.) Andere benutzerdefinierte Modelle Tools zur Textextraktion für spezielle Dokumentformate wie PDFs, Office-Dokumente und andere. Document AI Warehouse kann mit jeder Extraktionspipeline verwendet werden, die Document AI Warehouse-APIs aufruft, um Dokumente aufzunehmen oder zu aktualisieren.
Ordner	Ein Ordner ist eine virtuelle Sammlung von Dokumenten. Virtuell, weil dasselbe Dokument in einem oder mehreren Ordnern enthalten sein kann. Sie haben einen „Dokumenttyp/Schema“ und enthalten Metadaten und Access Control Lists, genau wie Dokumente. Ein Nutzer benötigt die Berechtigung „Bearbeiten“ für den Ordner und die Berechtigung „Ansehen“ für das Dokument, um ein Dokument einem Ordner hinzuzufügen.
Links	Links werden verwendet, um Dokumente zu Ordnern hinzuzufügen oder zugehörige Dokumente miteinander zu verknüpfen. Links haben keinen „Linktyp“
Zugehörige Dokumente	Dokumente können durch gerichtete Links von einem Dokument zu einem anderen miteinander verknüpft werden.
Verknüpfungsberechtigungen	Ein Nutzer benötigt die Berechtigung „Bearbeiten“ für das Objekt, von dem aus verknüpft wird (z. B. Ordner), und die Berechtigung „Ansehen“ für das Objekt, mit dem verknüpft wird (z. B. Dokument), um ein Dokument einem Ordner hinzuzufügen.
Richtlinie	Eine Richtlinie, die beim Erstellen oder Aktualisieren eines Dokuments oder Ordners ausgewertet wird und zum Validieren oder Aktualisieren von Dokumentmetadaten, ACLs oder zum Hinzufügen, Verschieben oder Entfernen von Dokumenten aus Ordnern verwendet wird. Eine Richtlinie umfasst: Ein Trigger, z. B. bei DocUpdate/DocCreate Bedingung, z. B. Invoice.Amount <$1000 Aktion, z. B. „Dokumentmetadaten aktualisieren“, „Bedingungsauswertung zurückgeben“, „Dokument zu Ordner hinzufügen“ usw. Eine Richtlinie ist in der Regel mit einem Dokumenttyp verknüpft. Sie wird in einer Low-Code-Common Expression Language (JSON-Format, später angegeben) ausgedrückt.
Benachrichtigungsrichtlinie	Ist ein spezieller Richtlinientyp, bei dem die Aktion darin besteht, eine Nachricht in einem Pub/Sub-Thema zu veröffentlichen, wenn eine bestimmte Bedingung erfüllt ist. Anwendungen / Workflows, die die Nachricht nutzen, können sie verwenden, um Aktionen für die Dokumente oder andere Teile eines Geschäftsworkflows auszulösen.
Policy Engine, Policy APIs	Engine: Der Server, der Richtlinien auswertet und Aktionen ausführt API: Admin API zum Erstellen/Aktualisieren/Lesen/Löschen von Richtlinien.
Mit Attributen suchen	Ein Attribut ist ein Metadatenfilter, der in einer Suchanfrage verwendet wird. Wenn Sie beispielsweise nach Kontoauszügen mit den Filtern „Monat = März 2021“ und „Bundesstaat der Filiale = CA“ suchen, werden die Suchergebnisse nach diesen beiden Facetten gefiltert. Facetten sind in der Regel Aufzählungsfelder. In zukünftigen Versionen werden wir Datums- und numerische Facetten unterstützen. Attribute für einen Dokumenttyp werden von Administratoren über die Admin API im Dokumentschema angegeben.
Semantische Suche	Die semantische Suche unterstützt Synonyme oder „semantisch verwandte“ Begriffe in der Suchanfrage. Beispiel: „Führerschein“ gibt „Fahrerlaubnis“ zurück.
Histogramm durchsuchen	Das Histogramm ist eine Funktion der Search API, die die Verteilung (Anzahl) der Suchergebnisse nach Attribut zurückgibt. Beispiel: Die Suchergebnisse für „Driver License“ geben das Histogramm „CA 500, NV 150, …“ zurück.
Universalzugriff im Vergleich zur Zugriffssteuerung auf Dokumentebene	In Document AI Warehouse werden für jedes Projekt zwei Zugriffsmodi unterstützt. Universeller Zugriff: Jeder Nutzer kann auf jedes Dokument im Projekt zugreifen. Der Zugriff auf die API wird über Nutzerkonten oder Dienstkonten gesteuert, es gibt jedoch keine Berechtigungen auf Dokumentebene. ACL auf Dokumentebene: Nutzern werden Berechtigungen auf Dokumentebene gewährt. Jedem Dokument sind L/A/L-Berechtigungen für Nutzer/Gruppen zugewiesen.