Benutzerdefinierter Extrahierer mit generativer KI

Mit dem Training und der Extraktion generativer KI können Sie:

  • Mit Zero-Shot- und Few-Shot-Technologie können Sie ein leistungsstarkes Modell mit wenig oder gar keinen Trainingsdaten mithilfe des Foundation Models erstellen.
  • Mit der Feinabstimmung können Sie die Genauigkeit weiter verbessern, wenn Sie mehr Trainingsdaten bereitstellen.

Trainingsmethoden für generative KI

Die von Ihnen gewählte Trainingsmethode hängt von der Anzahl der verfügbaren Dokumente und dem Aufwand ab, den Sie in das Training Ihres Modells investieren möchten. Es gibt drei Möglichkeiten, ein generatives KI-Modell zu trainieren:

Trainingsmethode Zero-Shot Few-Shot Abstimmung
Genauigkeit Mittel Mittel bis hoch Hoch
Aufwand Niedrig Niedrig Mittel
Empfohlene Anzahl von Trainingsdokumenten 0 5 bis 10 10 bis 50+

Versionen benutzerdefinierter Extraktormodelle

Die folgenden Modelle sind für den benutzerdefinierten Extraktor verfügbar. Informationen zum Ändern von Modellversionen finden Sie unter Prozessorversionen verwalten.

Die Versionen 1.4, 1.5 und 1.5 Pro unterstützen Konfidenzwerte.

Modellversion Beschreibung Release-Version ML-Verarbeitung in den USA/EU Optimierung in den USA/EU Releasedatum
pretrained-foundation-model-v1.5-2025-05-05 Produktionsreifer Kandidat, der auf dem Gemini 2.5 Flash-LLM basiert. Empfohlen für alle, die mit neueren Modellen experimentieren möchten. Stabil Ja USA, EU 5. Mai 2025
pretrained-foundation-model-v1.5-pro-2025-06-20 Produktionsreifes Modell, das auf dem Gemini 2.5 Pro-LLM basiert. Unterstützt ein Kontingent von bis zu 30 Seiten pro Minute für Onlineverarbeitungsanfragen. Dieses Modell bietet eine bessere Qualität als v1.5, kann aber eine höhere Latenz haben. Stabil Ja Nein 20. Juni 2025
pretrained-foundation-model-v1.5.1-2025-08-07 Öffentliches Vorschaumodell, das auf dem Gemini 2.5 Flash-LLM basiert. Dieses Modell bietet dieselben Funktionen wie v1.5 und ein verbessertes adaptives Few-Shot-Lernen. Releasekandidat Ja Nein 8. August 2025
pretrained-foundation-model-v1.6-pro-2025-12-01 Vorschaumodell, das auf dem Gemini 3 Pro-LLM basiert. Releasekandidat Ja Nein 1. Dezember 2025
pretrained-foundation-model-v1.6-2026-01-13 Vorabversion des Modells, das auf dem LLM Gemini 3 Flash basiert. Releasekandidat Ja Nein 13. Januar 2026
pretrained-foundation-model-v3.1-lite-2026-07-15 Vorschaumodell, das auf dem LLM Gemini 3.1 Lite basiert. Unterstützt multiregionale Endpunkte (mREPs) in den USA und der EU. Releasekandidat Ja Ja 21. September 2026
pretrained-foundation-model-v3.5-2026-05-26 Vorabversion des Modells, das auf dem LLM Gemini 3.5 Flash basiert. Releasekandidat Ja Nein 26. Mai 2026

Informationen zum Ändern der Prozessorversion in Ihrem Projekt finden Sie unter Prozessorversionen verwalten.

Wenn Sie eine Anfrage zur Kontingenterhöhung für das Standardprozessorkontingent stellen möchten, folgen Sie der Anleitung unter Kontingentanpassung beantragen.

Ersteinrichtung

Aktivieren Sie die Abrechnung und die Document AI APIs, falls noch nicht geschehen.

Generatives KI-Modell erstellen und bewerten

  1. Erstellen Sie einen Prozessor und definieren Sie die Felder, die Sie extrahieren möchten. Folgen Sie dabei den Best Practices, da dies die Extraktionsqualität beeinflusst.

    • Gehen Sie zu Workbench > Benutzerdefinierter Extraktor > Prozessor erstellen > Name zuweisen.

    processor-version-genai-1

    • Gehen Sie zu Jetzt starten > Neues Feld erstellen.

    processor-version-genai-2

  2. Dokumente importieren

    • Importieren Sie Dokumente mit automatischem Labeling und weisen Sie den Trainings- und Testsets Dokumente zu.
    • Für Zero-Shot ist nur das Schema erforderlich. Um die Genauigkeit des Modells zu bewerten, ist nur ein Test-Dataset erforderlich.
    • Für Few-Shot empfehlen wir fünf Trainingsdokumente.
    • Die Anzahl der erforderlichen Testdokumente hängt vom Anwendungsfall ab. Im Allgemeinen gilt: Je mehr Testdokumente, desto besser.
    • Bestätigen oder bearbeiten Sie die Labels im Dokument.

  3. Modell trainieren:

    • Wählen Sie den Build und dann Neue Version erstellen aus.
    • Geben Sie einen Namen ein und wählen Sie Erstellen aus.

    processor-version-genai-12

  1. Bewertung:

    • Rufen Sie Bewerten und testen auf, wählen Sie die gerade trainierte Version aus und klicken Sie dann auf Vollständige Bewertung einblenden.

    processor-version-genai-13

    • Sie sehen jetzt Messwerte wie F1, Precision und Recall für das gesamte Dokument und jedes Feld.
    • Entscheiden Sie, ob die Leistung Ihren Produktionszielen entspricht. Wenn nicht, bewerten Sie die Trainings- und Testsätze neu.

  2. Legen Sie eine neue Version als Standard fest:

    • Gehen Sie zu Versionen verwalten.
    • Wählen Sie die Option aus, um die Optionen zu maximieren, und wählen Sie dann Als Standard festlegen aus.

    processor-version-genai-14

    Ihr Modell wurde bereitgestellt. Für Dokumente, die an diesen Prozessor gesendet werden, wird Ihre benutzerdefinierte Version verwendet. Sie können die Leistung des Modells bewerten, um zu prüfen, ob es weiter trainiert werden muss.

Bewertungsreferenz

Die Bewertungs-Engine kann sowohl genaue Übereinstimmungen als auch unscharfe Übereinstimmungen finden. Bei einer genauen Übereinstimmung muss der extrahierte Wert genau mit der Grundwahrheit übereinstimmen, sonst wird er als Fehler gewertet.

Fuzzy-Matching-Extraktionen, die geringfügige Unterschiede wie Groß-/Kleinschreibung aufweisen, werden weiterhin als Übereinstimmung gezählt. Dies kann auf dem Bildschirm Bewertung geändert werden.

processor-version-genai-15

Abstimmung

Bei der Feinabstimmung verwenden Sie Hunderte oder Tausende von Dokumenten für das Training.

  1. Erstellen Sie einen Prozessor und definieren Sie die Felder, die Sie extrahieren möchten. Folgen Sie dabei den Best Practices, da dies die Extraktionsqualität beeinflusst.

  2. Dokumente mit automatischem Labeling importieren und Dokumente dem Trainings- und Testset zuweisen.

  3. Bestätigen oder bearbeiten Sie die Labels im Dokument.

  4. Modell trainieren.

    • Wählen Sie den Tab Erstellen und dann im Feld Feinabstimmung die Option Neue Version erstellen aus.

    processor-version-genai-24

    • Probieren Sie die Standardtrainingsparameter oder die bereitgestellten Werte aus. Wenn die Ergebnisse nicht zufriedenstellend sind, probieren Sie diese erweiterten Optionen aus:

    • Trainingsschritte (zwischen 1 und 400): Trainingsschritte, auch als Epochen bezeichnet, steuern, wie oft die Gewichtungen während der Abstimmung für einen Datenbatch optimiert werden.

      • Ein zu niedriger Wert birgt das Risiko, dass das Training vor der Konvergenz endet (Unteranpassung).
      • Ein zu hoher Wert bedeutet, dass das Modell während des Trainings möglicherweise mehrmals denselben Datenbatch sieht, was zu einer Überanpassung führen kann.
      • Weniger Schritte führen zu einer kürzeren Trainingsdauer. Höhere Werte können bei Dokumenten mit geringer Vorlagenvariation hilfreich sein (und niedrigere Werte bei Dokumenten mit mehr Variation).

    • Multiplikator für die Lernrate (zwischen 0,1 und 10): Steuert, wie schnell die Modellparameter für die Trainingsdaten optimiert werden. Sie entspricht in etwa der Größe der einzelnen Trainingsschritte.

      • Niedrige Raten bedeuten kleine Änderungen der Modellgewichtungen bei jedem Trainingsschritt. Wenn sie zu niedrig ist, konvergiert das Modell möglicherweise nicht zu einer stabilen Lösung.
      • Hohe Raten weisen auf große Änderungen hin. Zu hohe Raten können dazu führen, dass das Modell die optimale Lösung überspringt und stattdessen zu einer suboptimalen Lösung konvergiert.
      • Die Trainingszeit wird durch die Wahl der Lernrate nicht beeinflusst.

    • Geben Sie einen Namen ein, wählen Sie die erforderliche Basisprozessorversion aus und klicken Sie auf Erstellen.

    processor-version-genai-21

  5. Bewertung: Gehen Sie zu Bewerten und testen, wählen Sie die gerade trainierte Version aus und klicken Sie auf Vollständige Bewertung einblenden.

    processor-version-genai-13

    • Sie sehen jetzt Messwerte wie F1, Precision und Recall für das gesamte Dokument und jedes Feld.
    • Entscheiden Sie, ob die Leistung Ihren Produktionszielen entspricht. Wenn nicht, sind möglicherweise weitere Trainingsdokumente erforderlich.

  6. Legen Sie eine neue Version als Standard fest:

    • Gehen Sie zu Versionen verwalten.
    • Wähle die Option aus, um die Optionen zu maximieren, und wähle dann Als Standard festlegen aus.

    processor-version-genai-14

    Ihr Modell ist jetzt bereitgestellt und Dokumente, die an diesen Prozessor gesendet werden, verwenden jetzt Ihre benutzerdefinierte Version. Sie möchten die Leistung des Modells bewerten, um zu prüfen, ob ein weiteres Training erforderlich ist.

Automatisches Labeling mit dem Foundation Model

Mit dem Foundation Model lassen sich Felder für eine Vielzahl von Dokumenttypen präzise extrahieren. Sie können jedoch auch zusätzliche Trainingsdaten bereitstellen, um die Accuracy des Modells für bestimmte Dokumentstrukturen zu verbessern.

Document AI verwendet die von Ihnen definierten Labelnamen und vorherige Annotationen, um mithilfe der Funktion „automatisches Labeling“ das Labeln großer Dokumentmengen schneller und einfacher zu machen.

  1. Wenn Sie einen benutzerdefinierten Prozessor erstellt haben, rufen Sie den Tab Erste Schritte auf.
  2. Wählen Sie Neues Feld erstellen aus.

  3. Geben Sie dem Label einen aussagekräftigen, eindeutigen Namen. Wählen Sie Extrahieren für Werte direkt aus dem Dokument oder Ableiten für Werte aus, die vom System abgeleitet werden. Dadurch werden die Accuracy und die Leistung des Foundation Models verbessert.

    processor-version-genai-17

  4. Fügen Sie für die Accuracy und Leistung der Extraktion eine Beschreibung (z. B. zusätzlichen Kontext, Statistiken und Vorwissen für jede Entität) für die Arten von Entitäten hinzu, die erfasst werden sollen.

    processor-version-genai-23

  5. Rufen Sie den Tab Erstellen auf und wählen Sie Dokumente importieren aus.

    processor-version-genai-18

  6. Wählen Sie den Pfad der Dokumente und den Satz aus, in den die Dokumente importiert werden sollen. Aktivieren Sie die Option für automatisches Labeling und wählen Sie das Foundation Model aus.

  7. Wählen Sie auf dem Tab Erstellen die Option Dataset verwalten aus.

  8. Wählen Sie eines der importierten Dokumente aus.

    processor-version-genai-19

Die Vorhersagen des Modells werden jetzt lila hervorgehoben.

  1. Prüfen Sie jedes vom Modell vorhergesagte Label und vergewissern Sie sich, dass es korrekt ist.

  2. Wenn Felder fehlen, fügen Sie diese ebenfalls hinzu.

    processor-version-genai-20

  3. Wenn das Dokument überprüft wurde, wählen Sie Als „Mit Label versehen“ markieren aus. Das Dokument kann jetzt vom Modell verwendet werden.

  4. Achten Sie darauf, dass sich das Dokument entweder im Test- oder im Trainings-Dataset befindet.

Dreistufige Verschachtelung

Der benutzerdefinierte Extrahierer bietet jetzt drei Verschachtelungsebenen. Diese Funktion ermöglicht eine bessere Extraktion komplexer Tabellen.

Sie können den Modelltyp mit den folgenden API-Aufrufen ermitteln:

Die Antwort ist ein ProcessorVersion, das das Feld modelType in der Vorschau von v1beta3 enthält.

Vorgehensweise und Beispiel

Wir verwenden dieses Beispiel:

processor-version-genai-3

  1. Wählen Sie Jetzt starten aus und erstellen Sie ein Feld:

    • Erstellen Sie die oberste Ebene.
    • In diesem Beispiel wird officer_appointments verwendet.
    • Wählen Sie Dies ist ein übergeordnetes Label aus.
    • Wählen Sie Vorkommen: Optional multiple aus.

    processor-version-genai-4 processor-version-genai-5 processor-version-genai-6

  2. Wählen Sie Untergeordnetes Feld hinzufügen aus. Das Label der zweiten Ebene kann jetzt erstellt werden:

    • Erstellen Sie für dieses Level-Label officer.
    • Wählen Sie Dies ist ein übergeordnetes Label aus.
    • Wählen Sie Vorkommen: Optional multiple aus.

    processor-version-genai-7 processor-version-genai-8

  3. Wählen Sie auf der zweiten Ebene officer die Option Untergeordnetes Feld hinzufügen aus. Erstellen Sie untergeordnete Labels für die dritte Verschachtelungsebene. processor-version-genai-9

  4. Wenn Ihr Schema festgelegt ist, können Sie mithilfe des automatischen Labelings Vorhersagen aus Dokumenten mit drei Verschachtelungsebenen abrufen.

    processor-version-genai-10 processor-version-genai-11

Seitenübergreifende verschachtelte Entitäten kennzeichnen

Der Prozessor pretrained-foundation-model-v1.5-2025-05-05 unterstützt eine dreistufige Verschachtelung über Seiten hinweg.

  1. Labeln Sie eine Entität auf einer Seite wie gewohnt. Hinweis: Die mit einem Label versehene Entität ist nur auf der Seite sichtbar, auf der sie mit einem Label versehen wurde. Die Navigationsleiste ändert sich von Seite zu Seite. Wenn Sie die übergeordnete Entität anpinnen, bleibt diese Navigationsleiste erhalten.

    processor-version-genai-25

  2. Pinnen Sie die übergeordnete Entität mit den untergeordneten Entitäten an, die Sie seitenübergreifend mit Labels versehen möchten.

    processor-version-genai-26

  3. Rufen Sie die Seite mit der untergeordneten Entität oder den untergeordneten Entitäten auf, die Sie mit einem Label versehen möchten.

processor-version-genai-27

Dataset-Konfiguration

Für Training, Aufbautraining oder Bewertung einer Prozessorversion ist ein Dataset aus Dokumenten erforderlich. Document AI-Prozessoren lernen wie Menschen aus Beispielen. Das Dataset sorgt für die Stabilität des Prozessors in Bezug auf die Leistung.

Dataset trainieren

Wenn Sie das Modell und seine Genauigkeit verbessern möchten, trainieren Sie ein Dataset mit Ihren Dokumenten. Das Modell besteht aus Dokumenten mit Grundwahrheit.
  • Für die Feinabstimmung benötigen Sie mindestens 50 Trainings- und 50 Testdokumente, um ein neues Modell mit Version pretrained-foundation-model-v1.5-2025-05-05 zu trainieren.
  • Für einen Few-Shot-Ansatz werden fünf Dokumente empfohlen.
  • Für Zero-Shot ist nur ein Schema erforderlich.

Test-Dataset

Das Test-Dataset wird vom Modell verwendet, um einen F1-Wert (Genauigkeit) zu generieren. Es besteht aus Dokumenten mit Grundwahrheit. Um zu sehen, wie oft das Modell richtig liegt, wird die Grundwahrheit verwendet, um die Vorhersagen des Modells (extrahierte Felder aus dem Modell) mit den richtigen Antworten zu vergleichen. Das Test-Dataset sollte mindestens 50 Dokumente für pretrained-foundation-model-v1.5-2025-05-05 enthalten.

Benutzerdefinierter Extraktor mit Attributbeschreibungen

Mit Attributbeschreibungen können Sie ein Modell trainieren, indem Sie beschreiben, wie die Felder mit Labels aussehen. Sie können für jede Entität zusätzlichen Kontext und weitere Informationen angeben. So kann das Modell trainiert werden, indem Felder abgeglichen werden, die der von Ihnen angegebenen Beschreibung entsprechen, und die Extraktionsgenauigkeit verbessert wird. Attributbeschreibungen können sowohl für übergeordnete als auch für untergeordnete Entitäten angegeben werden.

Gute Beispiele für Attributbeschreibungen sind Standortinformationen und Textmuster der Attributwerte, die dazu beitragen, potenzielle Verwirrungen im Dokument zu vermeiden. Klare und präzise Attributbeschreibungen geben dem Modell Regeln vor, die zu zuverlässigeren und konsistenteren Extraktionen führen, unabhängig von der spezifischen Dokumentstruktur oder den Inhaltsvariationen.

Dokumentschema für einen Prozessor aktualisieren

Informationen zum Festlegen der Attributbeschreibungen finden Sie unter Dokumentenschema aktualisieren.

Verarbeitungsanfrage mit Attributbeschreibungen senden

Wenn im Dokumentschema bereits Beschreibungen festgelegt sind, können Sie eine Verarbeitungsanfrage mit den Anweisungen unter Verarbeitungsanfrage senden senden.

Prozessor mit Attributbeschreibungen optimieren

Ersetzen Sie diese Werte in den folgenden Anfragedaten:

  • LOCATION: Der Standort Ihres Prozessors, z. B.:
    • us – USA
    • eu – Europäische Union
  • PROJECT_ID: Ihre Google Cloud Projekt-ID
  • PROCESSOR_ID: die ID Ihres benutzerdefinierten Prozessors.
  • DISPLAY_NAME: Anzeigename für den Prozessor.
  • PRETRAINED_PROCESSOR_VERSION: die Kennung der Prozessorversion. Weitere Informationen finden Sie unter Prozessorversion auswählen. Beispiel:
    • pretrained-TYPE-vX.X-YYYY-MM-DD
    • stable
    • rc
  • TRAIN_STEPS: Trainingsschritte für die Feinabstimmung des Modells.
  • LEARN_RATE_MULTIPLIER: Multiplikator für die Lernrate für die Feinabstimmung des Modells.
  • DOCUMENT_SCHEMA: Schema für den Prozessor. Weitere Informationen finden Sie unter DocumentSchema-Darstellung.

HTTP-Methode und URL: 

POST https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process

JSON-Text der Anfrage:

{
  "rawDocument": {
      "parent": "projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID",
         "processor_version": {
             "name": "projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/DISPLAY_NAME",
             "display_name": "DISPLAY_NAME",
             "model_type": "MODEL_TYPE_GENERATIVE",
         },
         "base_processor_version": "projects/PROJECT_ID/locations/us/processors/PROCESSOR_ID/processorVersions/PRETRAINED_PROCESSOR_VERSION",
         "foundation_model_tuning_options": {
             "train_steps": TRAIN_STEPS,
             "learning_rate_multiplier": LEARN_RATE_MULTIPLIER,
         }
         "document_schema": DOCUMENT_SCHEMA
      }
}

Wenn Sie die Anfrage senden möchten, wählen Sie eine der folgenden Optionen aus:

curl

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process"

PowerShell

Speichern Sie den Anfragetext in einer Datei mit dem Namen request.json und führen Sie den folgenden Befehl aus: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process" | Select-Object -Expand Content

Benutzerdefinierter Extraktor mit Unterschriftenerkennung

(Öffentliche Vorschau) Der benutzerdefinierte Extraktor unterstützt die Signaturerkennung. Mit dieser Funktion können Sie Signaturen in Dokumenten erkennen. Die Signaturerkennung ist nur mit dem Methodentyp derived verfügbar. Sie können für solche Entitäten ein Schema mit dem Entitätstyp signature angeben. Die Signatur-Entitäten werden anhand visueller Hinweise aus dem Dokument abgeleitet.

Beispiele und Konfigurationsanleitungen finden Sie unter Benutzerdefinierter Extraktor mit abgeleitetem Feld und Signaturerkennung.

Benutzerdefinierter Extraktor mit abgeleiteten Feldern

Der benutzerdefinierte Extraktor unterstützt abgeleitete Felder. Damit können Sie ein Feld so konfigurieren, dass es durch intelligente Inferenz oder Generierung basierend auf dem Dokumentkontext und nicht durch direkte Textextraktion ausgefüllt wird. Sie können dies für Anwendungsfälle wie das Ableiten des Landes aus einer Adresse, das Zusammenfassen eines Dokuments, das Zählen von Elementen in einer Tabelle oder das Erkennen, ob eine ID authentisch ist, verwenden, ohne dass der Wert explizit im Text vorhanden sein muss.

Beispiele und Konfigurationsanleitungen finden Sie unter Benutzerdefinierter Extraktor mit abgeleitetem Feld und Signaturerkennung.

Nächste Schritte

Benutzerdefinierter Extractor mit abgeleitetem Feld und Signaturerkennung

Zurück
Vorlagenbasierte Extraktion
Weiter
Abgeleitetes Feld und Signaturerkennung