Extracteur personnalisé avec IA générative

L'entraînement et l'extraction de l'IA générative vous permettent d'effectuer les opérations suivantes :

• Utilisez la technologie zero-shot et few-shot pour obtenir un modèle performant avec peu ou pas de données d'entraînement à l'aide du modèle de fondation.
• Utilisez l'affinage pour améliorer encore la précision à mesure que vous fournissez de plus en plus de données d'entraînement.

Méthodes d'entraînement de l'IA générative

La méthode d'entraînement que vous choisissez dépend du nombre de documents dont vous disposez et des efforts que vous pouvez consacrer à l'entraînement de votre modèle. Il existe trois façons d'entraîner un modèle d'IA générative :

Méthode d'entraînement	Zero-shot	Few-shot	Affinage
Justesse	Moyenne	Moyenne à élevée	Élevée
Effort	Faible	Faible	Moyenne
Nombre recommandé de documents d'entraînement	0	5 à 10	Entre 10 et 50+

Remarque : Vous pouvez vous attendre à des résultats satisfaisants avec 10 à plus de 50 exemples d'entraînement. Les performances peuvent être optimisées en augmentant le nombre d'exemples à des centaines ou des milliers, en fonction de la complexité et de la variation des documents et des tâches d'extraction.

Versions des modèles de l'extracteur personnalisé

Les modèles suivants sont disponibles pour l'extracteur personnalisé. Pour modifier les versions des modèles, consultez Gérer les versions de l'outil de traitement.

Les versions 1.4, 1.5 et 1.5 Pro sont compatibles avec les scores de confiance.

Version de modèle	Description	Canal de publication	Traitement ML aux États-Unis et dans l'UE	Affinage aux États-Unis et dans l'UE	Date de disponibilité
pretrained-foundation-model-v1.5-2025-05-05	Candidat prêt pour la production, optimisé par le LLM Gemini 2.5 Flash. Recommandé pour les utilisateurs qui souhaitent tester des modèles plus récents.	Stable	Oui	États-Unis, UE	5 mai 2025
pretrained-foundation-model-v1.5-pro-2025-06-20	Modèle prêt pour la production, optimisé par le LLM Gemini 2.5 Pro. Prend en charge un quota de 30 pages par minute pour les requêtes de traitement en ligne. Ce modèle offre une meilleure qualité que la version 1.5, mais peut présenter une latence plus élevée.	Stable	Oui	Non	20 juin 2025
pretrained-foundation-model-v1.5.1-2025-08-07	Modèle en version Preview publique optimisé par le LLM Gemini 2.5 Flash. Ce modèle possède les mêmes fonctionnalités que la version 1.5, et l'apprentissage few-shot adaptatif a été amélioré.	Version candidate	Oui	Non	8 août 2025
pretrained-foundation-model-v1.6-pro-2025-12-01	Modèle en version preview optimisé par le LLM Gemini 3 Pro. Remarque : Cette version de l'outil de traitement utilise le point de terminaison global Vertex AI Gemini et n'est pas conforme aux normes de résidence des données (DMZ). Par exemple, les requêtes envoyées aux points de terminaison des États-Unis et de l'UE peuvent être acheminées n'importe où dans le monde.	Version candidate	Oui	Non	1er décembre 2025
pretrained-foundation-model-v1.6-2026-01-13	Modèle en preview optimisé par le LLM Gemini 3 Flash. Remarque : Cette version de l'outil de traitement utilise le point de terminaison global Vertex AI Gemini et n'est pas conforme aux normes de résidence des données (DMZ). Par exemple, les requêtes envoyées aux points de terminaison des États-Unis et de l'UE peuvent être acheminées n'importe où dans le monde.	Version candidate	Oui	Non	13 janvier 2026
pretrained-foundation-model-v3.1-lite-2026-07-15	Modèle en preview optimisé par le LLM Gemini 3.1 Lite. Compatible avec les points de terminaison multirégionaux (mREP) aux États-Unis et dans l'UE. Remarque : Les clés CMEK ne sont pas entièrement compatibles avec toutes les régions, et certains détails ne sont pas chiffrés. Pour bénéficier de l'assistance, vous devez être ajouté à la liste d'autorisation. Contactez l'équipe chargée de votre compte Google Cloud pour en savoir plus.	Version candidate	Oui	Oui	21 septembre 2026
pretrained-foundation-model-v3.5-2026-05-26	Modèle en preview optimisé par le LLM Gemini 3.5 Flash.	Version candidate	Oui	Non	26 mai 2026

Pour modifier la version de l'outil de traitement dans votre projet, consultez Gérer les versions de l'outil de traitement.

Pour envoyer une demande d'augmentation de quota (DAQ) pour le quota de l'outil de traitement par défaut, suivez la procédure permettant de demander un ajustement de quota.

Configuration initiale

Si ce n'est pas déjà fait, activez la facturation et les API Document AI.

Créer et évaluer un modèle d'IA générative

1. Créez un processeur et définissez les champs que vous souhaitez extraire en suivant les bonnes pratiques, car cela a un impact sur la qualité de l'extraction.

   • Accédez à Workbench > Extracteur personnalisé > Créer un processeur > Attribuer un nom.

   

   • Accédez à Premiers pas > Créer un champ.

   

   Remarque : Les noms de champs du modèle de fondation peuvent avoir un impact important sur la précision et les performances du modèle. Nous vous conseillons de choisir un nom descriptif.

2. Importer des documents

   • Importez des documents avec l'étiquetage automatique et attribuez-les aux ensembles d'entraînement et de test.
   • Pour le zero-shot, seul le schéma est requis. Pour évaluer la justesse du modèle, seul un ensemble de test est nécessaire.
   • Pour le few-shot, nous recommandons cinq documents d'entraînement.
   • Le nombre de documents de test nécessaires dépend du cas d'utilisation. En général, plus vous disposez de documents de test, mieux c'est.
   • Confirmez ou modifiez les étiquettes dans le document.

3. Entraîner le modèle :

   • Sélectionnez Build, puis Créer une version.
   • Saisissez un nom, puis sélectionnez Créer.

   

Remarque : Chaque réglage peut prendre plusieurs heures (en fonction de la charge du système, et non de la taille du job de réglage) et expire au bout de 72 heures. Si le réglage s'effectue dans ce délai, il est considéré comme fonctionnant comme prévu.

Conseil : Pour réduire les frictions du cycle de développement, planifiez les jobs de réglage de manière à tenir compte de ce délai. Par exemple, le vendredi en fin de journée ou à des jours différents pour les différents processeurs.

1. Évaluation :

   • Accédez à Évaluer et tester, sélectionnez la version que vous venez d'entraîner, puis sélectionnez Afficher l'évaluation complète.

   

   • Vous voyez maintenant des métriques telles que f1, la précision et le rappel pour l'ensemble du document et chaque champ.
   • Déterminez si les performances répondent à vos objectifs de production. Si ce n'est pas le cas, réévaluez les ensembles d'entraînement et de test.

2. Définissez une nouvelle version par défaut :

   • Accédez à Gérer les versions.
   • Sélectionnez l'icône pour développer les options, puis sélectionnez Définir par défaut.
   Remarque : Vérifiez que l'état de la version est "Déployé". Si ce n'est pas le cas, sélectionnez d'abord la version de déploiement. Vous pouvez maintenant définir la nouvelle version comme version par défaut.

   

   Votre modèle est maintenant déployé. Les documents envoyés à ce processeur utilisent votre version personnalisée. Vous pouvez évaluer les performances du modèle pour vérifier s'il nécessite un entraînement supplémentaire.

Documentation de référence sur l'évaluation

Le moteur d'évaluation peut effectuer une correspondance exacte ou une correspondance approximative. Pour une correspondance exacte, la valeur extraite doit correspondre exactement à la vérité terrain, sinon elle est comptabilisée comme un échec.

Les extractions de correspondance approximative qui présentaient de légères différences, telles que des différences de casse, sont toujours comptabilisées comme une correspondance. Vous pouvez modifier ce paramètre sur l'écran Évaluation.

Affinage

Avec l'affinage, vous utilisez des centaines ou des milliers de documents pour l'entraînement.

1. Créez un processeur et définissez les champs que vous souhaitez extraire en suivant les bonnes pratiques. C'est important, car cela a un impact sur la qualité de l'extraction.

   Remarque : Les noms de champs du modèle de fondation peuvent avoir un impact important sur la précision et les performances du modèle. Veillez à lui attribuer un nom descriptif.

2. Importer des documents avec l'étiquetage automatique et attribuer des documents aux ensembles d'entraînement et de test

3. Confirmez ou modifiez les étiquettes dans le document.

4. Entraîner le modèle

   • Sélectionnez l'onglet Build, puis Créer une version dans la zone Réglage.

   

   Remarque : L'affinage permet d'ajuster un modèle de fondation, ce qui est recommandé, tandis que l'option Entraîner un modèle personnalisé permet d'entraîner un modèle conventionnel non basé sur l'IA générative.

   • Essayez les paramètres ou les valeurs d'entraînement par défaut fournis. Si les résultats ne sont pas satisfaisants, essayez les options avancées suivantes :

   • Étapes d'entraînement (entre 1 et 400) : également appelées "époques", les étapes d'entraînement contrôlent la fréquence à laquelle les pondérations sont optimisées sur un lot de données pendant le réglage.

     • Une valeur trop faible indique un risque que l'entraînement se termine avant la convergence (sous-ajustement).
     • Si elle est trop élevée, le modèle peut voir le même lot de données plusieurs fois pendant l'entraînement, ce qui peut entraîner un surapprentissage.
     • Moins d'étapes permet d'accélérer l'entraînement. Des nombres plus élevés peuvent être utiles pour les documents présentant peu de variations de modèle (et des nombres plus faibles pour ceux présentant plus de variations).
     Remarque : La console Google Cloud accepte de 1 à 40 étapes d'entraînement. Pour définir des valeurs plus élevées, utilisez l'API REST.

   • Multiplicateur du taux d'apprentissage (entre 0,1 et 10) : contrôle la vitesse à laquelle les paramètres du modèle sont optimisés sur les données d'entraînement. Il correspond approximativement à la taille de chaque étape d'entraînement.

     • Des taux faibles signifient que les pondérations du modèle changent peu à chaque étape d'entraînement. Si elle est trop faible, le modèle risque de ne pas converger vers une solution stable.
     • Des taux élevés indiquent des changements importants, et des taux trop élevés peuvent signifier que le modèle dépasse la solution optimale et converge vers une solution sous-optimale.
     • Le temps d'entraînement n'est pas affecté par le choix du taux d'apprentissage.

   • Attribuez un nom, sélectionnez la version de l'outil de traitement de base requise, puis sélectionnez Créer.

   

5. Évaluation : accédez à Évaluer et tester, sélectionnez la version que vous venez d'entraîner, puis cliquez sur Afficher l'évaluation complète.

   

   • Vous voyez maintenant des métriques telles que f1, la précision et le rappel pour l'ensemble du document et chaque champ.
   • Déterminez si les performances répondent à vos objectifs de production. Si ce n'est pas le cas, des documents d'entraînement supplémentaires peuvent être nécessaires.

6. Définissez une nouvelle version par défaut :

   • Accédez à Gérer les versions.
   • Sélectionnez l'icône pour développer les options, puis sélectionnez Définir par défaut.

   

   Remarque : Vérifiez que l'état de la version est "Déployée". Si ce n'est pas le cas, sélectionnez Déployer la version. Vous pouvez maintenant définir la nouvelle version comme version par défaut lorsque son état passe à "Déployée".

   Votre modèle est maintenant déployé, et les documents envoyés à ce processeur utilisent désormais votre version personnalisée. Vous souhaitez évaluer les performances du modèle pour vérifier s'il nécessite un entraînement supplémentaire.

Étiquetage automatique avec le modèle de fondation

Le modèle de fondation peut extraire avec précision des champs à partir de types de documents divers, mais vous pouvez également fournir des données d'entraînement supplémentaires afin d'améliorer sa justesse pour des structures de documents spécifiques.

Document AI utilise les noms d'étiquettes que vous avez définis et les annotations précédentes pour faciliter et accélérer l'étiquetage des documents à grande échelle grâce à l'étiquetage automatique.

1. Une fois que vous avez créé un processeur personnalisé, accédez à l'onglet Premiers pas.
2. Sélectionnez Créer un champ.

3. Attribuez au libellé un nom distinctif et descriptif. Choisissez Extraction pour les valeurs directement issues du document ou Dérivation pour les valeurs inférées par le système. Cela améliore la justesse et les performances du modèle de fondation.

   

4. Pour améliorer la précision et les performances de l'extraction, ajoutez une description (par exemple, des informations contextuelles, des insights et des connaissances préalables supplémentaires pour chaque entité) pour les types d'entités à récupérer.

   Remarque : Quelle que soit la structure ou les variations du contenu, les règles favorisent des extractions fiables et cohérentes. Pour guider le modèle et minimiser la confusion dans le document, incluez des descriptions de propriétés avec des informations de localisation et des modèles de texte des valeurs de propriété.

   

   Remarque : Vous pouvez modifier la description. Toutefois, la modification ne sera pas propagée à la version du processeur personnalisé. Un instantané de la description se trouve dans la version du processeur personnalisé.

5. Accédez à l'onglet Compiler, puis sélectionnez Importer des documents.

   

6. Sélectionnez le chemin d'accès aux documents et l'ensemble dans lequel ils doivent être importés. Cochez l'option d'étiquetage automatique, puis sélectionnez le modèle de fondation.

7. Dans l'onglet Créer, sélectionnez Gérer l'ensemble de données.

8. Lorsque vous voyez vos documents importés, sélectionnez l'un d'entre eux.

   

Les prédictions du modèle sont désormais mises en surbrillance en violet.

1. Examinez chaque étiquette prédite par le modèle et vérifiez qu'elle est correcte.

2. S'il manque des champs, ajoutez-les également.

   Remarque : Il est important que tous les champs soient aussi précis que possible, sinon les performances du modèle en pâtiront. En savoir plus sur l'étiquetage

   

3. Une fois le document examiné, sélectionnez Marquer comme étiqueté. Le document est maintenant prêt à être utilisé par le modèle.

4. Assurez-vous que le document se trouve dans l'ensemble de test ou d'entraînement.

Imbrication à trois niveaux

L'extracteur personnalisé propose désormais trois niveaux d'imbrication. Cette fonctionnalité permet une meilleure extraction des tableaux complexes.

Remarque : Trois niveaux d'imbrication ne sont acceptés que si vous utilisez des types de modèles d'IA générative ("Foundation") dans l'extracteur personnalisé. Les modèles d'extraction, de classification et de fractionnement ne sont compatibles qu'avec deux niveaux d'imbrication.

Vous pouvez déterminer le type de modèle à l'aide des appels d'API suivants :

• processors.get
• processorVersions.get

La réponse de ces méthodes est un ProcessorVersion, qui contient le champ modelType dans la version preview v1beta3.

Procédure et exemple

Nous utilisons cet exemple :

1. Sélectionnez Commencer, puis créez un champ :

   • Créez le niveau supérieur.
   • Dans cet exemple, officer_appointments est utilisé.
   • Sélectionnez Il s'agit d'une étiquette parente.
   • Sélectionnez Occurrence : Optional multiple.

   

2. Sélectionnez Ajouter un champ enfant. Vous pouvez maintenant créer l'étiquette de deuxième niveau :

   • Pour ce libellé de niveau, créez officer.
   • Sélectionnez Il s'agit d'une étiquette parente.
   • Sélectionnez Occurrence : Optional multiple.

   

3. Sélectionnez Ajouter un champ enfant dans le deuxième niveau officer. Créez des libellés enfants pour le troisième niveau d'imbrication.

4. Une fois votre schéma défini, vous pouvez obtenir des prédictions à partir de documents comportant trois niveaux d'imbrication à l'aide de l'étiquetage automatique.

   

Étiqueter des entités imbriquées sur plusieurs pages

Le processeur pretrained-foundation-model-v1.5-2025-05-05 accepte l'imbrication sur trois niveaux entre les pages.

1. Étiquetez une entité normalement sur une page. Remarque : L'entité étiquetée ne sera visible que sur la page où elle est étiquetée, la barre de navigation changeant d'une page à l'autre. En épinglant l'entité parente, cette barre de navigation reste affichée.

   

2. Épinglez l'entité parente avec les enfants que vous souhaitez étiqueter sur plusieurs pages.

   

3. Accédez à la page contenant la ou les entités enfants à étiqueter.

Remarque : L'entité parente peut également être retirée, ce qui la rend visible uniquement sur les pages où elle a été étiquetée auparavant.

Configuration d'ensemble de données

Un ensemble de données de documents est requis pour entraîner, surentraîner ou évaluer une version de l'outil de traitement. Les processeurs Document AI apprennent à partir d'exemples, tout comme les humains. L'ensemble de données alimente la stabilité du processeur en termes de performances.

Ensemble de données d'entraînement

Pour améliorer le modèle et sa précision, entraînez un ensemble de données sur vos documents. Le modèle est constitué de documents avec vérité terrain.

• Pour l'affinage, vous devez disposer d'au moins 50 documents d'entraînement et 50 documents de test pour entraîner un nouveau modèle avec la version pretrained-foundation-model-v1.5-2025-05-05.
• Pour un prompt few-shot, nous vous recommandons d'utiliser cinq documents.
• Pour le zero-shot, seul un schéma est requis.

La vérité terrain correspond aux données correctement étiquetées, telles que déterminées par les humains.

Ensemble de données de test

L'ensemble de données de test est utilisé par le modèle pour générer un score F1 (justesse). Il est composé de documents avec vérité terrain. Pour voir à quelle fréquence le modèle est correct, la vérité terrain est utilisée pour comparer les prédictions du modèle (champs extraits du modèle) avec les réponses correctes. L'ensemble de données de test doit comporter au moins 50 documents pour pretrained-foundation-model-v1.5-2025-05-05.

Extracteur personnalisé avec descriptions de propriétés

Les descriptions de propriétés vous permettent d'entraîner un modèle en décrivant les champs étiquetés. Vous pouvez fournir du contexte et des insights supplémentaires pour chaque entité. Cela permet au modèle de s'entraîner en mettant en correspondance les champs qui correspondent à la description que vous fournissez et d'améliorer la précision de l'extraction. Les descriptions de propriétés peuvent être spécifiées pour les entités parentes et enfants.

Les descriptions de propriétés incluent par exemple des informations de localisation et des modèles de texte des valeurs de propriété, qui permettent de lever les ambiguïtés potentielles dans le document. Des descriptions de propriétés claires et précises guident le modèle avec des règles qui favorisent des extractions plus fiables et cohérentes, quelles que soient la structure du document ou les variations de contenu.

Mettre à jour le schéma de document d'un processeur

Pour savoir comment définir les descriptions des propriétés, consultez Mettre à jour le schéma du document.

Envoyer une demande de traitement avec des descriptions de propriétés

Si le schéma du document comporte déjà des descriptions, vous pouvez envoyer une requête de traitement en suivant les instructions de la section Envoyer une requête de traitement.

Affiner un processeur avec des descriptions de propriétés

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

• LOCATION : emplacement de votre processeur, par exemple :
  • us – États-Unis
  • eu - Union européenne
• PROJECT_ID : ID de votre projet Google Cloud .
• PROCESSOR_ID : ID de votre processeur personnalisé.
• DISPLAY_NAME : nom à afficher du processeur.
• PRETRAINED_PROCESSOR_VERSION : identifiant de la version du processeur. Pour en savoir plus, consultez Sélectionner une version de l'outil de traitement. Par exemple :
  .
  • pretrained-TYPE-vX.X-YYYY-MM-DD
  • stable
  • rc
• TRAIN_STEPS : étapes d'entraînement pour l'affinage du modèle.
• LEARN_RATE_MULTIPLIER : multiplicateur du taux d'apprentissage pour l'affinage du modèle.
• DOCUMENT_SCHEMA : schéma du processeur. Consultez la représentation DocumentSchema.

Méthode HTTP et URL :

POST https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process

Corps JSON de la requête :

{
  "rawDocument": {
      "parent": "projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID",
         "processor_version": {
             "name": "projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/DISPLAY_NAME",
             "display_name": "DISPLAY_NAME",
             "model_type": "MODEL_TYPE_GENERATIVE",
         },
         "base_processor_version": "projects/PROJECT_ID/locations/us/processors/PROCESSOR_ID/processorVersions/PRETRAINED_PROCESSOR_VERSION",
         "foundation_model_tuning_options": {
             "train_steps": TRAIN_STEPS,
             "learning_rate_multiplier": LEARN_RATE_MULTIPLIER,
         }
         "document_schema": DOCUMENT_SCHEMA
      }
}

Pour envoyer votre requête, choisissez l'une des options suivantes :

curl

Remarque : La commande suivante suppose que vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login, ou en utilisant Cloud Shell, qui vous connecte automatiquement à la CLI gcloud. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process"

PowerShell

Remarque : Pour la commande suivante, nous partons du principe que vous vous êtes connecté à la CLI gcloud avec votre compte utilisateur en exécutant la commande gcloud init ou gcloud auth login. Vous pouvez exécuter la commande gcloud auth list pour vérifier quel est le compte actuellement actif.

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-documentai.googleapis.com/v1beta3/projects/PROJECT_ID/locations/LOCATION/processors/PROCESSOR_ID/processorVersions/PROCESSOR_VERSION:process" | Select-Object -Expand Content

Extracteur personnalisé avec détection de signature

Aperçu

Ce produit est soumis aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les produits de pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

(Version Preview publique) L'extracteur personnalisé est compatible avec la détection de signatures. Cette fonctionnalité vous permet de détecter la présence de signatures dans les documents. La détection de signature n'est disponible qu'avec le type de méthode derived. Vous pouvez spécifier un schéma avec le type d'entité signature pour ces entités. Les entités de signature sont dérivées à l'aide d'indices visuels du document.

Pour obtenir des exemples et des instructions de configuration, cliquez sur Extracteur personnalisé avec champ dérivé et détection de signature.

Extracteur personnalisé avec champs dérivés

Aperçu

Ce produit est soumis aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les produits de pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

L'extracteur personnalisé est compatible avec les champs dérivés. Il vous permet de configurer un champ à remplir par inférence ou génération intelligente en fonction du contexte du document, plutôt que par extraction directe de texte. Vous pouvez l'utiliser pour des cas d'utilisation tels que la déduction du pays à partir d'une adresse, la synthèse d'un document, le comptage d'éléments dans un tableau ou la détection de l'authenticité d'un ID, sans que la valeur soit explicitement présente dans le texte.

Pour obtenir des exemples et des instructions de configuration, cliquez sur Extracteur personnalisé avec champ dérivé et détection de signature.

Important : Les champs dérivés sont générés page par page. Pour en savoir plus, consultez les limites des champs dérivés.

Étapes suivantes

En savoir plus sur l'extracteur personnalisé avec champ dérivé et détection de signature.