Utiliser l'analyseur LLM

Cette page explique comment utiliser le moteur RAG sur l'analyseur LLM de Gemini Enterprise Agent Platform.

Introduction

Le moteur RAG utilise des LLM pour l'analyse des documents. Les LLM peuvent traiter efficacement les documents de différentes manières :

  • Comprendre et interpréter le contenu sémantique dans différents formats.
  • Récupérer les fragments de document pertinents.
  • Extraire des informations pertinentes de documents
  • Identifier les sections pertinentes dans les documents.
  • Résumez avec précision des documents complexes.
  • Comprendre des visuels et interagir avec eux
  • Extraire des données de graphiques et de diagrammes
  • Décrire des images.
  • Comprendre les relations entre les graphiques et le texte
  • Fournir des réponses plus précises et plus riches en contexte.

Les fonctionnalités du moteur RAG améliorent considérablement la qualité des réponses générées.

Modèles compatibles

Les modèles suivants sont compatibles avec l'analyseur LLM du moteur RAG :

Types de fichiers compatibles

Les types de fichiers suivants sont compatibles avec l'analyseur LLM :

  • application/pdf
  • image/png
  • image/jpeg
  • image/webp
  • image/heic
  • image/heif

Tarifs et quotas

Pour en savoir plus sur les tarifs, consultez la page Tarifs de Gemini Enterprise Agent Platform.

Pour connaître les quotas applicables, consultez Quotas de débit.

L'analyseur LLM appelle les modèles Gemini pour analyser vos documents. Cela entraîne des coûts supplémentaires, qui sont facturés à votre projet. Le coût peut être estimé approximativement à l'aide de la formule suivante :

cost = number_of_document_files * average_pages_per_document *
(average_input_tokens * input_token_pricing_of_selected_model +
average_output_tokens * output_token_pricing_of_selected_model)

Par exemple, vous avez 1 000 fichiers PDF, et chaque fichier PDF comporte 50 pages. La page PDF moyenne contient 500 jetons, et nous avons besoin de 100 jetons supplémentaires pour le prompt. La sortie moyenne est de 100 jetons.

cost = 1,000 * 50 * (600 * 0.075 / 1M + 100 * 0.3 / 1M) = 3.75

Le coût est de 3,75 $.

Importer des fichiers avec LlmParser activé

Remplacez les valeurs des variables suivantes utilisées dans les exemples de code :

  • PROJECT_ID : ID de votre projet Google Cloud .

  • LOCATION : région dans laquelle votre requête est traitée.

  • RAG_CORPUS_RESOURCE : ID de votre corpus.

  • GCS_URI : URI Cloud Storage des fichiers que vous souhaitez importer.

  • GOOGLE_DRIVE_URI : URI Google Drive des fichiers que vous souhaitez importer.

  • MODEL_NAME : nom de ressource du modèle utilisé pour l'analyse.

    Format : projects/{project_id}/locations/{location}/publishers/google/models/{model_id}

  • CUSTOM_PARSING_PROMPT (facultatif) : requête personnalisée configurée par le client pour que l'analyseur LLM l'utilise pour analyser les documents.

  • MAX_PARSING_REQUESTS_PER_MIN (facultatif) : nombre maximal de requêtes que le job peut envoyer au modèle de la plate-forme d'agent par minute. Pour en savoir plus, consultez Limites de débit de l'IA générative sur Agent Platform et la page Quotas et limites du système de votre projet pour définir une valeur appropriée.

REST

  curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_RESOURCE/ragFiles:import" -d '{
    "import_rag_files_config": {
      "gcs_source": {
        "uris":  ["GCS_URI", "GOOGLE_DRIVE_URI"]
      },
      "rag_file_chunking_config": {
        "chunk_size": 512,
        "chunk_overlap": 102
      },
      "rag_file_parsing_config": {
        "llm_parser": {
          "model_name": "MODEL_NAME",
          "custom_parsing_prompt": "CUSTOM_PARSING_PROMPT"
          "max_parsing_requests_per_min": "MAX_PARSING_REQUESTS_PER_MIN"
        }
      }
    }
  }'

Python

Pour savoir comment installer ou mettre à jour le SDK Agent Platform pour Python, consultez Installer le SDK Agent Platform pour Python. Pour en savoir plus, consultez la documentation de référence de l'API Python.

  from vertexai import rag
  import vertexai

  PROJECT_ID = "PROJECT_ID"
  CORPUS_NAME = "RAG_CORPUS_RESOURCE"
  LOCATION = "LOCATION"
  MODEL_ID = "MODEL_ID"
  MODEL_NAME = "projects/{PROJECT_ID}/locations/{LOCATION}/publishers/google/models/{MODEL_ID}"
  MAX_PARSING_REQUESTS_PER_MIN = MAX_PARSING_REQUESTS_PER_MIN # Optional
  CUSTOM_PARSING_PROMPT = "Your custom prompt" # Optional

  PATHS = ["https://drive.google.com/file/123", "gs://my_bucket/my_files_dir"]

  # Initialize Agent Platform API once per session
  vertexai.init(project={PROJECT_ID}, location={LOCATION})

  transformation_config = rag.TransformationConfig(
      chunking_config=rag.ChunkingConfig(
          chunk_size=1024, # Optional
          chunk_overlap=200, # Optional
      ),
  )

  llm_parser_config = rag.LlmParserConfig(
      model_name = MODEL_NAME,
      max_parsing_requests_per_min=MAX_PARSING_REQUESTS_PER_MIN, # Optional
      custom_parsing_prompt=CUSTOM_PARSING_PROMPT, # Optional
  )

  rag.import_files(
      CORPUS_NAME,
      PATHS,
      llm_parser=llm_parser_config,
      transformation_config=transformation_config,
  )

Rédaction de prompts

L'analyseur LLM du moteur RAG sur Gemini Enterprise Agent Platform utilise une requête prédéfinie et ajustée pour analyser les documents. Toutefois, si vous disposez de documents spécialisés qui ne conviennent pas à une requête générale, vous pouvez spécifier votre requête d'analyse personnalisée lorsque vous utilisez l'API. Lorsque vous demandez à Gemini d'analyser vos documents, le moteur RAG ajoute un prompt à votre prompt système par défaut.

Tableau des modèles de prompt

Pour vous aider à analyser les documents, le tableau suivant fournit un exemple de modèle de prompt pour vous guider dans la création de prompts que le moteur RAG peut utiliser pour analyser vos documents :

Instruction Instruction du modèle Exemple
Indiquez un rôle. Tu es un [spécifier le rôle, par exemple un extracteur de données factuelles ou un récupérateur d'informations]. Tu es un récupérateur d'informations.
Spécifiez la tâche. Extrais [spécifiez le type d'informations, par exemple des déclarations factuelles, des données clés ou des détails spécifiques] de [spécifiez la source du document, par exemple un document, un texte, un article, une image ou un tableau]. Extraire les données clés du fichier sample.txt
Expliquez comment vous souhaitez que le LLM génère la sortie en fonction de vos documents. Présente chaque fait sous forme de [spécifier le format de sortie, par exemple une liste structurée ou un format texte] et ajoute un lien vers sa [spécifier l'emplacement de la source, par exemple une page, un paragraphe, un tableau ou une ligne]. Présentez chaque fait dans une liste structurée et ajoutez un lien vers sa page d'exemple.
Mettez en évidence ce sur quoi le LLM doit se concentrer. Extrais [spécifiez les types de données clés, tels que les noms, les dates, les nombres, les attributs ou les relations] exactement comme énoncé. Extrayez les noms et les dates.
Mettez en évidence ce que vous souhaitez que le LLM évite. [List the actions to avoid, such as analysis, interpretation, summarizing, inferring, or giving opinions]. N'extrais que ce que le document indique explicitement. Ne donnez pas votre avis. N'extrais que ce que le document indique explicitement.

Conseils généraux

Suivez ces consignes pour rédiger le prompt à envoyer à l'analyseur LLM.

  • Spécifique : définissez clairement la tâche et le type d'informations à extraire.
  • Détaillées : fournissez des instructions détaillées sur le format de sortie, l'attribution des sources et la gestion des différentes structures de données.
  • Contrainte : indiquez explicitement ce que l'IA ne doit pas faire, comme l'analyse ou l'interprétation.
  • Clarté : utilisez un langage clair et direct.
  • Structuré : organisez les instructions de manière logique à l'aide de listes numérotées ou à puces pour plus de lisibilité.

Analyse de la qualité de l'analyse syntaxique

Ce tableau présente les résultats de scénarios exécutés par les clients à l'aide du moteur RAG sur Gemini Enterprise Agent Platform. Les commentaires montrent que l'analyseur LLM améliore la qualité de l'analyse des documents.

Scénario Résultat
Analyse des informations sur les diapositives et association des sections L'analyseur LLM a réussi à associer les titres de section d'une diapositive aux informations détaillées présentées sur les diapositives suivantes.
Comprendre et extraire des informations de tableaux L'analyseur LLM a correctement associé les colonnes et les en-têtes d'un grand tableau pour répondre à des questions spécifiques.
Interpréter des organigrammes L'analyseur LLM a pu suivre la logique d'un organigramme et extraire la bonne séquence d'actions et les informations correspondantes.
Extraire des données de graphiques L'analyseur LLM peut interpréter différents types de graphiques, tels que des graphiques en courbes, et extraire des points de données spécifiques en fonction de la requête.
Capturer les relations entre les titres et le texte L'analyseur LLM, guidé par le prompt, a prêté attention aux structures des titres et a pu récupérer toutes les informations pertinentes associées à un sujet ou une section en particulier.
Possibilité de surmonter les limites des embeddings grâce au prompt engineering Bien qu'initialement entravées par les limites du modèle d'embedding dans certains cas d'utilisation, des expériences supplémentaires ont démontré qu'un prompt d'analyseur LLM bien conçu pouvait potentiellement atténuer ces problèmes et récupérer les informations correctes, même lorsque la compréhension sémantique est difficile pour le modèle d'embedding seul.

L'analyseur LLM améliore la capacité du LLM à comprendre et à raisonner sur le contexte d'un document, ce qui permet d'obtenir des réponses plus précises et plus complètes.

Requête de récupération

Une fois que vous avez saisi un prompt qui est envoyé à un modèle d'IA générative, le composant de récupération du RAG effectue une recherche dans sa base de connaissances afin de trouver des informations pertinentes pour la requête. Pour en savoir plus sur la récupération de fichiers RAG à partir d'un corpus, consultez Méthode : ragFiles.get.

Étapes suivantes