Cómo usar el analizador de LLM

En esta página, se explica cómo usar el analizador de LLM de RAG Engine en Gemini Enterprise Agent Platform.

Introducción

RAG Engine usa LLM para analizar documentos. Los LLM tienen la capacidad de procesar documentos de forma eficaz de las siguientes maneras:

  • Comprender e interpretar contenido semántico en varios formatos
  • Recupera fragmentos de documentos relevantes.
  • Extraer información significativa de los documentos
  • Identificar secciones relevantes en los documentos
  • Resume con precisión documentos complejos.
  • Comprende las imágenes y, además, interactúa con ellas.
  • Extraer datos de gráficos y diagramas
  • Describe imágenes.
  • Comprender las relaciones entre los gráficos y el texto
  • Proporcionar respuestas más precisas y ricas en contexto

Las capacidades de RAG Engine mejoran significativamente la calidad de las respuestas generadas.

Modelos compatibles

Los siguientes modelos admiten el analizador de LLM del motor de RAG:

Tipos de archivos admitidos

El analizador de LLM admite los siguientes tipos de archivos:

  • application/pdf
  • image/png
  • image/jpeg
  • image/webp
  • image/heic
  • image/heif

Precios y cuotas

Para obtener detalles sobre los precios, consulta Precios de Gemini Enterprise Agent Platform.

Para conocer las cuotas que se aplican, consulta Cuotas de frecuencia.

El analizador de LLM llama a los modelos de Gemini para analizar tus documentos. Esto genera costos adicionales, que se cobran a tu proyecto. El costo se puede estimar de forma aproximada con esta fórmula:

cost = number_of_document_files * average_pages_per_document *
(average_input_tokens * input_token_pricing_of_selected_model +
average_output_tokens * output_token_pricing_of_selected_model)

Por ejemplo, tienes 1,000 archivos PDF y cada uno tiene 50 páginas. La página promedio de un PDF tiene 500 tokens, y necesitamos 100 tokens adicionales para las instrucciones. El resultado promedio es de 100 tokens.

cost = 1,000 * 50 * (600 * 0.075 / 1M + 100 * 0.3 / 1M) = 3.75

El costo es de USD 3.75.

Importa archivos con LlmParser habilitado

Reemplaza los valores de las siguientes variables que se usan en las muestras de código:

  • PROJECT_ID: Es el ID de tu proyecto de Google Cloud .

  • LOCATION: Es la región en la que se procesa tu solicitud.

  • RAG_CORPUS_RESOURCE: Es el ID de tu corpus.

  • GCS_URI: Es el URI de Cloud Storage de los archivos que deseas importar.

  • GOOGLE_DRIVE_URI: Es el URI de Google Drive de los archivos que quieres importar.

  • MODEL_NAME: Es el nombre del recurso del modelo que se usa para el análisis.

    Formato: projects/{project_id}/locations/{location}/publishers/google/models/{model_id}

  • CUSTOM_PARSING_PROMPT: Es opcional. Es una instrucción personalizada que configura el cliente para que el analizador de LLM la use para analizar documentos.

  • MAX_PARSING_REQUESTS_PER_MIN: Es opcional. Es la cantidad máxima de solicitudes que el trabajo puede realizar al modelo de Agent Platform por minuto. Para obtener más información, consulta Límites de frecuencia de la IA generativa en Agent Platform y la página Cuotas y límites del sistema de tu proyecto para establecer un valor adecuado.

REST

  curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/LOCATION/ragCorpora/RAG_CORPUS_RESOURCE/ragFiles:import" -d '{
    "import_rag_files_config": {
      "gcs_source": {
        "uris":  ["GCS_URI", "GOOGLE_DRIVE_URI"]
      },
      "rag_file_chunking_config": {
        "chunk_size": 512,
        "chunk_overlap": 102
      },
      "rag_file_parsing_config": {
        "llm_parser": {
          "model_name": "MODEL_NAME",
          "custom_parsing_prompt": "CUSTOM_PARSING_PROMPT"
          "max_parsing_requests_per_min": "MAX_PARSING_REQUESTS_PER_MIN"
        }
      }
    }
  }'

Python

Si deseas obtener información para instalar o actualizar el SDK de Agent Platform para Python, consulta Instala el SDK de Agent Platform para Python. Para obtener más información, consulta la documentación de referencia de la API de Python.

  from vertexai import rag
  import vertexai

  PROJECT_ID = "PROJECT_ID"
  CORPUS_NAME = "RAG_CORPUS_RESOURCE"
  LOCATION = "LOCATION"
  MODEL_ID = "MODEL_ID"
  MODEL_NAME = "projects/{PROJECT_ID}/locations/{LOCATION}/publishers/google/models/{MODEL_ID}"
  MAX_PARSING_REQUESTS_PER_MIN = MAX_PARSING_REQUESTS_PER_MIN # Optional
  CUSTOM_PARSING_PROMPT = "Your custom prompt" # Optional

  PATHS = ["https://drive.google.com/file/123", "gs://my_bucket/my_files_dir"]

  # Initialize Agent Platform API once per session
  vertexai.init(project={PROJECT_ID}, location={LOCATION})

  transformation_config = rag.TransformationConfig(
      chunking_config=rag.ChunkingConfig(
          chunk_size=1024, # Optional
          chunk_overlap=200, # Optional
      ),
  )

  llm_parser_config = rag.LlmParserConfig(
      model_name = MODEL_NAME,
      max_parsing_requests_per_min=MAX_PARSING_REQUESTS_PER_MIN, # Optional
      custom_parsing_prompt=CUSTOM_PARSING_PROMPT, # Optional
  )

  rag.import_files(
      CORPUS_NAME,
      PATHS,
      llm_parser=llm_parser_config,
      transformation_config=transformation_config,
  )

Instrucciones

El analizador de LLM de RAG Engine en Gemini Enterprise Agent Platform usa una instrucción predefinida y ajustada para analizar documentos. Sin embargo, si tienes documentos especializados que podrían no ser adecuados para una instrucción general, tienes la opción de especificar tu instrucción de análisis personalizada cuando uses la API. Cuando le pides a Gemini que analice tus documentos, el motor de RAG agrega una instrucción a la instrucción predeterminada del sistema.

Tabla de plantillas de instrucciones

Para ayudar con el análisis de documentos, en la siguiente tabla, se proporciona un ejemplo de plantilla de instrucciones que te guiará en la creación de instrucciones que el motor de RAG puede usar para analizar tus documentos:

Instruction Declaración de plantilla Ejemplo
Especifica el rol. Eres un [Especifica el rol, como un extractor de datos fácticos o un recuperador de información]. Eres un recuperador de información.
Especifica la tarea. Extrae [especifica el tipo de información, como declaraciones fácticas, datos clave o detalles específicos] de [especifica la fuente del documento, como un documento, texto, artículo, imagen o tabla]. Extraer datos clave del archivo sample.txt
Explica cómo quieres que el LLM genere el resultado según tus documentos. Presenta cada hecho en un [especifica el formato de salida, como una lista estructurada o un formato de texto] y vincula a su [especifica la ubicación de la fuente, como una página, un párrafo, una tabla o una fila]. Presenta cada hecho en una lista estructurada y vincula a su página de ejemplo.
Destaca en qué debe enfocarse el LLM. Extrae [especifica los tipos de datos clave, como nombres, fechas, números, atributos o relaciones] tal como se indica. Extrae nombres y fechas.
Destaca lo que quieres que evite el LLM. [Enumera las acciones que se deben evitar, como analizar, interpretar, resumir, inferir o dar opiniones]. Extrae solo lo que se indica de forma explícita en el documento. No des opiniones. Extrae solo lo que el documento dice de forma explícita.

Guía general

Sigue estos lineamientos para escribir la instrucción que enviarás al analizador de LLM.

  • Específico: Define con claridad la tarea y el tipo de información que se extraerá.
  • Detalladas: Proporciona instrucciones detalladas sobre el formato de salida, la atribución de fuentes y el manejo de diferentes estructuras de datos.
  • Restricción: Indica de forma explícita lo que la IA no debe hacer, como análisis o interpretación.
  • Claro: Usa un lenguaje claro y directivo.
  • Estructuradas: Organiza las instrucciones de forma lógica con listas numeradas o viñetas para mejorar la legibilidad.

Análisis de la calidad del análisis

En esta tabla, se enumeran los resultados de las situaciones que los clientes ejecutaron con RAG Engine en Gemini Enterprise Agent Platform. Los comentarios muestran que el analizador de LLM mejora la calidad del análisis de documentos.

Situación Resultado
Analizar información en las diapositivas y vincular secciones El analizador de LLM vinculó correctamente los títulos de las secciones de una diapositiva con la información detallada que se presenta en las diapositivas posteriores.
Comprende y extrae información de tablas El analizador de LLM relacionó correctamente las columnas y los encabezados de una tabla grande para responder preguntas específicas.
Interpreta diagramas de flujo El analizador de LLM pudo seguir la lógica de un diagrama de flujo y extraer la secuencia correcta de acciones y la información correspondiente.
Extraer datos de gráficos El analizador de LLM podría interpretar diferentes tipos de gráficos, como gráficos de líneas, y extraer datos específicos según la consulta.
Captura las relaciones entre los encabezados y el texto El analizador de LLM, guiado por la instrucción, prestó atención a las estructuras de los encabezados y pudo recuperar toda la información pertinente asociada con un tema o una sección en particular.
Potencial para superar las limitaciones de los embeddings con la ingeniería de instrucciones Si bien inicialmente se vio obstaculizado por las limitaciones del modelo de incorporación en algunos casos de uso, los experimentos adicionales demostraron que una instrucción de analizador de LLM bien diseñada podría mitigar estos problemas y recuperar la información correcta, incluso cuando la comprensión semántica es un desafío para el modelo de incorporación por sí solo.

El analizador de LLM mejora la capacidad del LLM para comprender y razonar sobre el contexto dentro de un documento, lo que genera respuestas más precisas y completas.

Consulta de recuperación

Después de ingresar una instrucción que se envía a un modelo de IA generativa, el componente de recuperación en RAG busca en su base de conocimiento la información relevante para la consulta. Para obtener más información sobre cómo recuperar archivos de RAG de un corpus, consulta Método: ragFiles.get.

¿Qué sigue?