El Almacén de ejemplos te permite almacenar y recuperar dinámicamente varios ejemplos. Como resultado, es posible demostrar los patrones de respuesta esperados a un LLM para mejorar la calidad, la exactitud y la coherencia de sus respuestas a consultas similares.
¿Qué son los ejemplos de instrucciones con varios ejemplos?
Un ejemplo de instrucción con varios ejemplos son datos etiquetados específicos para tu caso de uso de LLM. Incluye un par de entrada-salida que demuestra la respuesta esperada del modelo para una solicitud de modelo. Puedes usar ejemplos para demostrar el comportamiento o el patrón de respuesta esperados de un LLM.
Si usas solo algunos ejemplos relevantes, puedes abarcar un conjunto más grande de resultados posibles, comportamiento previsto y entradas del usuario sin aumentar de forma correspondiente el tamaño o la complejidad de las instrucciones. Esto se logra incluyendo solo ejemplos relevantes (disminuyendo la cantidad de ejemplos incluidos) y "mostrando, no diciendo" el comportamiento esperado.
El uso de ejemplos de instrucciones con varios ejemplos es una forma de aprendizaje en contexto. Un ejemplo demuestra un patrón claro de entradas y salidas, sin explicar cómo el modelo genera el contenido. Puedes abarcar más resultados posibles o consultas de usuarios con solo unos pocos ejemplos, sin aumentar el tamaño de la instrucción ni la complejidad del código. El uso de ejemplos no implica actualizar los parámetros del modelo preentrenado ni afectar la amplitud de conocimiento del LLM. Esto hace que el aprendizaje en contexto con ejemplos sea un enfoque relativamente ligero y conciso para personalizar, corregir o mejorar el razonamiento y la respuesta de un LLM a instrucciones no vistas.
Si recopilas ejemplos relevantes que sean representativos de las consultas de los usuarios, ayudarás al modelo a mantener la atención, demostrar el patrón esperado y también rectificar el comportamiento incorrecto o inesperado. Esto no afecta otras solicitudes que dan como resultado las respuestas esperadas.
Al igual que todas las estrategias de ingeniería de instrucciones, el uso de ejemplos de instrucciones con varios ejemplos es aditivo a otras técnicas de optimización de LLM, como el ajuste o RAG.
Cómo usar el Almacén de ejemplos
En los siguientes pasos, se describe cómo puedes usar el Almacén de ejemplos:
Crea o reutiliza un recurso
ExampleStore, también llamado "instancia del Almacén de ejemplos".- Para cada región y proyecto, puedes tener un máximo de 50 instancias del Almacén de ejemplos.
Escribe y sube ejemplos basados en respuestas de LLM. Hay dos situaciones posibles:
Si el comportamiento y el patrón de respuesta del LLM son los esperados, escribe ejemplos basados en estas respuestas y súbelos a la instancia del Almacén de ejemplos.
Si el LLM muestra un comportamiento o patrones de respuesta inesperados, escribe un ejemplo para demostrar cómo corregir la respuesta y, luego, súbelo a la instancia del Almacén de ejemplos.
Los ejemplos subidos estarán disponibles de inmediato para el agente o la aplicación de LLM asociados con la instancia del Almacén de ejemplos.
Si un agente basado en el SDK de desarrollo de agentes de Vertex AI está vinculado a la instancia del Almacén de ejemplos, el agente recuperará automáticamente los ejemplos y los incluirá en la solicitud de LLM.
Para todas las demás aplicaciones de LLM, debes buscar y recuperar los ejemplos y, luego, incluirlos en tus instrucciones.
Puedes seguir agregando ejemplos de forma iterativa a una instancia del Almacén de ejemplos cada vez que observes un rendimiento inesperado del LLM o encuentres consultas de usuarios adversarias o inesperadas. No es necesario que actualices el código ni que vuelvas a implementar una versión nueva de tu aplicación de LLM. Los ejemplos estarán disponibles para el agente o la aplicación en cuanto los subas a la instancia del Almacén de ejemplos.
Además, puedes hacer lo siguiente:
Recupera ejemplos realizando una búsqueda de similitud de coseno entre las claves de búsqueda de los ejemplos almacenados y las de tu consulta.
Filtra ejemplos por nombre de función y refina la lista de ejemplos candidatos a aquellos que representan las posibles respuestas del LLM.
Mejora de forma iterativa tu agente o aplicación de LLM.
Comparte ejemplos con varios agentes o aplicaciones de LLM.
Lineamientos para crear ejemplos de instrucciones con varios ejemplos
El impacto de los ejemplos en el rendimiento del modelo depende de qué tipos de ejemplos se incluyen en las instrucciones y cómo se incluyen.
Las siguientes son prácticas recomendadas generales para crear ejemplos:
Relevancia y similitud: Los ejemplos deben estar estrechamente relacionados con la tarea o el dominio específicos. Esto ayuda al modelo a enfocarse en los aspectos más relevantes de su conocimiento, disminuye el uso de tokens y mantiene o incluso mejora el rendimiento. Necesitas menos ejemplos si son relevantes para la conversación. El corpus de los ejemplos disponibles debe ser representativo de las posibles consultas de los usuarios. Además, un ejemplo debe ser relevante para una consulta de usuario determinada.
Complejidad: Para ayudar al LLM a tener un mejor rendimiento, usa ejemplos de baja complejidad para demostrar el razonamiento esperado.
Representación de los posibles resultados del modelo: Las respuestas esperadas en un ejemplo deben ser coherentes con el resultado posible. Esto permite que el ejemplo demuestre claramente el razonamiento que es coherente con el razonamiento esperado del LLM para la instrucción.
Formato: Para obtener el mejor rendimiento, da formato a los ejemplos de instrucciones con varios ejemplos en tu instrucción de una manera coherente con los datos de entrenamiento del LLM y diferenciada del historial de conversaciones. El formato de los ejemplos en una instrucción puede afectar considerablemente el rendimiento del LLM.
Caso de uso de ejemplo: Llamada a función
Puedes usar ejemplos de instrucciones con varios ejemplos para mejorar el rendimiento de la llamada a función.
Puedes indicar la llamada a función esperada para una consulta de usuario en un patrón coherente. El ejemplo puede modelar la respuesta esperada a la solicitud incluyendo qué función debe invocarse y los argumentos que se deben incluir en la llamada a función. Considera un caso de uso en el que la función get_store_location muestra la ubicación de una tienda y su descripción. Si una consulta no invoca esta función como se espera o muestra un resultado inesperado, puedes usar ejemplos de instrucciones con varios ejemplos para corregir este comportamiento para las consultas posteriores.
Para obtener más información sobre la llamada a función, consulta Llamada a función.
Para obtener más información, consulta Guía de inicio rápido del Almacén de ejemplos.
¿Qué sigue?
Obtén información para crear un almacén de ejemplos.
Obtén información para enseñar a un agente con ejemplos.