Descripción general de los embeddings de texto

Las incrustaciones son representaciones numéricas de texto, imágenes o vídeos que capturan las relaciones entre las entradas. Los modelos de aprendizaje automático, especialmente los modelos de IA generativa, son adecuados para crear incrustaciones identificando patrones en grandes conjuntos de datos. Las aplicaciones pueden usar incrustaciones para procesar y producir lenguaje, reconociendo significados complejos y relaciones semánticas específicas de tu contenido.

Vertex AI en Google Distributed Cloud (GDC) aislado admite APIs de incrustación de texto para entradas de texto en inglés y en varios idiomas. La incrustación de texto funciona convirtiendo el texto en arrays de números de punto flotante llamados vectores. Estos vectores están diseñados para captar el significado del texto. La longitud de la matriz de incrustación se denomina dimensionalidad del vector. Por ejemplo, un fragmento de texto puede representarse mediante un vector que contenga cientos de dimensiones. A continuación, al calcular la distancia numérica entre las representaciones vectoriales de dos fragmentos de texto, una aplicación puede determinar la similitud entre los objetos.

Para ver una lista de los modelos admitidos, consulta Modelos de inserciones.

Para ver una lista de los idiomas admitidos, consulta Idiomas admitidos para embeddings de texto.

Casos prácticos de embeddings de texto

Algunos casos prácticos habituales de los embeddings de texto son los siguientes:

  • Búsqueda semántica: busca texto clasificado por similitud semántica.
  • Clasificación: devuelve la clase de elementos con atributos similares al texto proporcionado.
  • Agrupamiento en clústeres: agrupa elementos cuyos atributos de texto sean similares al texto proporcionado.
  • Detección de valores atípicos: devuelve los elementos cuyos atributos de texto estén menos relacionados con el texto proporcionado.
  • Interfaz conversacional: agrupa conjuntos de frases que pueden dar lugar a respuestas similares, como en un espacio de inserción a nivel de conversación.

Ejemplo de caso práctico: Desarrollar un bot de chat de recomendaciones de libros

Si quieres desarrollar un chatbot de recomendación de libros, lo primero que debes hacer es usar una red neuronal profunda (DNN) para convertir cada libro en un vector de inserción, donde un vector de inserción representa un libro. Puedes introducir el título del libro o el contenido de texto como entrada en la DNN. También puedes usar ambas entradas juntas, junto con cualquier otro metadato que describa el libro, como el género.

Las incrustaciones de este ejemplo podrían incluir miles de títulos de libros con resúmenes y su género. Puede que tenga representaciones de libros como Cumbres borrascosas, de Emily Brontë, y Persuasión, de Jane Austen, que sean similares entre sí (poca distancia entre la representación numérica). En cambio, la representación numérica del libro El gran Gatsby, de F. Scott Fitzgerald estaría más lejos, ya que el periodo, el género y el resumen son menos similares.

Las entradas son la principal influencia en la orientación del espacio de inserción. Por ejemplo, si solo tuviéramos entradas de títulos de libros, dos libros con títulos similares pero resúmenes muy diferentes podrían estar cerca. Sin embargo, si incluimos el título y el resumen, estos mismos libros son menos similares (están más alejados) en el espacio de incrustación.

Este bot de chat de sugerencias de libros, que funciona con IA generativa, puede resumir, sugerir y mostrarte libros que podrían gustarte (o no) en función de tu consulta.

Siguientes pasos