Las incorporaciones son representaciones numéricas de texto, imágenes o videos que capturan relaciones entre entradas. Los modelos de aprendizaje automático, especialmente los modelos generativos de IA, son adecuados para crear embeddings mediante la identificación de patrones en grandes conjuntos. Las aplicaciones pueden usar incorporaciones para procesar y producir lenguaje, y reconocer significados complejos y relaciones semánticas específicas en tu contenido.
Vertex AI en Google Distributed Cloud (GDC) air-gapped admite las APIs de Text Embedding para entradas de texto en inglés y multilingües. Text Embedding funciona convirtiendo texto en arreglos de números de punto flotante llamados vectores. Estos vectores están diseñados para capturar el significado del texto. La longitud del arreglo de incorporaciones se denomina dimensionalidad del vector. Por ejemplo, un pasaje de texto podría representarse con un vector que contenga cientos de dimensiones. Luego, si se calcula la distancia numérica entre las representaciones vectoriales de dos fragmentos de texto, una aplicación puede determinar la similitud entre los objetos.
Para obtener una lista de los modelos compatibles, consulta Modelos de incorporaciones.
Para obtener una lista de los idiomas multilingües compatibles, consulta Idiomas compatibles con el embedding de texto.
Casos de uso de incorporaciones de texto
Estos son algunos casos de uso comunes de las incorporaciones de texto:
- Búsqueda semántica: Busca texto clasificado por similitud semántica.
- Clasificación: Muestra la clase de elementos con atributos similares al texto proporcionado.
- Agrupamiento en clústeres: Elementos de un clúster con atributos de texto similares a los textos proporcionados.
- Detección de valores atípicos: Muestra los elementos en los que los atributos de texto están menos relacionados con el texto dado.
- Interfaz de conversación: Agrupa grupos de oraciones que pueden generar respuestas similares, como en un espacio de embedding a nivel de conversación.
Ejemplo de caso de uso: Desarrolla un chatbot de recomendación de libros
Si deseas desarrollar un chatbot de recomendación de libros, lo primero que debes hacer es usar una red neuronal profunda (DNN) para convertir cada libro en un vector de incorporación, donde un vector de incorporación representa un libro. Puedes ingresar el título del libro o el contenido de texto como entrada a la DNN. Como alternativa, puedes usar ambas entradas juntas, junto con cualquier otro metadato que describa el libro, como el género.
Las incorporaciones de este ejemplo podrían incluir miles de títulos de libros con resúmenes y su género. También puede tener representaciones de libros, como Cumbres Borrascosas de Emily Brontë y Persuasión de Jane Austen que son similares entre sí (distancia pequeña entre la representación numérica). Por el contrario, la representación numérica del libro El gran Gatsby de F. Scott Fitzgerald estaría más lejos, ya que el período, el género y el resumen son menos similares.
Las entradas son la influencia principal de la orientación del espacio de embedding. Por ejemplo, si solo tenemos entradas de título de libro, dos libros con títulos similares, pero resúmenes muy diferentes, podrían estar cerca. Sin embargo, si incluimos el título y el resumen, estos mismos libros son menos similares (más lejanos) en el espacio de embedding.
Trabajando con IA generativa, este chatbot de sugerencias de libros podría resumir, sugerir y mostrar libros que te podrían gustar (o no) según tu consulta.
¿Qué sigue?
- Obtén más información para obtener incorporaciones de texto.