La búsqueda de vectores es un potente motor de búsqueda de vectores creado con tecnología innovadora desarrollada por Google Research. Gracias al algoritmo ScaNN , la búsqueda de vectores te permite crear sistemas de búsqueda y recomendación de próxima generación, así como aplicaciones de IA generativa.
Puedes beneficiarte de la misma investigación y tecnología que impulsan los productos principales de Google, como la Búsqueda de Google, YouTube y Google Play. Esto significa que obtienes la escalabilidad, la disponibilidad y el rendimiento que se necesitan para manejar conjuntos de datos masivos y ofrecer resultados ultrarrápidos a escala global. Con la búsqueda de vectores, tienes una solución de nivel empresarial para implementar capacidades de búsqueda semántica de vanguardia en tus propias aplicaciones.
|
|
Infinite Fleurs: Descubre la creatividad asistida por IA en todo su esplendor |
|
Comenzar
Demostración interactiva de la búsqueda de vectores: Consulta la demostración en vivo para ver un ejemplo realista de lo que puede hacer la tecnología de búsqueda de vectores y comenzar a usar la búsqueda de vectores.
Guía de inicio rápido de la búsqueda de vectores: Prueba la búsqueda de vectores en 30 minutos creando, implementando y consultando un índice de la Búsqueda de vectores con un conjunto de datos de muestra. En este instructivo, se abordan la configuración, la preparación de datos, la creación de índices, la implementación, la consulta y la limpieza.
Antes de comenzar: Prepara tus embeddings eligiendo y entrenando un modelo, y preparando tus datos. Luego, elige un extremo público o privado para implementar tu índice de consultas.
Precios y calculadora de precios de la búsqueda de vectores: Los precios de la búsqueda de vectores incluyen el costo de las máquinas virtuales que se usan para alojar los índices implementados, así como los gastos de creación y actualización de índices. Incluso una configuración mínima (menos de USD 100 por mes) puede admitir una alta capacidad de procesamiento para casos de uso de tamaño moderado. Para estimar tus costos mensuales, haz lo siguiente:
- Ve a la calculadora de precios de Google Cloud.
- Haz clic en Agregar a la estimación.
- Busca Agent Platform de Gemini Enterprise.
- Haz clic en el botón Agent Platform de Gemini Enterprise.
- Elige Búsqueda de vectores de Agent Platform de Gemini Enterprise en el menú desplegable Tipo de servicio.
- Mantén la configuración predeterminada o configura la tuya. El costo estimado por mes se muestra en el panel Detalles del costo.
Documentación
Casos de uso y blogs
La tecnología de búsqueda de vectores se está convirtiendo en un centro fundamental para las empresas que usan IA. Al igual que el funcionamiento de las bases de datos relacionales en los sistemas de TI, conecta varios elementos empresariales, como documentos, contenido, productos, usuarios, eventos y otras entidades, en función de su relevancia. Además de buscar medios convencionales, como documentos e imágenes, la búsqueda de vectores también puede potenciar recomendaciones inteligentes, hacer coincidir problemas empresariales con soluciones e incluso vincular señales de IoT a alertas de supervisión. Es una herramienta versátil que es esencial para navegar por el creciente panorama de los datos empresariales habilitados para la IA.
|
Búsqueda o recuperación de información
Sistemas de recomendación |
Cómo la búsqueda de vectores de Agent Platform de Gemini Enterprise ayuda a desbloquear apps de IA generativa de alto rendimiento: La búsqueda de vectores potencia diversas aplicaciones, como el comercio electrónico, los sistemas RAG y los motores de recomendaciones, junto con chatbots, búsqueda multimodal y mucho más. La búsqueda híbrida mejora aún más los resultados para los términos específicos. Clientes como Bloomreach, eBay y Mercado Libre usan Agent Platform de Gemini Enterprise por su rendimiento, escalabilidad y rentabilidad, y obtienen beneficios como búsquedas más rápidas y mayores conversiones. **eBay usa la búsqueda de vectores para recomendaciones**: Destaca cómo eBay usa la búsqueda de vectores para su sistema de recomendaciones. Esta tecnología le permite a eBay encontrar productos similares dentro de su extenso catálogo, lo que mejora la experiencia del usuario. **Mercari aprovecha la tecnología de búsqueda vectorial de Google para crear un nuevo mercado**: Explica cómo Mercari usa la búsqueda de vectores para mejorar su nueva plataforma de mercado. La búsqueda de vectores potencia las recomendaciones de la plataforma, lo que ayuda a los usuarios a encontrar productos relevantes de manera más eficaz. Embeddings de Agent Platform de Gemini Enterprise para texto: Fundamentación de LLM simplificada: Se enfoca en la fundamentación de LLM con las embeddings de Agent Platform de Gemini Enterprise para datos de texto. La búsqueda de vectores desempeña un papel importante en la búsqueda de pasajes de texto relevantes que garantizan que las respuestas del modelo se basen en información objetiva. ¿Qué es la búsqueda multimodal?: Los "LLM con visión" cambian los negocios: Analiza la búsqueda multimodal, que combina LLM con comprensión visual. Explica cómo la búsqueda de vectores procesa y compara datos de texto y de imágenes, lo que permite experiencias de búsqueda más completas. Desbloquea la búsqueda multimodal a gran escala: Combina la potencia de texto e imágenes con Agent Platform de Gemini Enterprise: Describe la creación de un motor de búsqueda multimodal con Agent Platform de Gemini Enterprise que combina la búsqueda de texto y de imágenes con un método de conjunto de clasificación recíproca ponderada. Esto mejora la experiencia del usuario y proporciona resultados más relevantes. **Escala la recuperación profunda con los recomendadores de TensorFlow y la búsqueda de vectores**: Explica cómo crear un sistema de recomendación de listas de reproducción con los recomendadores de TensorFlow y la búsqueda de vectores, que abarca modelos de recuperación profunda, entrenamiento, implementación y escalamiento. |
|
IA generativa: Recuperación para RAG y agentes |
Agent Platform de Gemini Enterprise y Denodo desbloquean datos empresariales con IA generativa: Muestra cómo la integración de Agent Platform de Gemini Enterprise con Denodo permite a las empresas usar la IA generativa para obtener estadísticas de sus datos. La búsqueda de vectores es clave para acceder y analizar de manera eficiente datos relevantes en un entorno empresarial. Infinite Nature y la naturaleza de las industrias: Esta demostración 'salvaje' muestra las diversas posibilidades de la IA: Muestra una demostración que ilustra el potencial de la IA en diferentes industrias. Utiliza la búsqueda de vectores para potenciar recomendaciones generativas y la búsqueda semántica multimodal. Infinite Fleurs: Descubre la creatividad asistida por IA en todo su esplendor: Infinite Fleurs de Google, un experimento de IA que usa la búsqueda de vectores, los modelos de Gemini, genera ramos de flores únicos en función de las instrucciones del usuario. Esta tecnología muestra el potencial de la IA para inspirar la creatividad en varias industrias. LlamaIndex para RAG en Google Cloud: Describe cómo usar LlamaIndex para facilitar la generación aumentada por recuperación (RAG) con modelos de lenguaje grandes. LlamaIndex utiliza la búsqueda de vectores para recuperar información pertinente de una base de conocimiento, lo que genera respuestas más precisas y contextuales. **RAG y fundamentación en Agent Platform de Gemini Enterprise**: Examina las técnicas de RAG y fundamentación en Agent Platform de Gemini Enterprise. La búsqueda de vectores ayuda a identificar información de fundamentación pertinente durante la recuperación, lo que hace que el contenido generado sea más preciso y confiable. **Búsqueda de vectores en LangChain**: Proporciona una guía para usar la búsqueda de vectores con LangChain para crear e implementar un índice de base de datos de vectores para datos de texto, lo que incluye el procesamiento de PDF y la búsqueda de respuestas. |
|
IE, análisis de datos, supervisión y mucho más |
**Habilita la IA en tiempo real con la transferencia de datos de transmisión en Agent Platform**: Explora la actualización de transmisión en la búsqueda de vectores y cómo proporciona capacidades de IA en tiempo real. Esta tecnología permite el procesamiento y el análisis en tiempo real de los flujos de datos entrantes. |
Recursos relacionados
Puedes usar los siguientes recursos para comenzar a usar la búsqueda de vectores:
Notebooks y soluciones
|
|
|
Guía de inicio rápido de la búsqueda de vectores de Agent Platform: Proporciona una descripción general de la búsqueda de vectores. Está diseñada para usuarios que son nuevos en la plataforma y quieren comenzar rápidamente. |
**Comienza a usar las embeddings de texto y la búsqueda de vectores:** Presenta las embeddings de texto y la búsqueda de vectores. Explica cómo funcionan estas tecnologías y cómo se pueden usar para mejorar los resultados de la búsqueda. |
|
|
|
Combinación de búsqueda semántica y de palabras clave: Un instructivo de búsqueda híbrida con la búsqueda de vectores de Agent Platform de Gemini Enterprise: Proporciona instrucciones para usar la búsqueda de vectores para la búsqueda híbrida. Abarca los pasos necesarios para configurar un sistema de búsqueda híbrida. |
**Motor RAG de Agent Platform de Gemini Enterprise con la búsqueda de vectores:** Explora el uso del motor RAG de Agent Platform de Gemini Enterprise con la búsqueda de vectores. Analiza los beneficios de usar estas dos tecnologías juntas y proporciona ejemplos de cómo se pueden usar en aplicaciones del mundo real. |
|
|
|
Infraestructura para una aplicación de IA generativa compatible con RAG mediante Agent Platform de Gemini Enterprise y la búsqueda de vectores: Detalla la arquitectura para crear una aplicación de IA generativa y RAG con la búsqueda de vectores, Cloud Run y Cloud Storage, que abarca casos de uso, opciones de diseño y consideraciones clave. |
Implementa la recuperación de dos túneles para la generación de candidatos a gran escala: Proporciona una arquitectura de referencia que muestra cómo implementar un flujo de trabajo de generación de candidatos de dos túneles de extremo a extremo con Agent Platform de Gemini Enterprise. El framework de modelado de dos túneles es una técnica de recuperación potente para casos de uso de personalización, ya que aprende la similitud semántica entre dos entidades diferentes, como las consultas web y los elementos candidatos. |
Capacitación
Comienza a usar la búsqueda de vectores y las embeddings La búsqueda de vectores se usa para encontrar elementos similares o relacionados. Se puede usar para recomendaciones, búsquedas, chatbots y clasificación de texto. El proceso incluye crear embeddings, subirlas a Google Cloud, y, luego, indexarlas para realizar consultas. Este lab se enfoca en las embeddings de texto con Agent Platform de Gemini Enterprise, pero se pueden generar embeddings para otros tipos de datos.
Búsqueda de vectores y embeddings En este curso, se presenta la búsqueda de vectores y se describe cómo puede usarse para compilar una aplicación de búsqueda con APIs de modelo de lenguaje grande (LLM) para embeddings. El curso se compone de lecciones conceptuales sobre la búsqueda de vectores y las embeddings de texto, demostraciones prácticas para compilar una búsqueda de vectores en Agent Platform de Gemini Enterprise y un lab práctico.
Comprende y aplica las embeddings de texto
La API de Embeddings de Agent Platform de Gemini Enterprise genera embeddings de texto, que son
representaciones numéricas de texto que se usan para tareas como la identificación de elementos similares.
En este curso, usarás embeddings de texto para tareas como la clasificación y la búsqueda semántica, y combinarás la búsqueda semántica con LLM para crear sistemas de búsqueda de respuestas con Agent Platform de Gemini Enterprise.
Curso intensivo de aprendizaje automático: Embeddings En este curso, se presentan las embeddings de palabras y se comparan con las representaciones dispersas. Se exploran los métodos para obtener embeddings y se diferencia entre las embeddings estáticas y contextuales.
Productos relacionados
Embeddings de Agent Platform de Gemini Enterprise Proporciona una descripción general de la API de Embeddings. Casos de uso de embeddings de texto y multimodales, junto con vínculos a recursos adicionales y servicios relacionados Google Cloud .
Vertex AI Search ranking API La API de clasificación reclasifica los documentos en función de la relevancia para una consulta con un modelo de lenguaje previamente entrenado, lo que proporciona puntuaciones precisas. Es ideal para mejorar los resultados de la búsqueda de varias fuentes, incluida la búsqueda de vectores.
Feature Store de Agent Platform de Gemini EnterpriseTe permite administrar y entregar datos de atributos con BigQuery como fuente de datos. Aprovisiona recursos para la entrega en línea y actúa como una capa de metadatos para entregar los valores de atributos más recientes directamente desde BigQuery. Feature Store permite la recuperación instantánea de los valores de atributos de los elementos que Vector Store mostró para las consultas.
Canalizaciones de Agent Platform de Gemini Enterprise Las canalizaciones de Agent Platform de Gemini Enterprise permiten la automatización, la supervisión y la administración de tus sistemas de AA sin servidores mediante la organización de flujos de trabajo de AA con canalizaciones de AA. Puedes ejecutar en lotes canalizaciones de AA definidas con Kubeflow Pipelines o el framework TensorFlow Extended (TFX). Las canalizaciones permiten crear canalizaciones automatizadas para generar embeddings, crear y actualizar índices de búsqueda de vectores, y formar una configuración de MLOps para sistemas de búsqueda y recomendación de producción.
Recursos detallados
Mejora los casos de uso de la IA generativa con las embeddings y los tipos de tareas de Agent Platform de Gemini Enterprise Se enfoca en mejorar las aplicaciones de IA generativa con las embeddings de Agent Platform de Gemini Enterprise y los tipos de tareas. La búsqueda de vectores se puede usar con embeddings de tipo de tarea para mejorar el contexto y la exactitud del contenido generado mediante la búsqueda de información más pertinente.
TensorFlow Recommenders Es una biblioteca de código abierto para crear sistemas de recomendación. Simplifica el proceso desde la preparación de datos hasta la implementación y admite la creación de modelos flexibles. TFRS ofrece instructivos y recursos, y permite la creación de modelos de recomendación sofisticados.
TensorFlow Ranking TensorFlow Ranking es una biblioteca de código abierto para crear modelos de aprendizaje de clasificación (LTR) neuronales y escalables. Admite varias funciones de pérdida y métricas de clasificación, con aplicaciones en la búsqueda, la recomendación y otros campos. Google AI desarrolla activamente la biblioteca.
Presentamos ScaNN: Búsqueda de similitud vectorial eficaz ScaNN de Google, un algoritmo para la búsqueda de similitud vectorial eficaz, utiliza una técnica novedosa para mejorar la exactitud y la velocidad en la búsqueda de vecinos más cercanos. Supera los métodos existentes y tiene amplias aplicaciones en tareas de aprendizaje automático que requieren búsqueda semántica. Los esfuerzos de investigación de Google abarcan varias áreas, incluido el AA fundamental y los impactos sociales de la IA.
SOAR: Nuevos algoritmos para una búsqueda de vectores aún más rápida con ScaNN El algoritmo SOAR de Google mejora la eficiencia de la búsqueda de vectores mediante la introducción de redundancia controlada, lo que permite búsquedas más rápidas con índices más pequeños. SOAR asigna vectores a varios clústeres, lo que crea rutas de búsqueda de "copia de seguridad" para mejorar el rendimiento.
Videos relacionados
Comienza a usar la búsqueda de vectores con Agent Platform
La búsqueda de vectores es una herramienta potente para crear aplicaciones potenciadas por IA. En este video, se presenta la tecnología y se proporciona una guía paso a paso para comenzar.
Aprende a usar la búsqueda híbrida con la búsqueda de vectores
La búsqueda de vectores se puede usar para la búsqueda híbrida, lo que te permite combinar la potencia de la búsqueda de vectores con la flexibilidad y la velocidad de un motor de búsqueda convencional. En este video, se presenta la búsqueda híbrida y se muestra cómo usar la búsqueda de vectores para la búsqueda híbrida.
Ya usas la búsqueda de vectores. Aquí te mostramos cómo convertirte en un experto
¿Sabías que es probable que uses la búsqueda de vectores todos los días sin darte cuenta? Desde encontrar ese producto esquivo en las redes sociales hasta encontrar una canción que se te quedó pegada en la cabeza, la búsqueda de vectores es la magia de la IA detrás de estas experiencias cotidianas.
La nueva embedding de "tipo de tarea" del equipo de DeepMind mejora la calidad de la búsqueda de RAG
Mejora la exactitud y la relevancia de tus sistemas RAG con las nuevas embeddings de tipo de tarea desarrolladas por el equipo de Google DeepMind. Mira y obtén información sobre los desafíos comunes en la calidad de la búsqueda de RAG y cómo las embeddings de tipo de tarea pueden cerrar de manera eficaz la brecha semántica entre las preguntas y las respuestas, lo que lleva a una recuperación más eficaz y un rendimiento mejorado de RAG.
Terminología de Búsqueda de Vectores
En esta lista, se incluye terminología importante que deberás comprender para usar Vector Search:
Vectores: Un vector es una lista de valores de números de punto flotante que tienen magnitud y dirección. Se puede usar para representar cualquier tipo de datos, como números, puntos en el espacio y direcciones.
Incorporación: una incorporación es un tipo de vector que se usa para representar datos de una manera que captura su significado semántico. Por lo general, las incorporaciones se crean con técnicas de aprendizaje automático y, a menudo, se usan en el procesamiento de lenguaje natural (PLN) y otras aplicaciones de aprendizaje automático.
Embeddings densos: Los embeddings densos representan el significado semántico del texto con arrays que contienen principalmente valores distintos de cero. Con embeddings densos, se pueden mostrar resultados de búsqueda similares en función de la similitud semántica.
Embeddings dispersos: Los embeddings dispersos representan la sintaxis de texto con arrays de alta dimensión que contienen muy pocos valores distintos de cero en comparación con los embeddings densos. Los embeddings dispersos suelen usarse para las búsquedas de palabras clave.
Búsqueda híbrida: La búsqueda híbrida usa embeddings densos y dispersos, lo que te permite realizar búsquedas basadas en una combinación de búsqueda de palabras clave y búsqueda semántica. La búsqueda de vectores admite la búsqueda basada en embeddings densos, embeddings dispersos y la búsqueda híbrida.
Índice: Es una colección de vectores implementados juntos para la búsqueda de similitud. Los vectores pueden agregarse a un índice o quitarse de este. Las consultas de búsqueda de similitud se emiten a un índice específico y buscan los vectores en ese índice.
Verdad fundamental: Un término que se refiere a la verificación del aprendizaje automático para la exactitud en el mundo real, como un conjunto de datos de verdad fundamental.
Recuperación: Es el porcentaje de vecinos más cercanos que muestra el índice que en realidad son vecinos más cercanos. Por ejemplo, si una consulta de vecino más cercano a 20 vecinos más cercanos mostró 19 de los vecinos más cercanos de "verdad fundamental", la recuperación será 19/20*100 = 95%.
Restringir: Es una función que limita las búsquedas a un subconjunto del índice mediante reglas booleanas. La restricción también se conoce como "filtrado". Con Vector Search, puedes usar el filtrado numérico y el filtrado de atributos de texto.