Vector Search est un puissant moteur de recherche vectorielle basé sur une technologie révolutionnaire développée par Google Research. En exploitant l'algorithme ScaNN, Vector Search vous permet de créer des systèmes de recherche et de recommandation de nouvelle génération, ainsi que des applications d'IA générative.
Vous pouvez bénéficier des mêmes recherches et technologies que celles qui alimentent les principaux produits Google, y compris la recherche Google, YouTube et Google Play. Vous bénéficiez ainsi de l'évolutivité, de la disponibilité et des performances nécessaires pour gérer des ensembles de données volumineux et fournir des résultats ultra-rapides à l'échelle mondiale. Avec Vector Search, vous disposez d'une solution de niveau entreprise pour implémenter des fonctionnalités de recherche sémantique de pointe dans vos propres applications.
|
|
Infinite Fleurs : découvrez la créativité assistée par l'IA en pleine floraison |
|
Premiers pas
Démonstration interactive de Vector Search : découvrez la démonstration en direct pour voir un exemple réaliste de ce que la technologie de recherche vectorielle peut faire et prenez une longueur d'avance avec Vector Search.
Guide de démarrage rapide de Vector Search : essayez Vector Search en 30 minutes en créant, déployant et interrogeant un index Vector Search à l'aide d'un exemple d'ensemble de données. Ce tutoriel couvre la configuration, la préparation des données, la création d'index, le déploiement, l'interrogation et le nettoyage.
Avant de commencer : préparez vos embeddings en choisissant et en entraînant un modèle, puis en préparant vos données. Ensuite, choisissez un point de terminaison public ou privé sur lequel déployer votre index de requête.
Tarifs et simulateur de coût de Vector Search : Les tarifs de Vector Search incluent le coût des machines virtuelles utilisées pour héberger les index déployés, ainsi que les dépenses liées à la création et à la mise à jour des index. Même une configuration minimale (moins de 100 $ par mois) peut prendre en charge un haut débit pour des cas d'utilisation de taille modérée. Pour estimer vos coûts mensuels :
- Accédez au simulateur de coût deGoogle Cloud.
- Cliquez sur Ajouter à l'estimation.
- Recherchez "Gemini Enterprise Agent Platform".
- Cliquez sur le bouton Gemini Enterprise Agent Platform.
- Sélectionnez Gemini Enterprise Agent Platform Vector Search dans le menu déroulant Type de service.
- Conservez les paramètres par défaut ou configurez les vôtres. Le coût mensuel estimé s'affiche dans le panneau Détails des coûts.
Documentation
Gérer les index et les points de terminaison
Créer un point de terminaison d'index
Rubriques avancées
Cas d'utilisation et blogs
La technologie de recherche vectorielle devient un hub central pour les entreprises qui utilisent l'IA. À l'instar des bases de données relationnelles dans les systèmes informatiques, il connecte divers éléments métier tels que des documents, des contenus, des produits, des utilisateurs, des événements et d'autres entités en fonction de leur pertinence. Au-delà de la recherche de contenus multimédias conventionnels tels que des documents et des images, Vector Search peut également générer des recommandations intelligentes, associer des problèmes métier à des solutions et même lier des signaux IoT à des alertes de surveillance. C'est un outil polyvalent essentiel pour naviguer dans le paysage croissant des données d'entreprise intégrant l'IA.
|
Recherche/Récupération d'informations
Systèmes de |
Comment la recherche vectorielle Gemini Enterprise Agent Platform permet de créer des applications d'IA générative hautes performances : Vector Search permet de créer diverses applications, y compris pour l'e-commerce, les systèmes RAG et les moteurs de recommandations, ainsi que des chatbots, la recherche multimodale et plus encore. La recherche hybride améliore encore les résultats pour les termes de niche. Des clients comme Bloomreach, eBay et Mercado Libre utilisent Gemini Enterprise Agent Platform pour ses performances, son évolutivité et sa rentabilité, et bénéficient d'avantages tels qu'une recherche plus rapide et une augmentation des conversions. eBay utilise Vector Search pour les recommandations : Découvrez comment eBay utilise Vector Search pour son système de recommandations. Cette technologie permet à eBay de trouver des produits similaires dans son vaste catalogue, ce qui améliore l'expérience utilisateur. Mercari exploite la technologie de recherche vectorielle de Google pour créer une nouvelle place de marché : explique comment Mercari utilise Vector Search pour améliorer sa nouvelle plate-forme de place de marché. Vector Search alimente les recommandations de la plate-forme, ce qui aide les utilisateurs à trouver des produits pertinents plus efficacement. Embeddings Gemini Enterprise Agent Platform pour le texte : faciliter l'ancrage des LLM : se concentre sur l'ancrage des LLM à l'aide des embeddings Gemini Enterprise Agent Platform pour les données textuelles. Vector Search joue un rôle important dans la recherche de passages de texte pertinents qui garantissent que les réponses du modèle sont ancrées dans des informations factuelles. Qu'est-ce que la recherche multimodale : les LLM avec vision modifient les entreprises : présente la recherche multimodale, qui combine les LLM avec la compréhension visuelle. Il explique comment Vector Search traite et compare les données textuelles et les images, ce qui permet d'offrir des expériences de recherche plus complètes. Débloquez la recherche multimodale à grande échelle : combinez la puissance du texte et des images avec Gemini Enterprise Agent Platform : décrit la création d'un moteur de recherche multimodal avec Gemini Enterprise Agent Platform qui combine la recherche de texte et d'images à l'aide d'une méthode d'ensemble de rangs réciproques pondérés. Cela améliore l'expérience utilisateur et fournit des résultats plus pertinents. Scaling deep retrieval with TensorFlow Recommenders and Vector Search : explique comment créer un système de recommandation de playlists à l'aide de TensorFlow Recommenders et de Vector Search, en abordant les modèles de récupération profonde, l'entraînement, le déploiement et le scaling. |
|
IA générative : récupération pour le RAG et les agents |
Gemini Enterprise Agent Platform et Denodo exploitent les données d'entreprise grâce à l'IA générative : montre comment l'intégration de Gemini Enterprise Agent Platform à Denodo permet aux entreprises d'utiliser l'IA générative pour obtenir des insights à partir de leurs données. Vector Search est essentiel pour accéder efficacement aux données pertinentes et les analyser dans un environnement d'entreprise. Infinite Nature and the nature of industries: This 'wild' demo shows the diverse possibilities of AI : présente une démonstration qui illustre le potentiel de l'IA dans différents secteurs. Il utilise Vector Search pour optimiser les recommandations génératives et la recherche sémantique multimodale. Infinite Fleurs : découvrez la créativité assistée par l'IA en pleine floraison : Infinite Fleurs de Google, une expérience d'IA utilisant Vector Search et les modèles Gemini, génère des bouquets de fleurs uniques en fonction des requêtes des utilisateurs. Cette technologie illustre le potentiel de l'IA pour stimuler la créativité dans divers secteurs. LlamaIndex pour la RAG sur Google Cloud : décrit comment utiliser LlamaIndex pour faciliter la génération augmentée par récupération (RAG) avec de grands modèles de langage. LlamaIndex utilise Vector Search pour récupérer des informations pertinentes à partir d'une base de connaissances, ce qui permet d'obtenir des réponses plus précises et plus adaptées au contexte. RAG et ancrage sur Gemini Enterprise Agent Platform : examine les techniques de RAG et d'ancrage sur Gemini Enterprise Agent Platform. Vector Search permet d'identifier les informations d'ancrage pertinentes lors de la récupération, ce qui rend le contenu généré plus précis et plus fiable. Vector Search sur LangChain : fournit un guide d'utilisation de Vector Search avec LangChain pour créer et déployer un index de base de données vectorielle pour les données textuelles, y compris les questions-réponses et le traitement des PDF. |
|
BI, analyse de données, surveillance et plus |
Activer l'IA en temps réel avec l'ingestion en flux continu dans Agent Platform : explore la mise à jour en flux continu dans Vector Search et la façon dont elle fournit des fonctionnalités d'IA en temps réel. Cette technologie permet de traiter et d'analyser en temps réel les flux de données entrants. |
Ressources associées
Vous pouvez utiliser les ressources suivantes pour commencer à utiliser Vector Search :
Notebooks et solutions
|
|
|
Guide de démarrage rapide de la recherche vectorielle Agent Platform : présente la recherche vectorielle. Il est conçu pour les utilisateurs qui découvrent la plate-forme et souhaitent démarrer rapidement. |
Premiers pas avec les embeddings textuels et Vector Search : présente les embeddings textuels et Vector Search. Il explique comment ces technologies fonctionnent et comment elles peuvent être utilisées pour améliorer les résultats de recherche. |
|
|
|
Combiner la recherche sémantique et la recherche par mot clé : tutoriel sur la recherche hybride avec Gemini Enterprise Agent Platform Vector Search : fournit des instructions sur l'utilisation de Vector Search pour la recherche hybride. Il décrit les étapes de configuration d'un système de recherche hybride. |
Moteur RAG sur Gemini Enterprise Agent Platform avec Vector Search : explore l'utilisation du moteur RAG avec Vector Search. Il présente les avantages de l'utilisation conjointe de ces deux technologies et fournit des exemples d'utilisation dans des applications réelles. |
|
|
|
Infrastructure pour une application d'IA générative compatible avec le RAG à l'aide de Gemini Enterprise Agent Platform et de Vector Search : décrit l'architecture permettant de créer une application d'IA générative et le RAG à l'aide de Vector Search, Cloud Run et Cloud Storage, en couvrant les cas d'utilisation, les choix de conception et les points clés. |
Implémenter la récupération à deux tours pour la génération de candidats à grande échelle : fournit une architecture de référence qui vous montre comment implémenter un workflow de génération de candidats à deux tours de bout en bout avec Gemini Enterprise Agent Platform. Le framework de modélisation à deux tours est une technique de récupération puissante pour les cas d'utilisation de personnalisation, car il apprend la similarité sémantique entre deux entités différentes, telles que les requêtes Web et les éléments candidats. |
Formation
Premiers pas avec la recherche vectorielle et les embeddings La recherche vectorielle permet de trouver des éléments similaires ou associés. Il peut être utilisé pour les recommandations, la recherche, les chatbots et la classification de texte. Le processus consiste à créer des embeddings, à les importer dans Google Cloudet à les indexer pour les interroger. Cet atelier se concentre sur les embeddings textuels à l'aide de Gemini Enterprise Agent Platform, mais des embeddings peuvent être générés pour d'autres types de données.
Recherche vectorielle et embeddings Ce cours présente Vector Search et décrit comment l'utiliser afin de créer une application de recherche avec des API de grand modèle de langage (LLM) pour les embeddings. Il comprend des leçons conceptuelles sur Vector Search et l'embedding textuel (ou "plongement textuel"), des démonstrations pratiques de création d'une recherche vectorielle sur Gemini Enterprise Agent Platform, ainsi qu'un atelier pratique.
Comprendre et appliquer les embeddings textuels
L'API Embeddings de Gemini Enterprise Agent Platform génère des embeddings textuels, qui sont des
représentations numériques de texte utilisées pour des tâches telles que l'identification d'éléments similaires.
Dans ce cours, vous allez utiliser des embeddings textuels pour des tâches telles que la classification et la recherche sémantique, et combiner la recherche sémantique avec des LLM pour créer des systèmes de questions-réponses à l'aide de Gemini Enterprise Agent Platform.
Cours d'initiation au machine learning : Embeddings Ce cours présente les embeddings lexicaux et les compare aux représentations creuses. Il explore les méthodes d'obtention des embeddings et différencie les embeddings statiques des embeddings contextuels.
Produits associés
Embeddings Gemini Enterprise Agent Platform Présente l'API Embeddings. Cas d'utilisation des embeddings de texte et multimodaux, ainsi que des liens vers des ressources supplémentaires et des services Google Cloud associés.
API Agent Search Ranking L'API Ranking reclasse les documents en fonction de leur pertinence par rapport à une requête à l'aide d'un modèle de langage pré-entraîné, ce qui fournit des scores précis. Il est idéal pour améliorer les résultats de recherche provenant de différentes sources, y compris Vector Search.
Gemini Enterprise Agent Platform Feature Store Vous permet de gérer et de diffuser des données de caractéristiques en utilisant BigQuery comme source de données. Il provisionne des ressources pour la livraison en ligne, agissant comme une couche de métadonnées pour livrer les dernières valeurs de caractéristiques directement depuis BigQuery. Agent Platform Feature Store permet de récupérer instantanément les valeurs des caractéristiques des éléments renvoyés par Vector Store pour les requêtes.
Agent Platform Pipelines Agent Platform Pipelines permet d'automatiser, de surveiller et de gérer vos systèmes de ML sans serveur en orchestrant les workflows de ML avec des pipelines de ML. Vous pouvez exécuter par lot des pipelines de ML définis à l'aide de Kubeflow Pipelines ou du framework TensorFlow Extended (TFX). Pipelines permet de créer des pipelines automatisés pour générer des embeddings, créer et mettre à jour des index Vector Search, et configurer un environnement MLOps pour les systèmes de recherche et de recommandation en production.
Ressources pour aller plus loin
Améliorer votre cas d'utilisation d'IA générative avec les types de tâches et les embeddings Gemini Enterprise Agent Platform Se concentre sur l'amélioration des applications d'IA générative à l'aide des embeddings et des types de tâches Gemini Enterprise Agent Platform. Vector Search peut être utilisé avec des embeddings de type de tâche pour améliorer le contexte et la précision du contenu généré en trouvant des informations plus pertinentes.
TensorFlow Recommenders Bibliothèque Open Source permettant de créer des systèmes de recommandation. Il simplifie le processus, de la préparation des données au déploiement, et permet de créer des modèles de manière flexible. TFRS propose des tutoriels et des ressources, et permet de créer des modèles de recommandation sophistiqués.
TensorFlow Ranking TensorFlow Ranking est une bibliothèque Open Source permettant de créer des modèles d'apprentissage de classification (LTR) neuronaux évolutifs. Il est compatible avec diverses fonctions de perte et métriques de classement, avec des applications dans la recherche, la recommandation et d'autres domaines. La bibliothèque est développée activement par Google AI.
Présentation de ScaNN : recherche efficace de similarités vectorielles ScaNN de Google, un algorithme de recherche efficace de similarités vectorielles, utilise une nouvelle technique pour améliorer la précision et la vitesse de recherche des voisins les plus proches. Il surpasse les méthodes existantes et offre de nombreuses applications dans les tâches de machine learning nécessitant une recherche sémantique. Les efforts de recherche de Google couvrent différents domaines, y compris le ML fondamental et les impacts sociétaux de l'IA.
SOAR : de nouveaux algorithmes pour une recherche vectorielle encore plus rapide avec ScaNN L'algorithme SOAR de Google améliore l'efficacité de la recherche vectorielle en introduisant une redondance contrôlée, ce qui permet d'effectuer des recherches plus rapides avec des index plus petits. SOAR attribue des vecteurs à plusieurs clusters, créant ainsi des chemins de recherche de "sauvegarde" pour améliorer les performances.
Vidéos associées
Premiers pas avec Vector Search à l'aide d'Agent Platform
Vector Search est un outil puissant pour créer des applications optimisées par l'IA. Cette vidéo présente la technologie et fournit un guide par étapes pour vous aider à démarrer.
Découvrir la recherche hybride avec Vector Search
Vector Search peut être utilisé pour la recherche hybride, ce qui vous permet de combiner la puissance de la recherche vectorielle avec la flexibilité et la vitesse d'un moteur de recherche classique. Cette vidéo présente la recherche hybride et vous explique comment utiliser Vector Search pour la recherche hybride.
Vous utilisez déjà Vector Search ! Voici comment devenir un expert
Saviez-vous que vous utilisez probablement la recherche vectorielle tous les jours sans vous en rendre compte ? Qu'il s'agisse de trouver un produit difficile à dénicher sur les réseaux sociaux ou de retrouver une chanson que vous avez en tête, la recherche vectorielle est la magie de l'IA qui se cache derrière ces expériences du quotidien.
Le nouvel embedding "task type" de l'équipe DeepMind améliore la qualité de la recherche RAG
Améliorez la précision et la pertinence de vos systèmes RAG grâce aux nouveaux embeddings de type de tâche développés par l'équipe Google DeepMind. Vous y découvrirez les défis courants liés à la qualité de la recherche RAG et comment les embeddings de types de tâches peuvent combler efficacement l'écart sémantique entre les questions et les réponses, ce qui permet une récupération plus efficace et de meilleures performances RAG.
Terminologie de Vector Search
Cette liste contient certains termes clés que vous devez comprendre pour utiliser Vector Search :
Vecteur : un vecteur est une liste de valeurs flottantes ayant une magnitude et une direction. Il permet de représenter n'importe quel type de données, comme des nombres, des points dans l'espace et des directions.
Embedding : un embedding (ou "plongement") est un type de vecteur utilisé pour représenter les données de manière à capturer leur signification sémantique. Les embeddings sont généralement créés à l'aide de techniques de machine learning et sont souvent utilisés dans le traitement du langage naturel (TLN) et d'autres applications de machine learning.
Embeddings denses : les embeddings denses représentent la signification sémantique du texte à l'aide de tableaux contenant principalement des valeurs non nulles. Avec les embeddings denses, des résultats de recherche similaires peuvent être renvoyés en fonction de la similarité sémantique.
Embeddings clairsemés : les embeddings clairsemés représentent la syntaxe du texte à l'aide de tableaux à haute dimensionnalité contenant très peu de valeurs non nulles par rapport aux embeddings denses. Les embeddings clairsemés sont souvent utilisés pour les recherches par mot clé.
Recherche hybride : la recherche hybride utilise des embeddings denses et clairsemés, ce qui vous permet de combiner la recherche par mot clé et la recherche sémantique. Vector Search est compatible avec la recherche basée sur des embeddings denses, des embeddings creux et la recherche hybride.
Index : ensemble de vecteurs déployés pour la recherche de similarités. Les vecteurs peuvent être ajoutés à un index ou supprimés de celui-ci. Les requêtes de recherche de similarités sont émises sur un index spécifique et recherchent les vecteurs de cet index.
Vérité terrain : terme faisant référence à la vérification de l'exactitude du machine learning par rapport au monde réel (par exemple, un ensemble de données de vérité terrain).
Rappel : pourcentage de voisins les plus proches renvoyés par l'index qui sont de vrais voisins les plus proches. Par exemple, si une requête de 20 voisins les plus proches renvoie un résultat de 19 voisins les plus proches de "vérité terrain", le rappel est de 19 / 20 x 100 = 95 %.
Restreindre : fonctionnalité qui limite les recherches à un sous-ensemble de l'index à l'aide de règles booléennes. La restriction est également appelée "filtrage". Vector Search vous permet d'utiliser le filtrage numérique et le filtrage des attributs de texte.