Démonstration interactive de la récupération d'agent

Cette démo interactive vous permet d'explorer Agent Retrieval (anciennement Vector Search 2.0), la base de données vectorielles entièrement gérée pour Google Cloud. Utilisez la démo pour effectuer des recherches dans des millions de fiches produit grâce à la recherche sémantique (optimisée par les auto-embeddings Gemini), à la recherche textuelle par mot clé ou à la recherche hybride qui utilise la Reciprocal Rank Fusion (RRF) pour combiner la recherche sémantique et la recherche textuelle par mot clé. Les résultats peuvent être réorganisés à l'aide de l'API Gemini Enterprise Agent Platform Ranking�.

Avantages de la récupération d'agent

Vector Search nécessitait une génération d'embeddings distincte, un déploiement d'index et un Vertex AI Feature Store pour les métadonnées. Agent Retrieval fournit un stockage unifié pour les données et les embeddings, une génération automatique d'embeddings et une recherche de texte intégrée sans que vous ayez à gérer l'infrastructure.

Essayer

Pour exécuter :

1. Dans le champ Requête, décrivez les éléments pour lesquels vous souhaitez effectuer une requête (par exemple, vintage 1970s pinball machine). Vous pouvez également cliquer sur Générer une requête pour générer automatiquement une description.

2. Cliquez sur Envoyer ou appuyez sur Entrée.

Testez les différentes options de la démo pour vous familiariser avec la récupération d'agent et les bases de la technologie de recherche vectorielle. Pour en savoir plus, consultez Interface utilisateur.

Interface utilisateur

Cette section décrit les paramètres de l'interface utilisateur que vous pouvez utiliser pour contrôler les résultats renvoyés par la récupération de l'agent (anciennement Vector Search 2.0) et leur classement.

Ensemble de données

Utilisez le menu déroulant Ensemble de données pour choisir l'ensemble de données sur lequel la récupération par l'agent exécutera votre requête. Pour en savoir plus sur chaque ensemble de données, consultez Ensembles de données.

Requête

Pour exécuter une requête :

1. Cliquez sur Ensemble de données et choisissez l'ensemble de données sur lequel exécuter votre requête.

2. Dans le champ Requête, ajoutez une description, posez une question ou saisissez un ou plusieurs mots clés pour spécifier les éléments pour lesquels la récupération par l'agent doit renvoyer des résultats. Vous pouvez également cliquer sur Générer une requête pour générer automatiquement une requête.

3. Effectuez l'une des opérations suivantes :

   1. Pour renvoyer des résultats sémantiquement similaires, sélectionnez Sémantique.
   2. Pour renvoyer des résultats basés sur la syntaxe textuelle de la requête, sélectionnez Texte.
   3. Pour effectuer une recherche hybride, sélectionnez Sémantique et Texte.

4. Si vous effectuez une requête sémantique sur l'ensemble de données Mercari 3M items (128-dim Gemini text embeddings) ou Mercari 3M items (768-dim Gemini text embeddings), cliquez sur Query Task Type (Type de tâche de requête), puis sélectionnez QUESTION_ANSWERING (Question/Réponse) ou RETRIEVAL_QUERY (Requête de récupération).

5. Cliquez sur Envoyer ou appuyez sur Entrée pour exécuter la requête.

Modifier

Vous pouvez utiliser de nombreuses options pour modifier les résultats renvoyés par la récupération d'agent (anciennement Vector Search 2.0) à partir d'une requête.

• Cliquez sur Lignes, puis sélectionnez le nombre maximal de résultats de recherche que vous souhaitez que la récupération par l'agent (anciennement Vector Search 2.0) renvoie.

• Sélectionnez Sémantique pour renvoyer des résultats sémantiquement similaires.

• Sélectionnez Texte pour obtenir des résultats basés sur la syntaxe textuelle de votre requête.

• Sélectionnez Sémantique et Texte pour activer la recherche hybride.

• Sélectionnez Rerank pour reclasser les résultats de recherche en fonction de leur pertinence par rapport à la requête. Pour en savoir plus, consultez Améliorer la qualité de la recherche et de la génération augmentée par récupération (RAG) avec l'API Ranking.

• Sélectionnez Utiliser kNN pour utiliser l'algorithme des k plus proches voisins afin de récupérer les résultats de recherche. Comme kNN fournit un taux de rappel de 100 %, il est très utile pour le débogage ou les tests.

• Cliquez sur Type de tâche de requête et sélectionnez le type de tâche de requête à utiliser. Cette option n'est disponible que lorsque vous utilisez les ensembles de données Mercari 3M items (128-dim Gemini text embeddings) et Mercari 3M items (768-dim Gemini text embeddings). Pour en savoir plus sur les types de tâches de requête, consultez Choisir un type de tâche d'embedding.

• Dans le champ Alpha du RRF, saisissez une valeur comprise entre 0,0 et 1,0 pour spécifier l'effet de classement du RRF. Cette option n'est disponible que pour la recherche hybride (Sémantique et Texte sont sélectionnés).
   Valeurs alpha :

  • 1.0 : classe les résultats uniquement en fonction de la similarité sémantique (dense).
  • 0.0 : classe les résultats uniquement en fonction de la pertinence des mots clés (sparse).
  • 0.5 : classe les résultats avec une pondération égale accordée à la similarité sémantique (dense) et à la pertinence des mots clés (creuse).

  Pour en savoir plus, consultez Qu'est-ce que la Reciprocal Rank Fusion ?

Métriques

Une fois une requête exécutée, des métriques de latence vous sont fournies. Elles détaillent le temps nécessaire à l'exécution des différentes étapes de la recherche.

Par exemple :

• Latence totale de toutes les sources.
• Temps nécessaire pour générer des embeddings et effectuer une recherche vectorielle.
• Temps nécessaire au réordonnancement si l'option Réordonnancement est sélectionnée.
• Latence totale du réseau et d'autres sources.

Embeddings

La récupération d'agent est compatible avec les types d'embedding suivants :

• Multimodal : recherche sémantique multimodale sur les images d'articles. Pour en savoir plus, consultez Qu'est-ce que la recherche multimodale : les LLM avec vision modifient les entreprises.

• Texte (similarité sémantique) : recherche sémantique de texte sur les noms et les descriptions d'articles en fonction de la similarité sémantique. Pour en savoir plus, consultez Vertex AI Embeddings for Text : faciliter l'ancrage des LLM.

• Texte (document de récupération) : recherche asymétrique basée sur une question ou une courte expression. Pour en savoir plus, consultez Vertex AI Embeddings for Text : faciliter l'ancrage des LLM.

• Mot : compréhension sémantique au niveau du mot avec une inférence très rapide et très compacte.

Processus de requête

Dans la récupération par agent, le processus de requête dépend du type de recherches effectuées et des modèles d'embedding.

Recherche sémantique et hybride

La génération et la recherche d'embeddings se font en un seul appel d'API. La récupération d'agent génère automatiquement l'embedding de requête côté serveur à l'aide du modèle spécifié dans vertex_embedding_config pour la collection, effectue la recherche et renvoie les résultats avec les métadonnées complètes sans avoir besoin d'une récupération Vertex AI Feature Store distincte.

Word2Vec et multimodal

Le client génère l'embedding de requête et l'envoie à l'agent de récupération pour la recherche vectorielle. Les résultats incluent toujours les métadonnées complètes de la collection. Il n'est pas nécessaire d'effectuer une récupération Vertex AI Feature Store.

Texte

La récupération par l'agent effectue directement la correspondance de mots clés intégrée. Les embeddings ne sont pas générés.

Ensembles de données

Remarque : Les ensembles de données sont fournis par Mercari, une place de marché en ligne populaire aux États-Unis et au Japon.

Ensemble de données	Description	Modèle d'embedding	Type de tâche d'embedding
Mercari 1M items (embeddings textuels Gemini 768 dim)	Utilise le modèle d'embedding Gemini Embedding 2 avec des embeddings de texte et d'image distincts. Cet ensemble de données permet d'effectuer des recherches de texte à texte et de texte à image à l'aide de différents champs vectoriels.	gemini-embedding-2-preview	SEMANTIC_SIMILARITY
Mercari 3M items (intégrations de texte Gemini 128 dimensions)	Le nombre de dimensions d'intégration est réduit, ce qui permet de diminuer la taille de l'index et les coûts de stockage. La précision de cet ensemble de données peut être inférieure à celle de l'ensemble de données Mercari 3M items (intégrations de texte Gemini 768 dim).	gemini-embedding-001	RETRIEVAL_DOCUMENT
Mercari 3M items (768-dim Gemini text embeddings)	Il dispose d'intégrations de dimensions complètes avec des intégrations automatiques et une grande précision sémantique du texte. Cet ensemble de données utilise RETRIEVAL_DOCUMENT pour la mise en correspondance asymétrique entre requête et document.	gemini-embedding-001	RETRIEVAL_DOCUMENT
3 millions d'articles Mercari (représentations vectorielles continues de texte Gemini à 768 dimensions, similarité sémantique)	Utilise le type de tâche SEMANTIC_SIMILARITY pour la mise en correspondance des similarités. Cet ensemble de données est idéal pour les cas d'utilisation nécessitant la fonctionnalité "Trouver des éléments similaires", où la requête et les documents ont la même sémantique.	gemini-embedding-001	SEMANTIC_SIMILARITY
Mercari 3M items (embeddings multimodaux Vertex AI de dimension 1408)	Dispose d'embeddings multimodaux Vertex AI qui encodent les images des articles pour la recherche d'images.	multimodal-embedding-001	N/A
Mercari 3M items (intégrations de texte Word2Vec à 100 dimensions)	Utilise le modèle d'intégration Gensim Word2Vec. Cet ensemble de données offre l'inférence la plus rapide. Il ne fournit qu'une compréhension sémantique au niveau des mots, mais il est très compact.	Gensim Word2Vec	N/A

Voir aussi

• Collections
• Objets de données
• Interroger des collections pour les objets de données
• Rechercher des objets de données