Datastores

Les outils de datastore se servent des datastores pour trouver des réponses aux questions des utilisateurs finaux à partir de vos données. Les datastores sont un ensemble de sites Web, de documents ou de données dans des systèmes tiers, chacun faisant référence à vos données.

Lorsque vous posez une question à l'agent, il recherche une réponse à partir du contenu source donné, puis résume les résultats dans une réponse cohérente. Il fournit également des liens vers les sources de la réponse pour vous permettre d'en savoir plus. L'agent peut fournir jusqu'à cinq extraits de réponse pour une question donnée.

Sources de datastore

Vous pouvez utiliser différentes sources pour vos données :

  • URL de sites Web : explorez automatiquement le contenu de sites Web à partir d'une liste de domaines ou de pages Web.
  • BigQuery : importez des données depuis votre table BigQuery.
  • Cloud Storage : importez des données depuis votre bucket Cloud Storage.
  • AlloyDB : importez des données depuis votre cluster AlloyDB pour PostgreSQL.
  • Bigtable : importez des données depuis une table Bigtable.
  • Firestore : importez des données depuis votre collection Firestore.
  • Cloud SQL : importez des données depuis votre table Cloud SQL.
  • Spanner : importez des données depuis votre table Spanner.

Sources de data store à accès restreint

Google propose de nombreuses sources de data store first party et tierces supplémentaires en tant que fonctionnalité à accès restreint. Pour voir les sources disponibles et demander l'accès, consultez Sources de data store supplémentaires.

Contenu de site Web

Lorsque vous ajoutez du contenu de site Web en tant que source, vous pouvez ajouter et exclure plusieurs sites. Lorsque vous spécifiez un site, vous pouvez utiliser des pages individuelles ou * comme caractère générique pour un modèle. Le système traite tous les contenus HTML et PDF.

Validez votre domaine lorsque vous utilisez le contenu d'un site Web comme source.

Limites :

  • Les fichiers provenant d'URL publiques doivent avoir été explorés par l'indexeur de la recherche Google pour exister dans l'index de recherche. Vous pouvez le vérifier à l'aide de la Google Search Console.
  • Jusqu'à 200 000 pages sont indexées. Si le data store contient plus de pages, l'indexation échoue à ce stade, mais tout contenu déjà indexé est conservé.

Importer des données

Vous pouvez importer des données depuis BigQuery ou Cloud Storage. Ces données peuvent prendre la forme de données de questions fréquentes, de données non structurées, de données avec métadonnées ou de données sans métadonnées.

Les options d'importation des données suivantes sont disponibles :

  • Ajouter/Mettre à jour des données : ajoute les documents fournis au data store. Si un nouveau document possède le même ID qu'un document existant, le nouveau document remplace l'ancien.
  • Remplacer les données existantes : supprime toutes les données existantes et importe de nouvelles données. Cette action est irréversible.

Data store questions fréquentes

Les datastores peuvent contenir des réponses aux questions fréquentes. Lorsque l'agent associe les questions des utilisateurs à une question importée avec un niveau de confiance élevé, il renvoie la réponse à cette question sans modification. Vous pouvez fournir un titre et une URL pour chaque paire de questions et réponses affichée par l'agent.

Importez des données dans le data store au format CSV. Chaque fichier doit inclure une ligne d'en-tête décrivant les colonnes.

Exemple :

"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""

Vous pouvez omettre les colonnes title et url :

"answer","question"
"42","What is the meaning of life?"

Lors du processus d'importation, vous pouvez sélectionner un dossier dans lequel chaque fichier est traité comme un fichier CSV, quelle que soit l'extension du fichier.

Limites :

  • Un espace supplémentaire après une virgule entraîne une erreur.
  • Les lignes vides (même à la fin du fichier) provoquent une erreur.

Data store non structuré

Les datastores non structurés peuvent contenir du contenu dans les formats suivants :

  • HTML
  • PDF
  • TXT
  • CSV

Vous pouvez importer des fichiers depuis le bucket Cloud Storage d'un autre projet. Pour ce faire, accordez un accès explicite au processus d'importation. Suivez les instructions du message d'erreur, qui contient le nom de l'utilisateur ayant besoin d'un accès en lecture au bucket pour effectuer l'importation.

Limites :

  • La taille maximale des fichiers est de 2,5 Mo pour les formats textuels et de 100 Mo pour les autres formats.

Datastore avec métadonnées

Vous pouvez fournir un titre et un url en tant que métadonnées. Lors d'une conversation, l'agent peut fournir ces informations pour vous aider à créer rapidement des liens vers des pages Web internes qui ne sont pas accessibles par l'index de recherche Google.

Pour importer du contenu avec des métadonnées, vous devez fournir un ou plusieurs fichiers JSON Lines. Chaque ligne de ce fichier décrit un document. Vous n'importez pas directement les documents réels. Les URI qui renvoient aux chemins d'accès Cloud Storage sont fournis dans le fichier JSON Lines.

Pour envoyer vos fichiers JSON Lines, fournissez un dossier Cloud Storage contenant ces fichiers. Ne placez aucun autre fichier dans ce dossier.

Descriptions des champs :

Champ Type Description
id string Identifiant unique du document.
content.mimeType string Type MIME du document. "application/pdf" et "text/html" sont acceptés.
content.uri string URI du document dans Cloud Storage.
structData string Objet JSON sur une seule ligne avec les champs title et url facultatifs.

Exemple :

{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }

Datastore sans métadonnées

Ce contenu ne comporte pas de métadonnées. À la place, vous fournissez des liens d'URI vers les documents individuels. Le type de contenu est déterminé par l'extension de fichier.

Configuration de l'analyse et de la fragmentation

Selon la source de données, vous pouvez configurer les paramètres d'analyse et de segmentation définis par Agent Search.

Utiliser Cloud Storage pour un document de data store

Si votre contenu n'est pas public, nous vous recommandons de le stocker dans Cloud Storage. Lorsque vous créez des documents de data store, vous fournissez les URL de vos objets Cloud Storage au format suivant : gs://bucket-name/folder-name. Chaque document du dossier est ajouté au data store.

Lorsque vous créez le bucket Cloud Storage :

Créez un bucket et importez des fichiers à l'aide du guide de démarrage rapide de Cloud Storage.

Langues

Pour en savoir plus sur les langues acceptées, consultez la colonne "data store" dans la documentation de référence sur les langues.

Pour des performances optimales, créez des datastores dans une seule langue.

Après avoir créé un data store, vous pouvez éventuellement spécifier sa langue. Si vous définissez la langue du data store, vous pouvez data store connecter à un agent configuré pour une autre langue. Par exemple, vous pouvez créer un data store en français connecté à un agent en anglais.

Régions où le service est disponible

Pour en savoir plus sur les régions prises en charge, consultez la documentation de référence sur les régions.

(Accès restreint) Sources de data store supplémentaires

Les autres types de data store sont listés dans le tableau suivant. Elles sont disponibles en tant que fonctionnalités à accès restreint. Vous pouvez remplir le formulaire de demande d'accès pour demander l'accès. Une fois l'accès approuvé, vous verrez ces options lorsque vous créerez un data store dans Vertex AI Agent Builder.

Sources de data store tierces

Source du datastore Description
Box Importez des données depuis le site Box de votre organisation.
Confluence Cloud Importez des données depuis votre espace de travail Confluence Cloud.
Dropbox Importez des données depuis votre espace de stockage Dropbox.
EntraID Importez des données depuis le système EntraID de votre organisation.
Jira Cloud Importez des données depuis votre système de gestion des tâches Jira.
OneDrive Importez des données depuis l'espace de stockage OneDrive de votre organisation.
Microsoft Outlook Importez des données depuis Microsoft Outlook.
Salesforce Importez des données depuis Salesforce.
ServiceNow Importez des données depuis ServiceNow.
SharePoint Importez des données depuis le système SharePoint de votre organisation.
Slack Importez des données depuis Slack.
Microsoft Teams Importez des données depuis Microsoft Teams.

Configurer un data store tiers à l'aide d'un connecteur

Cette section explique comment configurer un data store à l'aide de données tierces. Pour obtenir des instructions spécifiques à chaque source de données tierce, consultez la documentation Vertex AI Agent Builder.

Fournisseurs d'identité

Les fournisseurs d'identité vous permettent de gérer les utilisateurs, les groupes et l'authentification. Lorsque vous configurez un data store tiers, vous pouvez utiliser un fournisseur d'identité Google ou un fournisseur d'identité tiers.

Fournisseur d'identité Google :

  • Les utilisateurs de l'agent se connectent à l'aide de leurs identifiants Google. Il s'agit de n'importe quelle adresse e-mail @gmail.com ou de n'importe quel compte qui utilise Google comme fournisseur d'identité (par exemple, Google Workspace). Cette étape est ignorée si les utilisateurs parlent à l'agent en utilisant directement Google Cloud , car l'identité Google est automatiquement intégrée au système.
  • Vous pouvez attribuer l'accès aux comptes Google à l'aide d'Identity and Access Management (IAM).

Fournisseur d'identité tiers :

  • Les utilisateurs de l'agent se connectent à l'aide d'identifiants non Google, par exemple une adresse e-mail Microsoft.
  • Vous devez créer un pool d'employés à l'aide deGoogle Cloud contenant les fournisseurs d'identité non Google. Vous pouvez ensuite utiliser IAM pour accorder l'accès à l'ensemble du pool ou à des utilisateurs individuels de ce pool.
  • Cette méthode ne peut pas être utilisée avec les projets Google Cloud configurés dans l'organisation@google.com.

Connecteurs

Les datastores tiers sont implémentés à l'aide d'un connecteur. Chaque connecteur peut contenir plusieurs datastores, qui sont stockés en tant qu'entités dans le système Dialogflow CX.

  • Avant de créer un data store, vous devez configurer chaque région avec un seul fournisseur d'identité dans Google Cloud  > Agent Builder > Paramètres. Tous les datastores de cette région utilisent le même fournisseur d'identité. Vous pouvez choisir une identité Google ou une identité tierce dans un pool d'employés. La même identité Google est considérée comme une identité différente si elle se trouve dans un pool d'employés. Par exemple, test@gmail.com est considéré comme une identité différente de workforcePools/test-pool/subject/test@gmail.com.
    • Créez un pool d'employés (si nécessaire).
    • Accédez aux paramètres d'Agent Builder, puis sélectionnez Identité Google ou Identité tierce. Cliquez sur Enregistrer pour enregistrer l'identité dans la région.
    • Vous pouvez maintenant créer un data store dans la région.
  • Chaque data store enregistre les données de liste de contrôle d'accès (LCA) avec chaque document. Cet enregistrement permet de suivre les utilisateurs ou les groupes qui disposent d'un accès en lecture à quelles entités. Lors de l'exécution, un utilisateur ou un membre du groupe ne reçoit des réponses de l'agent que si les réponses proviennent d'entités pour lesquelles il dispose d'un accès en lecture. Si un utilisateur n'a pas d'accès en lecture aux entités du data store, l'agent renvoie une réponse vide.
  • Étant donné que les données du data store sont une copie de l'instance tierce, elles doivent être actualisées régulièrement. Vous pouvez configurer les intervalles d'actualisation sur une échelle de temps en heures ou en jours.
  • Une fois que vous avez configuré votre data store et cliqué sur Créer, il peut s'écouler jusqu'à une heure avant qu'il data store'apparaisse dans la liste de vos datastores.

Traçage du datastore

Cette fonctionnalité comprend deux parties :

  • Affiche les traces d'exécution internes et les latences des étapes du data store dans le simulateur d'agent.
  • Exporte les traces d'exécution internes et les latences des étapes du data store vers Cloud Logging et BigQuery.

Afficher les données dans le simulateur

Pour afficher les données de traçage et d'exécution dans le simulateur d'agent, développez les détails d'un tour de conversation en cliquant sur la flèche de développement à droite de la réponse de l'agent.

L'onglet Exécution affiche les traces d'exécution du data store interne, y compris les éléments suivants :

  • Entrée utilisateur d'origine.
  • Requête réécrite par le moteur du data store.
  • Signaux de qualité issus des étapes d'exécution, y compris l'état de la vérification de sécurité, l'état de la vérification de stabilité, le résultat de la vérification de l'ancrage et l'état de la vérification de la sécurité.
  • Extraits de recherche issus de la recherche data store.
  • Liste des documents d'aide pour les extraits.

L'onglet Latence affiche un graphique temporel pour différentes étapes d'exécution du data store. La liste des étapes varie en fonction de la configuration du data store et du flux d'exécution. L'onglet peut afficher les données suivantes :

  • Correspondance avec les questions fréquentes : effectue une étape de mise en correspondance avec les questions fréquentes.
  • Réécriture de la requête : réécrit la requête utilisateur d'origine.
  • Recherche : effectue une recherche d'extraits.
  • Résumé : résume la réponse.
  • Contrôles de sécurité : effectue des étapes de contrôle de sécurité.

Afficher les données de traçage dans d'autres emplacements

Étapes suivantes

Pour en savoir plus sur la création et l'utilisation d'un data store avec un agent, consultez la documentation sur les outils de datastore.

Précédent
Évaluations des playbooks
Suivant
Outils de datastore