Datastore

Gli strumenti del datastore utilizzano i datastore per trovare risposte alle domande degli utenti finali dai tuoi dati. I datastore sono una raccolta di siti web, documenti o dati in sistemi di terze parti, ognuno dei quali fa riferimento ai tuoi dati.

Quando fai una domanda all'agente, questo cerca una risposta nei contenuti della fonte fornita e riassume i risultati in una risposta coerente. Inoltre, fornisce link di supporto alle fonti della risposta per aiutarti a scoprire di più. L'agente può fornire fino a cinque snippet di risposta per una determinata domanda.

Origini dei datastore

Puoi utilizzare diverse origini per i tuoi dati:

Origini dei datastore ad accesso limitato

Google offre molte altre origini di datastore proprietari e di terze parti come funzionalità ad accesso limitato. Per visualizzare le origini disponibili e richiedere l'accesso, consulta Origini datastore aggiuntive.

Contenuti dei siti web

Quando aggiungi i contenuti di un sito web come fonte, puoi aggiungere ed escludere più siti. Quando specifichi un sito, puoi utilizzare singole pagine o * come carattere jolly per un pattern. Il sistema elabora tutti i contenuti HTML e PDF.

Verifica il tuo dominio quando utilizzi i contenuti del sito web come fonte.

Limitazioni:

  • I file provenienti da URL pubblici devono essere stati sottoposti a scansione dall'indicizzatore della Ricerca Google per esistere nell'indice della Ricerca. Puoi verificarlo utilizzando Google Search Console.
  • Vengono indicizzate fino a 200.000 pagine. Se il datastore contiene più pagine, l'indicizzazione non va a buon fine, ma i contenuti già indicizzati rimangono.

Importa dati

Puoi importare dati da BigQuery o Cloud Storage. Questi dati possono assumere la forma di dati di domande frequenti, dati non strutturati, dati con metadati o dati senza metadati.

Sono disponibili le seguenti opzioni di importazione dati:

  • Aggiungi/aggiorna dati:aggiunge i documenti forniti al datastore. Se un nuovo documento ha lo stesso ID di un documento esistente, il nuovo documento sostituisce quello precedente.
  • Sovrascrivi i dati esistenti:elimina tutti i dati esistenti e carica i nuovi dati. L'operazione è irreversibile.

Datastore delle domande frequenti

I datastore possono contenere risposte alle domande frequenti. Quando l'agente abbina con un livello di confidenza elevato le domande degli utenti a una domanda caricata, restituisce la risposta a quella domanda senza modifiche. Puoi fornire un titolo e un URL per ogni coppia di domande e risposte visualizzata dall'agente.

Carica i dati nel datastore in formato CSV. Ogni file deve includere una riga di intestazione che descrive le colonne.

Ad esempio:

"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""

Puoi omettere le colonne title e url:

"answer","question"
"42","What is the meaning of life?"

Durante la procedura di caricamento, puoi selezionare una cartella in cui ogni file viene elaborato come file CSV, indipendentemente dall'estensione del file.

Limitazioni:

  • Un carattere di spazio aggiuntivo dopo una virgola causa un errore.
  • Le righe vuote (anche alla fine del file) causano un errore.

Datastore non strutturato

I datastore non strutturati possono contenere contenuti nei seguenti formati:

  • HTML
  • PDF
  • TXT
  • CSV

Puoi importare file dal bucket Cloud Storage di un altro progetto. Per farlo, concedi l'accesso esplicito al processo di importazione. Segui le istruzioni nel messaggio di errore, che contiene il nome dell'utente che deve avere l'accesso in lettura al bucket per eseguire l'importazione.

Limitazioni:

  • La dimensione massima del file è di 2,5 MB per i formati basati su testo e di 100 MB per gli altri formati.

Datastore con metadati

Puoi fornire un titolo e url come metadati. Durante una conversazione, l'agente può fornire queste informazioni per aiutarti a collegarti rapidamente alle pagine web interne non accessibili dall'indice della Ricerca Google.

Per importare contenuti con metadati, devi fornire uno o più file JSON Lines. Ogni riga di questo file descrive un documento. Non carichi direttamente i documenti effettivi; gli URI che rimandano ai percorsi Cloud Storage sono forniti nel file JSON Lines.

Per inviare i file JSON Lines, fornisci una cartella Cloud Storage che li contenga. Non inserire altri file in questa cartella.

Descrizioni dei campi:

Campo Tipo Descrizione
id string Identificatore univoco del documento.
content.mimeType string Tipo MIME del documento. "application/pdf" e "text/html" sono supportati.
content.uri string URI del documento in Cloud Storage.
structData string Oggetto JSON su una singola riga con campi title e url facoltativi.

Ad esempio:

{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }

Datastore senza metadati

Questi contenuti non hanno metadati. Devi invece fornire i link URI ai singoli documenti. Il tipo di contenuti è determinato dall'estensione del file.

Configurazione di analisi e suddivisione in blocchi

A seconda dell'origine dati, puoi configurare le impostazioni di analisi e suddivisione in blocchi definite da Ricerca agente.

Utilizza Cloud Storage per un documento del datastore

Se i tuoi contenuti non sono pubblici, ti consigliamo di archiviarli in Cloud Storage. Quando crei i documenti del datastore, fornisci gli URL degli oggetti Cloud Storage nel formato: gs://bucket-name/folder-name. Ogni documento all'interno della cartella viene aggiunto al datastore.

Quando crei il bucket Cloud Storage:

Crea un bucket e carica i file utilizzando la guida rapida di Cloud Storage.

Lingue

Per saperne di più sulle lingue supportate, consulta la colonna del datastore nel riferimento per il linguaggio.

Per ottenere prestazioni ottimali, crea datastore in un'unica lingua.

Dopo aver creato un datastore, puoi facoltativamente specificarne la lingua. Se imposti la lingua del datastore, puoi collegarlo a un agente configurato per una lingua diversa. Ad esempio, puoi creare un datastore in francese collegato a un agente in inglese.

Aree geografiche supportate

Per informazioni sulle regioni supportate, consulta il riferimento per le regioni.

(Accesso limitato) Origini datastore aggiuntive

Nella tabella seguente sono elencati altri tipi di datastore. Sono disponibili come funzionalità ad accesso limitato. Puoi compilare il modulo di richiesta di accesso per richiedere l'accesso. Una volta approvate, potrai visualizzare queste opzioni quando crei un datastore in Vertex AI Agent Builder.

Origini dei datastore di terze parti

Origine del datastore Descrizione
Box Importa dati dal sito Box della tua organizzazione.
Confluence Cloud Importa dati dallo spazio di lavoro Confluence Cloud.
Dropbox Importa i dati dallo spazio di archiviazione di Dropbox.
EntraID Importa i dati dal sistema EntraID della tua organizzazione.
Jira Cloud Importa i dati dal sistema di gestione delle attività Jira.
OneDrive Importa i dati dallo spazio di archiviazione di OneDrive della tua organizzazione.
Microsoft Outlook Importa i dati da Microsoft Outlook.
Salesforce Importa i dati da Salesforce.
ServiceNow Importa i dati da ServiceNow.
SharePoint Importa i dati dal sistema SharePoint della tua organizzazione.
Slack Importa i dati da Slack.
Microsoft Teams Importa i dati da Microsoft Teams.

Configura un datastore di terze parti utilizzando un connettore

Questa sezione spiega come configurare un datastore utilizzando dati di terze parti. Per istruzioni specifiche per ogni origine dati di terze parti, consulta la documentazione di Vertex AI Agent Builder.

Provider di identità

I provider di identità ti consentono di gestire utenti, gruppi e autenticazione. Quando configuri un datastore di terze parti, puoi utilizzare un provider di identità Google o un provider di identità di terze parti.

Google Identity provider:

  • Gli utenti dell'agente accedono utilizzando le proprie credenziali Google. Si tratta di qualsiasi indirizzo email @gmail.com o di qualsiasi account che utilizza Google come provider di identità (ad esempio, Google Workspace). Questo passaggio viene saltato se gli utenti parlano direttamente con l'agente utilizzando Google Cloud , perché l'identità Google è integrata automaticamente nel sistema.
  • Puoi assegnare l'accesso agli Account Google utilizzando Identity and Access Management (IAM).

Provider di identità di terze parti:

  • Gli utenti dell'agente accedono utilizzando credenziali non Google, ad esempio un indirizzo email Microsoft.
  • Devi creare un pool di forza lavoro utilizzandoGoogle Cloud contenente i provider di Google Identity non Google. Puoi quindi utilizzare IAM per concedere l'accesso all'intero pool o ai singoli utenti al suo interno.
  • Questo metodo non può essere utilizzato con i progetti Google Cloud configurati nell'organizzazione @google.com.

Connettori

I datastore di terze parti vengono implementati utilizzando un connettore. Ogni connettore può contenere più datastore, che vengono archiviati come entità nel sistema Dialogflow CX.

  • Prima di creare un datastore, devi configurare ogni regione con un unico provider di identità in Google Cloud > Agent Builder > Impostazioni. Tutti i datastore in quella regione utilizzano lo stesso provider di identità. Puoi scegliere un'identità Google o un'identità di terze parti in un pool di forza lavoro. La stessa credenziale Google è considerata un'identità diversa se si trova in un pool della forza lavoro. Ad esempio, test@gmail.com è considerata un'identità diversa da workforcePools/test-pool/subject/test@gmail.com.
    • Crea un pool di forza lavoro (se necessario).
    • Vai a Agent Builder Impostazioni e seleziona Google Identity o Identità di terze parti. Fai clic su Salva per salvare l'identità nella regione.
    • Ora puoi creare un datastore nella regione.
  • Ogni datastore salva i dati dell'elenco di controllo dell'accesso (ACL) con ogni documento. Questo record monitora quali utenti o gruppi hanno accesso in lettura a quali entità. Durante il runtime, un utente o un membro del gruppo riceve risposte dall'agente solo se le risposte provengono da entità per le quali dispone dell'accesso in lettura. Se un utente non ha accesso in lettura a nessuna entità nel datastore, l'agente restituisce una risposta vuota.
  • Poiché i dati nel datastore sono una copia dell'istanza di terze parti, devono essere aggiornati periodicamente. Puoi configurare gli intervalli di aggiornamento su una scala temporale di ore o giorni.
  • Dopo aver configurato il datastore e aver fatto clic su Crea, potrebbe essere necessaria fino a un'ora prima che il datastore venga visualizzato nell'elenco dei datastore.

Tracciamento del datastore

Questa funzionalità include due parti:

  • Visualizza i tracciamenti di esecuzione interna del datastore e le latenze dei passaggi nel simulatore dell'agente.
  • Esporta i tracciamenti di esecuzione interni e le latenze dei passaggi del datastore in Cloud Logging e BigQuery.

Visualizza i dati nel simulatore

Per visualizzare i dati di tracciamento ed esecuzione nel simulatore dell'agente, espandi i dettagli di un turno di conversazione facendo clic sulla freccia di espansione a destra della risposta dell'agente.

La scheda Esecuzione mostra le tracce di esecuzione del datastore interno, inclusi i seguenti elementi:

  • Input utente originale.
  • Query riscritta dal motore del datastore.
  • Indicatori di qualità dei passaggi di esecuzione, tra cui lo stato del controllo di sicurezza, lo stato del controllo di stabilità, il risultato del controllo di grounding e lo stato del controllo di sicurezza.
  • Snippet di ricerca dalla ricerca nel datastore.
  • Elenco dei documenti di supporto per gli snippet.

La scheda Latenza mostra un grafico temporale per i vari passaggi di esecuzione del datastore. L'elenco dei passaggi varia a seconda di come configuri il datastore e il flusso di esecuzione. La scheda può visualizzare i seguenti dati:

  • Corrispondenza con le domande frequenti:esegue un passaggio di corrispondenza con le domande frequenti.
  • Query rewriting: riscrive la query originale dell'utente.
  • Ricerca:esegue la ricerca di snippet.
  • Riassunto:riassume la risposta.
  • Controlli di sicurezza:esegue i passaggi di controllo della sicurezza.

Visualizza i dati di tracciamento in altre località

  • Se configuri l'agente conversazionale con la registrazione della cronologia delle conversazioni, puoi visualizzare il tracciamento del datastore nella cronologia delle conversazioni.
  • Se configuri l'agente conversazionale con Logging, puoi visualizzare i tracciamenti e le latenze in Esplora log di Cloud.
  • Se configuri l'agente conversazionale con BigQuery Export, puoi visualizzare i tracciamenti e le latenze in una tabella BigQuery esportata.

Passaggi successivi

Per saperne di più su come creare e utilizzare un datastore con un agente, consulta la documentazione sugli strumenti del datastore.

Indietro
Valutazioni dei playbook
Avanti
Strumenti per i datastore