Repositórios de dados

Observação: o recurso Repositórios de dados não está incluído no SLA do Dialogflow CX.

As ferramentas de repositório de dados usam repositórios de dados para encontrar respostas para as perguntas do usuário final com base nos seus dados. Os repositórios de dados são uma coleção de sites, documentos ou dados em sistemas de terceiros, cada um deles referenciando seus dados.

Quando você faz uma pergunta ao agente, ele procura uma resposta no conteúdo da fonte e resume as descobertas em uma resposta coerente. Além disso, disponibiliza links de apoio das fontes da resposta para que você saiba mais. O agente pode fornecer até cinco snippets de resposta para uma determinada pergunta.

Fontes de repositório de dados

É possível usar fontes diferentes para seus dados:

• URLs de sites:rastreie automaticamente o conteúdo do site de uma lista de domínios ou páginas da Web.
• BigQuery:importe dados da sua tabela do BigQuery.
• Cloud Storage:importe dados do bucket do Cloud Storage.
• AlloyDB:importe dados do cluster do AlloyDB para PostgreSQL.
• Bigtable:importe dados de uma tabela do Bigtable.
• Firestore:importe dados da sua coleção do Firestore.
• Cloud SQL:importe dados da sua tabela do Cloud SQL.
• Spanner:importe dados da sua tabela do Spanner.

Fontes de repositório de dados com acesso restrito

O Google oferece muitas outras fontes de repositório de dados próprios e de terceiros como um recurso de acesso restrito. Para conferir as fontes disponíveis e solicitar acesso, consulte outras fontes de repositório de dados.

Conteúdo do site

Ao adicionar conteúdo de sites como fonte, você pode incluir e excluir vários sites. Ao especificar um site, você pode usar páginas individuais ou * como um caractere curinga para um padrão. O sistema processa todo o conteúdo em HTML e PDF.

Verifique seu domínio ao usar o conteúdo do site como fonte.

Limitações:

• Os arquivos de URLs públicos precisam ter sido rastreados pelo indexador da Pesquisa Google para existir no índice da Pesquisa. Para verificar isso, use o Google Search Console.
• Até 200.000 páginas são indexadas. Se o repositório de dados tiver mais páginas, a indexação vai falhar nesse ponto, mas o conteúdo já indexado vai permanecer.

Importar dados

É possível importar dados do BigQuery ou do Cloud Storage. Esses dados podem ser do tipo perguntas frequentes, não estruturados, com metadados ou sem metadados.

As seguintes opções de importação de dados estão disponíveis:

• Adicionar/atualizar dados:adiciona os documentos fornecidos ao repositório de dados. Se um novo documento tiver o mesmo ID de um documento atual, o novo documento vai substituir o antigo.
• Substituir dados atuais:exclui todos os dados atuais e faz upload de novos dados. Essa ação é irreversível.

Repositório de dados de perguntas frequentes

Os repositórios de dados podem conter respostas para perguntas frequentes. Quando o agente corresponde as perguntas do usuário com alta confiança a uma pergunta enviada, ele retorna a resposta a essa pergunta sem modificações. Você pode fornecer um título e um URL para cada par de pergunta e resposta que o agente exibe.

Faça upload dos dados para o repositório de dados no formato CSV. Cada arquivo precisa incluir uma linha de cabeçalho que descreva as colunas.

Exemplo:

"question","answer","title","url"
"Why is the sky blue?","The sky is blue because of Rayleigh scattering.","Rayleigh scattering","https://en.wikipedia.org/wiki/Rayleigh_scattering"
"What is the meaning of life?","42","",""

É possível omitir as colunas title e url:

"answer","question"
"42","What is the meaning of life?"

Durante o processo de upload, é possível selecionar uma pasta em que cada arquivo é processado como um arquivo CSV, independentemente da extensão de arquivo.

Limitações:

• Um caractere de espaço extra após uma vírgula causa um erro.
• Linhas em branco (mesmo no final do arquivo) causam um erro.

Repositório de dados não estruturados

Os repositórios de dados não estruturados podem conter conteúdo nos seguintes formatos:

• HTML
• PDF
• TXT
• CSV

Observação: os arquivos CSV também podem ser importados como conteúdo não estruturado. Os requisitos de esquema da seção de repositório de dados de perguntas frequentes também se aplicam. Os metadados são gerados automaticamente se as colunas title e url forem fornecidas. Cada par de pergunta e resposta é indexado separadamente. Os requisitos de correspondência são menos rígidos do que para repositórios de dados CSV de perguntas frequentes, e o agente pode reescrever a resposta em vez de retorná-la palavra por palavra.

É possível importar arquivos do bucket do Cloud Storage de outro projeto. Para isso, conceda acesso explícito ao processo de importação. Siga as instruções na mensagem de erro, que contém o nome do usuário que precisa de acesso de leitura ao bucket para realizar a importação.

Limitações:

• O tamanho máximo do arquivo é de 2,5 MB para formatos baseados em texto e 100 MB para outros formatos.

Repositório de dados com metadados

Você pode fornecer um título e url como metadados. Durante uma conversa, o agente pode fornecer essas informações para ajudar você a vincular rapidamente páginas da Web internas que não são acessíveis pelo indexador da Pesquisa Google.

Para importar conteúdo com metadados, forneça um ou mais arquivos de linhas JSON. Cada linha desse arquivo descreve um documento. Não é preciso fazer upload dos documentos reais. Os URIs que se vinculam aos caminhos do Cloud Storage são fornecidos no arquivo JSON Lines.

Para enviar os arquivos JSON Lines, forneça uma pasta do Cloud Storage que contenha esses arquivos. Não coloque outros arquivos nessa pasta.

Descrições dos campos:

Campo	Tipo	Descrição
ID	string	Identificador exclusivo do documento.
content.mimeType	string	Tipo MIME do documento. "application/pdf" e "text/html" são aceitos.
content.uri	string	URI do documento no Cloud Storage.
structData	string	Objeto JSON de linha única com campos title e url opcionais.

Exemplo:

{ "id": "d001", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/first_doc.pdf"}, "structData": {"title": "First Document", "url": "https://internal.example.com/documents/first_doc.pdf"} }
{ "id": "d002", "content": {"mimeType": "application/pdf", "uri": "gs://example-import/unstructured/second_doc.pdf"}, "structData": {"title": "Second Document", "url": "https://internal.example.com/documents/second_doc.pdf"} }
{ "id": "d003", "content": {"mimeType": "text/html", "uri": "gs://example-import/unstructured/mypage.html"}, "structData": {"title": "My Page", "url": "https://internal.example.com/mypage.html"} }

Repositório de dados sem metadados

Este conteúdo não tem metadados. Em vez disso, forneça links de URI para os documentos individuais. O tipo de conteúdo é determinado pela extensão do arquivo.

Configuração de análise e divisão

Dependendo da fonte de dados, é possível definir as configurações de análise e fragmentação definidas pela Pesquisa de Agente.

Usar o Cloud Storage para um documento do repositório de dados

Se o conteúdo não for público, recomendamos armazená-lo no Cloud Storage. Ao criar documentos de repositório de dados, forneça os URLs dos objetos do Cloud Storage no formato: gs://bucket-name/folder-name. Cada documento na pasta é adicionado ao repositório de dados.

Ao criar o bucket do Cloud Storage:

• Escolha o projeto que você usa para o agente.
• Use a classe de armazenamento Standard.
• Defina o local do bucket como o mesmo local do agente.

Crie um bucket e faça upload de arquivos usando o guia de início rápido do Cloud Storage.

Idiomas

Para mais informações sobre os idiomas disponíveis, consulte a coluna do repositório de dados na referência de idiomas.

Para ter o melhor desempenho, crie repositórios de dados em um único idioma.

Depois de criar um repositório de dados, você pode especificar o idioma dele. Se você definir o idioma do repositório de dados, poderá conectá-lo a um agente configurado para um idioma diferente. Por exemplo, é possível criar um repositório de dados em francês conectado a um agente em inglês.

Regiões compatíveis

Para informações sobre regiões com disponibilidade, consulte a referência de região.

(Acesso restrito) Outras fontes de repositório de dados

Outros tipos de repositório de dados estão listados na tabela a seguir. Eles estão disponíveis como recursos de acesso restrito. Preencha o formulário de solicitação de acesso para pedir acesso. Depois de aprovadas, essas opções vão aparecer quando você criar um repositório de dados no Vertex AI Agent Builder.

Fontes de repositório de dados de terceiros

Fonte do repositório de dados	Descrição
Box	Importe dados do site do Box da sua organização.
Confluence Cloud	Importe dados do seu espaço de trabalho do Confluence Cloud.
Dropbox	Importe dados do seu armazenamento do Dropbox.
EntraID	Importe dados do sistema EntraID da sua organização.
Jira Cloud	Importe dados do seu sistema de gerenciamento de tarefas do Jira.
OneDrive	Importe dados do armazenamento do OneDrive da sua organização.
Microsoft Outlook	Importe dados do Microsoft Outlook.
Salesforce	Importe dados do Salesforce.
ServiceNow	Importe dados do ServiceNow.
SharePoint	Importe dados do sistema do SharePoint da sua organização.
Slack	Importar dados do Slack.
Microsoft Teams	Importe dados do Microsoft Teams.

Configurar um repositório de dados de terceiros usando um conector

Nesta seção, explicamos como configurar um repositório de dados usando dados de terceiros. Para instruções específicas de cada fonte de dados de terceiros, consulte a documentação do Vertex AI Agent Builder.

Provedores de identidade

Os provedores de identidade permitem gerenciar usuários, grupos e autenticação. Ao configurar um repositório de dados de terceiros, é possível usar um Google Identity ou um provedor de identidade de terceiros.

Google Identity:

• Os usuários do agente fazem login usando as credenciais do Google. É qualquer endereço de e-mail do @gmail.com ou qualquer conta que use o Google como provedor de identidade (por exemplo, o Google Workspace). Essa etapa é ignorada se os usuários conversarem com o agente usando o Google Cloud diretamente, porque a identidade do Google é integrada automaticamente ao sistema.
• É possível atribuir acesso a Contas do Google usando o Identity and Access Management (IAM).

Provedor de identidade terceirizado:

• Os usuários do agente fazem login usando credenciais que não são do Google, por exemplo, um endereço de e-mail da Microsoft.
• É preciso criar um pool de colaboradores usando Google Cloud , que contém os provedores de Google Identity que não são do Google. Em seguida, use o IAM para conceder acesso ao pool inteiro ou a usuários individuais dentro dele.
• Esse método não pode ser usado com nenhum projeto do Google Cloud configurado na organização @google.com.

Conectores

Os repositórios de dados de terceiros são implementados usando um conector. Cada conector pode conter vários repositórios de dados, que são armazenados como entidades no sistema do Dialogflow CX.

Observação: apenas contas de usuário são compatíveis com a autenticação. Contas de serviço não são compatíveis com conectores.

• Antes de criar um repositório de dados, configure cada região com um único provedor de identidade em Google Cloud > Agent Builder > Configurações. Todos os repositórios de dados nessa região usam o mesmo provedor de identidade. É possível escolher uma Google Identity ou de terceiros em um pool de colaboradores. A mesma credencial do Google é considerada uma identidade diferente se estiver em um pool de força de trabalho. Por exemplo, [e-mail] é considerado uma identidade diferente de workforcePools/test-pool/subject/[e-mail].
  • Crie um pool de colaboradores (se necessário).
  • Acesse as configurações do Agent Builder e selecione Google Identity ou Identidade de terceiros. Clique em Salvar para salvar a identidade na região.
  • Agora é possível criar um repositório de dados na região.
• Cada repositório de dados salva os dados da lista de controle de acesso (ACL) com cada documento. Esse registro rastreia quais usuários ou grupos têm acesso de leitura a quais entidades. Durante o ambiente de execução, um usuário ou membro do grupo recebe respostas do agente somente se as respostas forem provenientes de entidades às quais ele tem acesso de leitura. Se um usuário não tiver acesso de leitura a nenhuma entidade no repositório de dados, o agente vai retornar uma resposta vazia.
• Como os dados no repositório de dados são uma cópia da instância de terceiros, eles precisam ser atualizados periodicamente. É possível configurar os intervalos de atualização em uma escala de tempo de horas ou dias.
• Depois de configurar o repositório de dados e clicar em Criar, pode levar até uma hora para que ele apareça na lista de repositórios de dados.

Rastreamento de repositório de dados

Esse recurso inclui duas partes:

• Mostra os rastreamentos de execução interna do repositório de dados e as latências de etapas no simulador de agente.
• Exporta os rastreamentos de execução interna e as latências de etapas do repositório de dados para o Cloud Logging e o BigQuery.

Ver dados no simulador

Para mostrar dados de rastreamento e execução no simulador de agente, abra os detalhes sobre uma conversa clicando na seta de expansão à direita da resposta do agente.

A guia Execução mostra os traces de execução do repositório de dados interno, incluindo os seguintes elementos:

• Entrada original do usuário.
• Consulta reescrita pelo mecanismo do repositório de dados.
• Sinais de qualidade das etapas de execução, incluindo o status da verificação de segurança, da verificação de estabilidade, o resultado da verificação de embasamento e o status da verificação de segurança.
• Pesquise snippets da pesquisa do repositório de dados.
• Lista de documentos de apoio para snippets.

A guia Latência exibe um gráfico de tempo para várias etapas de execução do repositório de dados. A lista de etapas varia de acordo com a configuração do repositório de dados e o fluxo de execução. A guia pode mostrar os seguintes dados:

• Correspondência de perguntas frequentes:realiza uma etapa de correspondência de perguntas frequentes.
• Reescrita de consulta:reescreve a consulta original do usuário.
• Pesquisa:realiza pesquisas de snippets.
• Resumo:resume a resposta.
• Verificações de segurança:realiza etapas de verificação de segurança.

Ver dados de rastreamento em outros locais

• Se você configurar o agente de conversação com a geração de registros do histórico de conversas, poderá visualizar o rastreamento do repositório de dados no Histórico de conversas.
• Se você configurar o agente de conversação com o Logging, poderá ver os rastreamentos e as latências na Análise de registros do Cloud.
• Se você configurar o agente de conversação com a exportação do BigQuery, será possível visualizar os rastreamentos e as latências em uma tabela exportada do BigQuery.

A seguir

Para mais informações sobre como criar e usar um repositório de dados com um agente, consulte a documentação das ferramentas de repositório de dados.