Sobre apps e repositórios de dados

Nesta página, descrevemos os apps e repositórios de dados da Pesquisa de Agente.

Com o Agent Search, você cria um app de pesquisa ou recomendações e o conecta a um repositório de dados. Um projeto do Google Cloud pode conter vários apps.

Relação entre apps e repositórios de dados

A relação entre apps e repositórios de dados depende do tipo de app:

  • Os apps de pesquisa personalizada têm uma relação de muitos para muitos com os repositórios de dados. Quando vários repositórios de dados são conectados a um único app de pesquisa personalizado, isso é chamado de pesquisa combinada. Para informações sobre as limitações de conectar um app de pesquisa a mais de um repositório de dados, consulte Sobre a pesquisa combinada.

  • Um app de recomendações personalizadas tem uma conexão de um para um com o repositório de dados.

  • Um app de mídia tem um relacionamento de muitos para um com o repositório de dados. Um app só pode se conectar a um repositório de dados, enquanto um determinado repositório de dados pode ser conectado a vários apps. Por exemplo, um app de pesquisa de mídia e um app de recomendações de mídia podem compartilhar um repositório de dados.

  • Um app de pesquisa de saúde tem um relacionamento de muitos para um com o repositório de dados. Um app só pode se conectar a um repositório de dados, enquanto um determinado repositório de dados pode ser conectado a vários apps. Por exemplo, um app voltado para pacientes e um app voltado para fornecedores podem se conectar ao mesmo repositório de dados.

    Para uma importação em lote de dados de saúde, os dados são importados para um repositório de dados que está em um app. Para a importação de dados de streaming (pré-lançamento) de dados de saúde, os dados são importados para uma entidade, que é um tipo de repositório de dados que está em um conector de dados. Um conector de dados também é um tipo de repositório de dados que está em um app.

Depois que um repositório de dados é conectado a um app, ele não pode ser desconectado.

Método de criação de apps e ingestão de dados

A forma como você cria um app e ingere dados depende do tipo de dados que você tem:

  • Para dados de sites, use o console ou a API do Google Cloud . Para usar dados de um site criados com a API, é preciso anexá-los a um app com os recursos do Enterprise ativados no console do Google Cloud .

  • Para dados estruturados ou não estruturados, use o console doGoogle Cloud ou a API.

  • Para dados de saúde, use o console do Google Cloud ou a API.

Documentos

Cada repositório de dados tem um ou mais registros de dados, chamados de documentos. O que um documento representa varia dependendo do tipo de dados no repositório de dados:

  • Site. Um documento é uma página da Web.

  • Dados estruturados. Um documento é uma linha em uma tabela ou um registro JSON que segue um esquema específico. Você pode fornecer esse esquema ou deixar que a Pesquisa de Agentes o derive dos dados ingeridos.

  • Dados estruturados para mídia. Um documento é uma linha em uma tabela ou um registro JSON que segue um esquema específico para mídia. Os documentos são registros relacionados a conteúdo de mídia, como vídeos, notícias, arquivos de música e podcasts. Um documento contém informações que descrevem o item de mídia, no mínimo: título, URI do local do conteúdo, categorias, duração e data de disponibilidade.

  • Dados não estruturados. Um documento é um arquivo em qualquer um dos seguintes formatos: TXT, PDF, HTML, DOCX, PPTX, XLSX e XLSM.

  • Dados FHIR de saúde. Um documento é um recurso FHIR R4 com suporte. Para uma lista de recursos FHIR R4 compatíveis com a Pesquisa de Agente, consulte Referência do esquema de dados FHIR R4 de saúde.

Operações CRUD em repositórios de dados

Para repositórios de dados estruturados e não estruturados, a Pesquisa de Agente oferece suporte a operações de criação, leitura, atualização e exclusão (CRUD) em dados de documentos. Não é necessário excluir ou recriar um repositório de dados inteiro para atualizar o conteúdo. É possível gerenciar registros individuais ao longo do ciclo de vida deles.

É possível gerenciar documentos ou registros individuais em um repositório de dados usando a API:

  • Criar: adicione documentos individuais a uma ramificação do repositório de dados usando o método documents.create.
  • Ler (receber e listar): recupere um documento específico pelo ID usando o método documents.get ou liste documentos em uma ramificação usando o método documents.list.
  • Atualizar: modifique os campos, o conteúdo ou os metadados de um documento usando o método documents.patch. Também é possível realizar uma upsert (inserir se não for encontrado) definindo o campo allowMissing como true.
  • Exclusão seletiva: exclua registros individuais de forma seletiva usando o método documents.delete, em vez de excluir todo o repositório de dados.

Repositórios de dados e apps

No Agent Search, há vários tipos de repositórios de dados. Um repositório de dados pode conter apenas um tipo de dados.

Dados de sites

Um repositório de dados com dados de sites usa dados indexados de sites públicos. É possível fornecer um conjunto de padrões do URL para incluir no repositório de dados. As páginas da Web que se encaixam nos padrões do URL são chamadas de páginas da Web incluídas. Em seguida, configure a pesquisa nos dados rastreados das páginas da Web incluídas.

Por exemplo, é possível fornecer padrões do URL, como example.com/faq/* e example.com/events/*, e ativar a pesquisa nos dados rastreados dessas páginas da Web que se encaixam no padrão. Esses dados incluem texto, imagens marcadas com metadados e outros dados estruturados, como tags meta, atributos PageMap e dados do schema.org.

Também é possível fornecer padrões de URL para partes de sites que você quer excluir, por exemplo, example.com/events/members-only/* ou example.com/events/past-*. Os URLs excluídos têm prioridade sobre os incluídos.

Há dois tipos de repositórios de dados de sites:

  • Pesquisa básica no site:

    • Oferece recursos de pesquisa no índice da Pesquisa Google para os sites incluídos.
    • Não exige verificação de domínio.

  • Indexação avançada de sites:

    • Oferece recursos de pesquisa avançada em um índice gerado com base em uma das seguintes opções:
      • Os proprietários do app Agent Search podem controlar quais páginas da Web são indexadas enviando e mantendo sitemaps. Para mais informações, consulte Indexar e atualizar páginas da Web usando sitemaps. Esse processo mantém o índice atualizado sem intervenção manual.
      • Os proprietários do app Agent Search podem realizar uma indexação inicial que espelha o índice da Pesquisa Google e, em seguida, expandir a cobertura do índice rastreando novamente os sites sempre que necessário, mantendo-o atualizado. Para mais informações, consulte Atualizar páginas da Web. Os recursos avançados da indexação avançada de sites estão listados em Indexação avançada de sites.
    • Exige que os proprietários de repositórios de dados da Pesquisa de Agente verifiquem os domínios a que os sites incluídos pertencem. Para mais informações, consulte Verificar domínios de sites.
    • Oferece a capacidade de adicionar dados estruturados ao esquema do repositório de dados. Um site contém dados não estruturados, mas é possível adicionar dados estruturados na forma de tags meta, atributos PageMap e dados do schema.org às suas páginas da Web. Em seguida, use esses dados estruturados para editar o esquema do repositório de dados, conforme explicado em Usar dados estruturados para indexação avançada de sites.

A seguir

Para pesquisa de site:

Dados estruturados

Um repositório de dados estruturados possibilita a pesquisa semântica ou recomendações com dados estruturados. É possível importar dados do BigQuery ou do Cloud Storage. Também é possível fazer upload manual de dados JSON estruturados pela API.

Por exemplo, é possível ativar a pesquisa ou as recomendações em um catálogo de produtos para sua experiência de e-commerce ou um diretório de médicos para pesquisa ou recomendações de provedores.

A Pesquisa de Agente detecta automaticamente o esquema dos dados que você importa. Se quiser, você pode fornecer um esquema para seus dados. Fornecer um esquema para seus dados geralmente melhora a qualidade dos resultados.

A seguir

Para pesquisa personalizada:

Para recomendações personalizadas:

Dados estruturados para mídia

Os apps de mídia só podem ser conectados a repositórios de dados de mídia. Os repositórios de dados de mídia são repositórios de dados estruturados com um esquema definido pelo Google ou com seu próprio esquema personalizado que contém um conjunto específico de cinco campos relacionados à mídia. Para mais informações sobre o esquema, consulte Sobre documentos de mídia e repositórios de dados.

Por exemplo, é possível ativar as recomendações criando um app de recomendações de mídia para um catálogo de filmes ou um novo Google Sites, para que os usuários recebam sugestões adequadas e personalizadas.

Além dos documentos de mídia, os repositórios de dados de mídia também contêm as informações de eventos do usuário que permitem que a Pesquisa do Agente personalize as recomendações e a pesquisa para seus usuários. Os eventos de usuário são obrigatórios para apps de mídia. Para informações sobre eventos do usuário, consulte Registrar eventos do usuário em tempo real.

A seguir

Dados não estruturados

Um repositório de dados não estruturados permite a pesquisa semântica em dados como documentos e imagens.

Os repositórios de dados não estruturados são compatíveis com documentos nos formatos TXT, PDF, HTML, DOCX, PPTX, XLSX e XLSM.

A pesquisa fornece resultados na forma de 10 URLs e respostas resumidas para consultas em linguagem natural. Os documentos precisam ser enviados para um bucket do Cloud Storage com as permissões de acesso adequadas. Por exemplo, uma instituição financeira pode ativar a pesquisa no corpus particular de publicações de pesquisa financeira, ou uma empresa de biotecnologia pode ativar a pesquisa ou as recomendações no repositório particular de pesquisa médica.

A seguir

Para pesquisa:

Dados de FHIR saúde

Um app de pesquisa de saúde usa dados FHIR R4 importados de um repositório FHIR da API Cloud Healthcare. Para uma lista de recursos FHIR R4 compatíveis com a Pesquisa de Agente, consulte Referência do esquema de dados FHIR R4 do Cloud Healthcare. Um repositório de dados FHIR R4 precisa atender a alguns requisitos para ser usado como fonte de dados para o repositório de dados da Pesquisa de Agente. Para mais informações, consulte como preparar dados FHIR de saúde para ingestão.

A seguir

Sobre a pesquisa mista

É possível criar um app de pesquisa combinada, em que vários repositórios de dados podem ser conectados a um único app de pesquisa personalizado. Esse recurso permite usar um app para pesquisar em várias fontes e tipos de dados.

Para criar um app de pesquisa combinada, selecione vários repositórios de dados ao criar um novo app de pesquisa personalizada. Se você não selecionar vários repositórios de dados durante a criação, não será possível adicionar outros repositórios de dados posteriormente.

Ao receber resultados da pesquisa, é possível pesquisar em todos os repositórios de dados ou filtrar os resultados de um único repositório de dados.

Considere as seguintes limitações:

  • Adicionar e remover repositórios de dados:
    • Para ativar a pesquisa combinada em um app, conecte pelo menos dois repositórios de dados a ele durante a criação do app.
    • É possível adicionar ou remover repositórios de dados de um app de pesquisa combinada, mas o app não pode ter menos de dois repositórios de dados conectados a ele em nenhum momento.
    • Se você conectar um único repositório de dados a um app de pesquisa durante a criação do app, não será possível adicionar ou remover esse repositório.
  • Os repositórios de dados de sites precisam ter a indexação avançada de sites ativada para serem usados na pesquisa combinada. Para mais informações, consulte Indexação avançada de sites.
  • Não há suporte para repositórios de dados que contêm dados não estruturados importados usando o BigQuery.
  • A pesquisa de imagens (usando o campo params com searchType: 1) não é compatível.
  • A pesquisa combinada permite os seguintes campos em solicitações de pesquisa:
    • boostSpec
    • contentSearchSpec
    • dataStoreSpecs
    • facetSpecs
    • filter
    • languageCode
    • offset
    • oneBoxPageSize
    • orderBy
    • query
    • pageSize
    • pageToken
    • relevanceScoreSpec
    • relevanceThreshold
    • session
    • sessionSpec
    • spellCorrectionSpec
    • userInfo
    • userPseudoId
  • A pesquisa combinada permite os seguintes campos em DataStoreSpec:
    • dataStore
    • boostSpec: se houver especificações de otimização especificadas para SearchRequest e dataStoreSpecs, ambas serão aplicadas aos resultados da pesquisa.
    • filter: se houver filtros especificados para SearchRequest e dataStoreSpecs, ambos serão aplicados aos resultados da pesquisa.
  • As operações de criação, leitura, atualização e exclusão (CRUD, na sigla em inglês) em configurações de veiculação são compatíveis com apps combinados. Somente os seguintes campos podem ser adicionados ou atualizados em uma configuração de veiculação:
    • boostControlIds
    • displayName
    • filterControlIds
    • genericConfig:
      • contentSearchSpec
    • name
    • solutionType
    • synonymsControlIds
  • As operações CRUD nos seguintes controles são compatíveis com apps de pesquisa combinada:
    • boostAction
    • synonymAction
    • filterAction
  • Há um limite de 50 repositórios de dados por app de pesquisa.
  • Se um repositório de dados usar uma configuração de CMEK, todos os outros repositórios de dados também precisarão usar a mesma configuração de CMEK.