Sobre apps e repositórios de dados

Esta página descreve os apps e repositórios de dados da Pesquisa do agente.

Com a Pesquisa do agente, você cria um app de pesquisa ou recomendações e o conecta a um repositório de dados. Um Google Cloud projeto pode conter vários apps.

Relação entre apps e repositórios de dados

A relação entre apps e repositórios de dados depende do tipo de app:

  • Os apps de pesquisa personalizados têm uma relação de muitos para muitos com os repositórios de dados. Quando vários repositórios de dados são conectados a um único app de pesquisa personalizado, isso é chamado de pesquisa combinada. Para informações sobre as limitações de conectar um app de pesquisa a mais de um repositório de dados, consulte Sobre a pesquisa combinada.

  • Um app de recomendações personalizado tem uma conexão de um para um com o repositório de dados.

  • Um app de mídia tem um relacionamento de muitos para um com o repositório de dados. Um app só pode se conectar a um repositório de dados, enquanto um determinado repositório de dados pode ser conectado a vários apps. Por exemplo, um app de pesquisa de mídia e um app de recomendações de mídia podem compartilhar um repositório de dados.

  • Um app de pesquisa de saúde tem um relacionamento de muitos para um com o repositório de dados. Um app só pode se conectar a um repositório de dados, enquanto um determinado repositório de dados pode ser conectado a vários apps. Por exemplo, um app voltado a pacientes e um app voltado a fornecedores podem se conectar ao mesmo repositório de dados.

    Para uma importação de dados em lote de dados de saúde, os dados são importados para um repositório de dados que está em um app. Para a importação de dados de streaming (pré-lançamento) de dados de saúde, os dados são importados para uma entidade, que é um tipo de repositório de dados que está em um conector de dados. Um conector de dados também é um tipo de repositório de dados que está em um app.

Depois que um repositório de dados é conectado a um app, ele não pode ser desconectado.

Método de criação de apps e ingestão de dados

A forma como você cria um app e ingere dados depende do tipo de dados que você tem:

  • Para dados de sites, você pode usar o Google Cloud console ou a API. Para usar um dado de site criado com a API, é necessário anexá-lo a um app com os recursos Enterprise ativados no Google Cloud console.

  • Para dados estruturados ou não estruturados, você pode usar o Google Cloud console ou a API.

  • Para dados de saúde, você pode usar o Google Cloud console ou a API.

Documentos

Cada repositório de dados tem um ou mais registros de dados, chamados de documentos. O que um documento representa varia dependendo do tipo de dados no repositório de dados:

  • Site. Um documento é uma página da Web.

  • Dados estruturados. Um documento é uma linha em uma tabela ou um registro JSON que segue um esquema específico. Você pode fornecer esse esquema ou deixar que a Pesquisa do agente o derive dos dados ingeridos.

  • Dados estruturados para mídia. Um documento é uma linha em uma tabela ou um registro JSON que segue um esquema específico para mídia. Os documentos são registros relacionados a conteúdo de mídia, como vídeos, notícias, arquivos de música e podcasts. Um documento contém informações que descrevem o item de mídia, no mínimo: título, URI do local do conteúdo, categorias, duração e data disponível.

  • Dados não estruturados. Um documento é um arquivo em um dos seguintes formatos: TXT, PDF, HTML, DOCX, PPTX, XLSX e XLSM.

  • Dados de FHIR saúde. Um documento é um recurso de FHIR R4 compatível. Para uma lista de recursos de FHIR R4 compatíveis com a Pesquisa do agente, consulte Referência do esquema de dados FHIR R4 de saúde.

Repositórios de dados e apps

Na Pesquisa do agente, há vários tipos de repositórios de dados. Um repositório de dados pode conter apenas um tipo de dados.

Dados de sites

Um repositório de dados com dados de sites usa dados indexados de sites públicos. Você pode fornecer um conjunto de padrões de URL que quer incluir no repositório de dados. As páginas da Web que se ajustam aos padrões de URL são chamadas de páginas da Web incluídas. Em seguida, é possível configurar a pesquisa nos dados rastreados das páginas da Web incluídas.

Por exemplo, você pode fornecer padrões de URL como example.com/faq/* e example.com/events/* e ativar a pesquisa nos dados rastreados dessas páginas da Web que se ajustam ao padrão. Esses dados incluem texto, imagens marcadas com metadados e outros dados estruturados, como tags meta, atributos PageMap e dados do schema.org.

Também é possível fornecer padrões de URL para partes de sites que você quer excluir, por exemplo, example.com/events/members-only/* ou example.com/events/past-*. Os URLs excluídos têm prioridade sobre os incluídos.

Há dois tipos de repositórios de dados de sites:

  • Pesquisa básica de sites:

    • Oferece recursos de pesquisa no índice da Pesquisa Google para os sites incluídos.
    • Não exige confirmação de domínio.

  • Indexação avançada de sites:

    • Oferece recursos avançados de pesquisa em um índice gerado com base em um dos seguintes:
      • Os proprietários de apps da Pesquisa do agente podem controlar quais páginas da Web são indexadas enviando sitemaps e mantendo-os. Para mais informações, consulte Indexar e atualizar páginas da Web usando sitemaps. Esse processo mantém o índice atualizado sem intervenção manual.
      • Os proprietários de apps da Pesquisa do agente podem realizar uma indexação inicial que espelha o índice da Pesquisa Google e, em seguida, expandir a cobertura do índice rastreando novamente os sites sempre que necessário, mantendo-o atualizado. Para mais informações, consulte Atualizar páginas da Web. Os recursos avançados da indexação avançada de sites estão listados em Indexação avançada de sites.
    • Exige que os proprietários de repositórios de dados da Pesquisa do agente confirmem os domínios a que os sites incluídos pertencem. Para mais informações, consulte Confirmar domínios de sites.
    • Oferece a capacidade de adicionar dados estruturados ao esquema do repositório de dados. Um site contém dados não estruturados, mas você pode adicionar dados estruturados na forma de tags meta, atributos PageMap e dados do schema.org às suas páginas da Web. Em seguida, é possível usar esses dados estruturados para editar o esquema do repositório de dados , conforme explicado em Usar dados estruturados para indexação avançada de sites.

A seguir

Para pesquisa de sites:

Dados estruturados

Um repositório de dados com dados estruturados permite a pesquisa semântica ou recomendações com dados estruturados. É possível importar dados do BigQuery ou do Cloud Storage. Também é possível fazer upload manual de dados JSON estruturados pela API.

Por exemplo, você pode ativar a pesquisa ou recomendações em um catálogo de produtos para sua experiência de e-commerce ou um diretório de médicos para pesquisa ou recomendações de provedores.

A Pesquisa do agente detecta automaticamente o esquema dos dados importados. Opcionalmente, você pode fornecer um esquema para seus dados. Fornecer um esquema para seus dados normalmente melhora a qualidade dos resultados.

A seguir

Para pesquisa personalizada:

Para recomendações personalizadas:

Dados estruturados para mídia

Os apps de mídia só podem ser conectados a repositórios de dados de mídia. Os repositórios de dados de mídia são repositórios de dados estruturados com um esquema definido pelo Google ou com seu próprio esquema personalizado que contém um conjunto específico de cinco campos relacionados à mídia. Para mais informações sobre o esquema, consulte Sobre documentos de mídia e repositórios de dados.

Por exemplo, você pode ativar as recomendações criando um app de recomendações de mídia para um catálogo de filmes ou um site de notícias para que seus usuários tenham sugestões adequadas e personalizadas.

Além de documentos de mídia, os repositórios de dados de mídia também contêm as informações de eventos do usuário que permitem que a Pesquisa do agente personalize recomendações e pesquisas para seus usuários. Os eventos do usuário são necessários para apps de mídia. Para informações sobre eventos do usuário, consulte Gravar eventos do usuário em tempo real.

A seguir

Dados não estruturados

Um repositório de dados não estruturados permite a pesquisa semântica em dados como documentos e imagens.

Os repositórios de dados não estruturados oferecem suporte a documentos nos formatos TXT, PDF, HTML, DOCX, PPTX, XLSX e XLSM.

A pesquisa fornece resultados na forma de 10 URLs e respostas resumidas para consultas em linguagem natural. Os documentos precisam ser enviados para um bucket do Cloud Storage com as permissões de acesso adequadas. Por exemplo, uma instituição financeira pode ativar a pesquisa no corpus particular de publicações de pesquisa financeira, ou uma empresa de biotecnologia pode ativar a pesquisa ou recomendações no repositório particular de pesquisa médica.

A seguir

Para pesquisa:

Dados de FHIR saúde

Um app de pesquisa de saúde usa dados FHIR R4 importados de um repositório de FHIR da API Cloud Healthcare. Para uma lista de recursos de FHIR R4 compatíveis com a Pesquisa do agente, consulte Referência do esquema de dados FHIR R4 de saúde. Um repositório de dados FHIR R4 precisa atender a alguns requisitos para ser usado como fonte de dados para o repositório de dados da Pesquisa do agente. Para mais informações, consulte como preparar dados FHIR de saúde para ingestão.

A seguir

Sobre a pesquisa combinada

É possível criar um app de pesquisa combinada, em que vários repositórios de dados podem ser conectados a um único app de pesquisa personalizado. Esse recurso permite usar um app para pesquisar várias fontes e tipos de dados.

Para criar um app de pesquisa combinada, selecione vários repositórios de dados ao criar um novo app de pesquisa personalizado. Se você não selecionar vários repositórios de dados durante a criação, não será possível adicionar outros repositórios de dados mais tarde.

Ao receber resultados da pesquisa, você pode pesquisar em todos os repositórios de dados ou filtrar os resultados de um único repositório de dados.

Considere as seguintes limitações:

  • Adição e remoção de repositórios de dados:
    • Para ativar a pesquisa combinada em um app, é necessário conectar pelo menos dois repositórios de dados a ele durante a criação do app.
    • É possível adicionar ou remover repositórios de dados de um app de pesquisa combinada, mas o app não pode ter menos de dois repositórios de dados conectados a ele a qualquer momento.
    • Se você conectar um único repositório de dados a um app de pesquisa durante a criação do app, não será possível adicionar ou remover esse repositório de dados.
  • Os repositórios de dados de sites precisam ter a indexação avançada de sites ativada para serem usados na pesquisa combinada. Para mais informações, consulte Indexação avançada de sites.
  • Os repositórios de dados que contêm dados não estruturados importados usando o BigQuery não são compatíveis.
  • A pesquisa por imagens (usando o params campo com searchType: 1) não é compatível.
  • A pesquisa combinada permite os seguintes campos em solicitações de pesquisa:
    • boostSpec
    • contentSearchSpec
    • dataStoreSpecs
    • facetSpecs
    • filter
    • languageCode
    • offset
    • oneBoxPageSize
    • orderBy
    • query
    • pageSize
    • pageToken
    • relevanceScoreSpec
    • relevanceThreshold
    • session
    • sessionSpec
    • spellCorrectionSpec
    • userInfo
    • userPseudoId
  • A pesquisa combinada permite os seguintes campos em DataStoreSpec:
    • dataStore
    • boostSpec: se houver especificações de aumento definidas para SearchRequest e dataStoreSpecs, ambas as especificações de aumento serão aplicadas aos resultados da pesquisa
    • filter: se houver filtros especificados para SearchRequest e dataStoreSpecs, ambos os filtros serão aplicados aos resultados da pesquisa
  • As operações de criação, leitura, atualização e exclusão (CRUD) em configurações de exibição são compatíveis com apps combinados. Somente os seguintes campos podem ser adicionados ou atualizados em uma configuração de exibição:
    • boostControlIds
    • displayName
    • filterControlIds
    • genericConfig:
      • contentSearchSpec
    • name
    • solutionType
    • synonymsControlIds
  • As operações CRUD nos seguintes controles são compatíveis com apps de pesquisa combinada:
    • boostAction
    • synonymAction
    • filterAction
  • Há um limite de 50 repositórios de dados por app de pesquisa.
  • Se um repositório de dados usar uma configuração de CMEK, todos os outros repositórios de dados também precisarão usar a mesma configuração de CMEK.