Indexar e atualizar páginas da Web usando sitemaps

Se a indexação avançada de sites estiver ativada no seu repositório de dados, você poderá enviar e usar sitemaps para indexar e atualizar as páginas da Web no seu repositório de dados. Esse recurso oferece suporte apenas a sitemaps XML e índices de sitemaps.

Esta página descreve como enviar um sitemap ou índice de sitemap para acionar a indexação e a atualização baseadas em sitemap. Para entender e implementar a atualização automática e manual sem um sitemap, consulte Atualizar páginas da Web.

Além disso, esta página descreve como visualizar os sitemaps no seu repositório de dados ou excluir um sitemap.

Conceitos de atualização baseada em sitemap

Confira alguns conceitos e termos importantes para começar:

  • Protocolo de sitemap: todos os sitemaps e índices de sitemaps com suporte do Agent Search precisam seguir o protocolo de sitemap.

  • Sitemap: um sitemap é um arquivo XML codificado em UTF-8 que contém uma lista de URLs das páginas da Web e dos arquivos de um site. Também contém outras informações importantes, mas opcionais, como a data da última modificação da página e a prioridade dela para um rastreador em relação às outras páginas do site. De acordo com o protocolo de sitemap, um único sitemap pode conter no máximo 50.000 URLs e ter no máximo 50 MB.

  • Índice de sitemap: quando o sitemap exceder o número máximo de URLs ou o tamanho máximo, você poderá criar vários sitemaps e listá-los em um arquivo de índice de sitemaps. De acordo com o protocolo de sitemap, um único índice de sitemap pode aninhar no máximo 50.000 sitemaps e ter no máximo 50 MB.

Você pode enviar um ou mais sitemaps, um ou mais índices de sitemaps ou uma combinação de sitemaps e índices de sitemaps para o Agent Search.

Ao enviar seu sitemap ou índice de sitemap para o repositório de dados do Agent Search, você aciona as seguintes ações:

  • Indexação dos URLs incluídos no índice do seu repositório de dados.

    • Para uma atualização somente de sitemap, essa lista contém apenas os URLs no sitemap ou índice de sitemap que se ajustam ao padrão de URL incluído no seu repositório de dados.
    • Para uma atualização combinada, essa lista contém todos os URLs que o processo de atualização automática descobre.

    Para mais informações sobre esses dois processos de atualização, consulte Métodos de atualização do repositório de dados do site e Atualização somente de sitemap.

  • Atualização diária de todos os URLs adicionados, excluídos e atualizados no sitemap. Um exemplo de URL atualizado é quando você atualiza o campo lastmod de um URL no sitemap.

  • Atualização periódica de URLs inalterados a cada 14 dias.

Métodos de atualização do repositório de dados do site

Você pode escolher uma das seguintes maneiras de incorporar a atualização baseada em sitemap no seu repositório de dados:

  • Atualização somente de sitemap: use a atualização baseada em sitemap exclusivamente desativando a indexação inicial e a atualização automática.
  • Atualização combinada: use a atualização baseada em sitemap com a indexação inicial e a atualização automática.

Você pode atualizar manualmente páginas da Web específicas no índice do seu repositório de dados a qualquer momento, independentemente do método de atualização escolhido.

Atualização somente de sitemap

Ao criar um repositório de dados do site, você precisa fornecer padrões de URL para as páginas da Web que quer incluir no índice do repositório de dados. Por padrão, quando você termina de criar um repositório de dados do site, o Agent Search gera um índice inicial para essas páginas da Web incluídas.

Para repositórios de dados do site com indexação avançada de sites, o processo de indexação inicial faz parte da atualização automática. O processo de indexação inicial indexa todos os URLs incluídos que estão disponíveis na Pesquisa Google. A atualização inicial desses URLs reflete a atualização disponível na Pesquisa Google. Após a indexação inicial, o processo de atualização automática descobre novas páginas e as atualiza da melhor maneira possível. Isso pode resultar em páginas relativamente desatualizadas e um índice maior, porque esse processo descobre URLs que podem estar além do que é necessário.

Em vez disso, você pode optar por realizar a atualização somente de sitemap, que é útil nos seguintes cenários:

  • Você tem um sitemap bem mantido e atualizado.
  • Você tem um site grande e precisa de um controle mais rigoroso sobre quais páginas da Web são indexadas. Isso resulta em um índice mais enxuto e gerenciável.
  • Você precisa atualizar as páginas adicionadas e atualizadas diariamente e remover as páginas excluídas. Isso resulta em um índice mais atualizado que reflete o sitemap.

A tabela a seguir compara os diferentes métodos que atualizam o índice do repositório de dados:

Método de atualização Precisão Intervenção manual Frequência Discovery
Atualização baseada em sitemap Exata. Indexa apenas os URLs nos sitemaps. Não é necessário após o envio do sitemap ou índice de sitemap Diariamente para URLs adicionados, excluídos e atualizados no sitemap. 14 dias para URLs inalterados Não além daqueles especificados no sitemap.
Atualização manual (também conhecida como novo rastreamento) Exata. Indexa apenas os URLs especificados na solicitação de novo rastreamento. Obrigatório Sob demanda Não.
Atualização automática Não exata. O repositório de dados é atualizado da melhor maneira possível. Não obrigatório Aleatório e da melhor maneira possível Sim. Descobre URLs além do que está disponível na Pesquisa Google.

Antes de começar

Antes de enviar um sitemap ou índice de sitemap para o repositório de dados do Agent Search:

  • Crie um sitemap XML ou um índice de sitemap que faça referência a todos os sitemaps do seu site de acordo com o protocolo de sitemap.

  • Para enviar um sitemap ou um índice de sitemap para o repositório de dados do Agent Search, não é necessário enviá-los para a Pesquisa Google.

  • Todos os URLs no seu sitemap que você quer indexar precisam pertencer a domínios públicos verificados no seu repositório de dados. Para mais informações, consulte Verificar domínios de sites.

  • O URI do sitemap ou o URI do índice de sitemap com os URIs de sitemap aninhados precisam estar disponíveis publicamente.

  • Se você usar o arquivo robots.txt no seu site, atualize-o. Para mais informações, consulte como preparar o arquivo do seu siterobots.txt.

Enviar um sitemap ou índice de sitemap para um repositório de dados

Para acionar a indexação e a atualização das páginas da Web incluídas no seu repositório de dados, siga estas etapas:

  1. Decida se você quer realizar uma atualização somente de sitemap ou uma atualização combinada com outros métodos.

  2. Para realizar uma atualização somente de sitemap, siga esta etapa. Caso contrário, pule para a próxima etapa.

    Não é possível usar um repositório de dados que já tenha indexação e atualização inicial. Você precisa criar um novo repositório de dados desativando a indexação inicial e a atualização automática usando a AdvancedSiteSearchConfig configuração.

    REST

    Crie um repositório de dados em que apenas a atualização do sitemap esteja ativada. Isso é feito desativando o índice inicial e a atualização automática.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID&createAdvancedSiteSearch=true" \
-d '{
   "displayName": "DATA_STORE_DISPLAY_NAME",
   "industryVertical": "GENERIC",
   "content_config": "PUBLIC_WEBSITE",
   "searchTier": "ENTERPRISE",
   "advancedSiteSearchConfig": {
      "disableInitialIndex": true,
      "disableAutomaticRefresh": true,
   }
}'

    Observação: definir disableAutomaticRefresh como true desativa apenas a atualização automática baseada em descoberta. Isso não afeta a atualização automática diária que ocorre com base no sitemap fornecido (verificando mudanças como o campo lastmod).

    Substitua:

    • PROJECT_ID: o ID do Google Cloud projeto.
    • DATA_STORE_ID: o ID do repositório de dados do Agent Search que você quer criar. Esse ID pode conter apenas letras minúsculas, dígitos, sublinhados e hifens.
    • DATA_STORE_DISPLAY_NAME: o nome de exibição do repositório de dados do Agent Search que você quer criar.

  3. Atualize os padrões de URL dos sites para incluir e excluir no seu repositório de dados. Para mais informações, Crie um repositório de dados usando o conteúdo do site.

  4. Verifique os domínios das páginas da Web incluídas no seu repositório de dados.

  5. Se você escolher a atualização somente de sitemap ou uma atualização combinada refresh, envie um URI de sitemap ou índice de sitemap para um repositório de dados usando o sitemaps.create método.

    REST

    Envie um sitemap ou índice de sitemap.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_NUMBER" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_NUMBER/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine/sitemaps?sitemap.uri=SITEMAP_URI"

    Substitua:

    • PROJECT_ID: o ID do Google Cloud projeto.
    • DATA_STORE_ID: o ID do repositório de dados do Agent Search.
    • SITEMAP_URI: o URI público do sitemap individual ou do índice de sitemap que você quer enviar. Ao enviar um índice de sitemap, é suficiente enviar o URI do índice de sitemap. O Agent Search indexa automaticamente os URLs incluídos em todos os sitemaps aninhados no índice de sitemap.

    Depois de enviar o sitemap ou índice de sitemap para o repositório de dados, o Agent Search aciona o seguinte:

    • Uma indexação dos URLs qualificados no sitemap, ou seja, aqueles que estão incluídos no seu repositório de dados. Esse processo leva algumas horas em média para ser concluído. Sitemaps maiores podem levar mais tempo para indexar.
    • Uma atualização diária das páginas da Web com URLs qualificados.

    Para saber como as modificações no sitemap ou índice de sitemap afetam a atualização, consulte Mudanças no sitemap e no índice de sitemap.

  6. Visualize os sitemaps no seu repositório de dados.

Mudanças no sitemap e no índice de sitemap

Após o envio inicial, o Agent Search detecta modificações no sitemap ou índice de sitemap diariamente e processa essas modificações da seguinte maneira:

  • Mudanças em um sitemap:
    • Quando você adiciona URLs: os URLs que correspondem ao padrão de URLs incluídos para o repositório de dados são adicionados ao índice e atualizados diariamente.
    • Quando você remove URLs: se os URLs removidos estiverem no índice, eles serão removidos do índice e não serão mais atualizados.
    • Quando você atualiza os URLs atuais, por exemplo, quando atualiza o campo lastmod de um URL no sitemap: todos os URLs atualizados que correspondem ao padrão de URLs incluídos para o repositório de dados são atualizados. A atualização geralmente ocorre em até 24 horas após a atualização.
  • Mudanças em um índice de sitemap:
    • Quando você adiciona um sitemap: os URLs no novo sitemap que correspondem ao padrão de URLs incluídos para o repositório de dados são adicionados ao índice e atualizados diariamente.
    • Quando você remove um sitemap: os URLs que correspondem ao padrão de URLs incluídos para o repositório de dados não são mais atualizados. No entanto, eles ainda permanecem no índice. Para remover o sitemap e os URLs do índice, consulte Remover um sitemap e os URLs do índice.

Listar os sitemaps e índices de sitemaps em um repositório de dados

Para listar todos os sitemaps e índices de sitemaps em um repositório de dados, use o sitemaps.fetch método. Se você tiver enviado um índice de sitemap, esse método retornará o índice de sitemap e não os sitemaps aninhados individuais. Se não houver sitemaps no repositório de dados, essa solicitação retornará um arquivo JSON vazio.

REST

Liste os sitemaps e índices de sitemaps em um repositório de dados.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine/sitemaps:fetch"

Substitua:

  • PROJECT_ID: o ID do Google Cloud projeto.
  • DATA_STORE_ID: o ID do repositório de dados do Agent Search.

Verificar se um sitemap ou índice de sitemap está presente em um repositório de dados

Para verificar se um sitemap ou índice de sitemap está presente em um repositório de dados, use o método sitemaps.fetch. Se o sitemap ou índice de sitemap para o qual você está verificando for enviado ao repositório de dados, a resposta vai conter o nome e o URI do sitemap. Se você tiver enviado um índice de sitemap, a verificação de sitemaps individuais dentro do índice de sitemap não retornará os resultados corretos.

REST

Verifique um sitemap ou índice de sitemap em um repositório de dados.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine/sitemaps:fetch?matcher.uris_matcher.uris=SITEMAP_URI_1&matcher.uris_matcher.uris=SITEMAP_URI_2"

Substitua:

  • PROJECT_ID: o ID do Google Cloud projeto.
  • DATA_STORE_ID: o ID do repositório de dados do Agent Search.
  • SITEMAP_URI_N: o URI público do sitemap ou o índice de sitemap que você quer verificar no repositório de dados.

Excluir um sitemap ou índice de sitemap do repositório de dados

Para excluir um sitemap do repositório de dados, use o sitemap.delete método. A exclusão de um sitemap não remove os URLs do índice. Para remover o sitemap e os URLs do índice, consulte Remover um sitemap e os URLs do índice.

REST

Exclua um sitemap ou índice de sitemap.

curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine/sitemaps/SITEMAP_ID"

Substitua:

Remover um sitemap ou um índice de sitemap e os URLs do índice do repositório de dados

Para remover um sitemap ou um índice de sitemap e os URLs do índice, siga estas etapas:

  1. Esvazie o sitemap ou o índice de sitemap que foi enviado ao repositório de dados removendo todos os URLs.

    Se você enviou um índice de sitemap para o repositório de dados, esvazie os sitemaps aninhados removendo todos os URLs e remova o sitemap do índice de sitemap.

  2. Aguarde um período de 48 horas para que o Agent Search processe essas mudanças e remova os URLs do índice do repositório de dados.

  3. Exclua o sitemap ou o índice de sitemap.