Indexer et actualiser des pages Web à l'aide de sitemaps

Si l'indexation avancée de sites Web est activée dans votre data store, vous pouvez envoyer et utiliser des sitemaps pour indexer et actualiser les pages Web de votre data store. Cette fonctionnalité n'est compatible qu'avec les sitemaps XML et les index de sitemaps.

Cette page explique comment envoyer un sitemap ou un index de sitemaps pour déclencher l'indexation et l'actualisation basées sur un sitemap. Pour comprendre et implémenter l'actualisation automatique et manuelle sans sitemap, consultez Actualiser des pages Web.

Cette page explique également comment afficher les sitemaps de votre data store ou en supprimer un.

Concepts d'actualisation basée sur un sitemap

Voici quelques concepts et termes clés pour vous aider à démarrer :

  • Protocole Sitemap : tous les sitemaps et index de sitemaps compatibles avec Agent Search doivent suivre le protocole Sitemap.

  • Sitemap : un sitemap est un fichier XML encodé en UTF-8 qui contient une liste d' URL des pages Web et des fichiers de votre site. Il inclut également d'autres informations importantes, mais facultatives, telles que la date de la dernière modification de la page Web et sa priorité pour un robot d'exploration par rapport aux autres pages de votre site. Selon le protocole Sitemap, un sitemap unique peut contenir un maximum de 50 000 URL et ne pas dépasser 50 Mo.

  • Index de sitemaps : lorsque votre sitemap dépasse le nombre maximal d'URL ou la taille maximale, vous pouvez créer plusieurs sitemaps et les répertorier dans un fichier d'index de sitemaps. Selon le protocole Sitemap, un index de sitemaps unique peut imbriquer un maximum de 50 000 sitemaps et ne pas dépasser 50 Mo.

Vous pouvez envoyer un ou plusieurs sitemaps, un ou plusieurs index de sitemaps, ou une combinaison de sitemaps et d'index de sitemaps à Agent Search.

Lorsque vous envoyez votre sitemap ou index de sitemaps au data store Agent Search, vous déclenchez les actions suivantes :

  • Indexation des URL incluses dans l'index de votre data store.

    • Pour une actualisation uniquement basée sur un sitemap, cette liste ne contient que les URL du sitemap ou de l'index de sitemaps qui correspondent au format d'URL inclus dans votre data store.
    • Pour une actualisation combinée, cette liste contient toutes les URL que le processus d'actualisation automatique détecte.

    Pour en savoir plus sur ces deux processus d'actualisation, consultez Méthodes d'actualisation des data store Web et Actualisation uniquement basée sur un sitemap.

  • Actualisation quotidienne de toutes les URL ajoutées, supprimées et mises à jour dans le sitemap. Par exemple, une URL est mise à jour lorsque vous modifiez le champ lastmod d'une URL dans le sitemap.

  • Actualisation périodique des URL inchangées tous les 14 jours.

Méthodes d'actualisation des data store de sites Web

Vous pouvez choisir l'une des méthodes suivantes pour intégrer l'actualisation basée sur un sitemap dans votre data store :

  • Actualisation uniquement basée sur un sitemap : utilisez exclusivement l'actualisation basée sur un sitemap en désactivant l'indexation initiale et l'actualisation automatique.
  • Actualisation combinée : utilisez l'actualisation basée sur un sitemap avec l'indexation initiale et l'actualisation automatique.

Vous pouvez actualiser manuellement des pages Web spécifiques dans l'index de votre data store à tout moment, quelle que soit la méthode d'actualisation choisie.

Actualisation uniquement basée sur un sitemap

Lorsque vous créez un data store de site Web, vous devez fournir des modèles d'URL pour les pages Web que vous souhaitez inclure dans l'index de votre data store. Par défaut, lorsque vous avez terminé de créer un data store de site Web, Agent Search génère un index initial pour ces pages Web incluses.

Pour les datastores de sites Web avec indexation avancée de sites Web, le processus d'indexation initiale fait partie de l'actualisation automatique. Le processus d'indexation initiale indexe toutes les URL incluses disponibles dans la recherche Google. La fraîcheur initiale de ces URL reflète la fraîcheur disponible dans la recherche Google. Après l'indexation initiale, le processus d'actualisation automatique détecte les nouvelles pages et les actualise au mieux. Cela peut entraîner des pages relativement obsolètes et un index plus volumineux, car ce processus détecte des URL qui peuvent dépasser les besoins.

Vous pouvez également choisir d'effectuer une actualisation uniquement basée sur un sitemap, ce qui est utile dans les cas suivants :

  • Vous disposez d'un sitemap bien géré et à jour.
  • Vous possédez un site Web volumineux et vous avez besoin d'un contrôle plus strict sur les pages Web indexées. Cela permet d'obtenir un index plus léger et gérable.
  • Vous devez actualiser quotidiennement les pages ajoutées et mises à jour, et supprimer les pages supprimées. Cela permet d'obtenir un index plus récent qui reflète le sitemap.

Le tableau suivant compare les différentes méthodes d'actualisation de l'index du data store :

Méthode d'actualisation Précision Intervention manuelle Fréquence Découverte
Actualisation basée sur un sitemap Exacte. N'indexe que les URL des sitemaps. Non requise après l'envoi du sitemap ou de l'index de sitemaps Quotidienne pour les URL ajoutées, supprimées et mises à jour dans le sitemap. 14 jours pour les URL inchangées Ne dépasse pas celles spécifiées dans le sitemap.
Actualisation manuelle (également appelée réexploration) Exacte. N'indexe que les URL spécifiées dans la demande de réexploration. Obligatoire À la demande Non.
Actualisation automatique Non exacte. Le data store est actualisé au mieux. Non requise Aléatoire et au mieux Oui. Détecte les URL au-delà de ce qui est disponible dans la recherche Google.

Avant de commencer

Avant d'envoyer un sitemap ou un index de sitemaps au data store Agent Search :

  • Créez un sitemap XML ou un index de sitemaps qui référence tous les sitemaps de votre site Web conformément au protocole Sitemap.

  • Sachez qu'il n'est pas nécessaire d'envoyer un sitemap ou un index de sitemaps à la recherche Google pour l'envoyer au data store Agent Search.

  • Toutes les URL de votre sitemap que vous souhaitez indexer doivent appartenir à des domaines publics validés dans votre data store. Pour en savoir plus, consultez Valider des domaines de sites Web.

  • L'URI du sitemap (ou l'URI de l'index de sitemaps avec les URI de sitemaps imbriqués) doit être accessible au public et au Googlebot user-agent. Contrairement à l'exploration de pages Web, qui utilise le user-agent Google-CloudVertexBot, Agent Search utilise Googlebot pour récupérer le fichier sitemap. Si votre fichier robots.txt, votre CDN ou votre pare-feu bloque Googlebot à partir de l'URI du sitemap, Agent Search ne peut pas récupérer le sitemap, et ses URL ne sont ni indexées ni actualisées via le sitemap, même lorsque Google-CloudVertexBot explore vos pages Web.

  • Si vous utilisez le fichier robots.txt sur votre site Web, mettez-le à jour pour autoriser à la fois le user-agent Google-CloudVertexBot (pour explorer et indexer vos pages Web) et le user-agent Googlebot (pour récupérer votre sitemap). Pour en savoir plus, consultez comment préparer le fichier robots.txt de votre site Web.

Envoyer un sitemap ou un index de sitemaps à un data store

Pour déclencher l'indexation et l'actualisation des pages Web incluses dans votre datastore, procédez comme suit :

  1. Décidez si vous souhaitez effectuer une actualisation uniquement basée sur un sitemap ou une actualisation combinée avec d'autres méthodes.

  2. Pour effectuer une actualisation uniquement basée sur un sitemap, suivez cette étape. Sinon, passez à l'étape suivante.

    Vous ne pouvez pas utiliser un data store existant qui comporte une indexation et une actualisation initiales. Vous devez créer un datastore en désactivant l'indexation initiale et l'actualisation automatique à l'aide de la AdvancedSiteSearchConfig configuration.

    REST

    Créez un data store dans lequel seule l'actualisation du sitemap est activée. Pour ce faire, désactivez l'index initial et l'actualisation automatique.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID&createAdvancedSiteSearch=true" \
-d '{
   "displayName": "DATA_STORE_DISPLAY_NAME",
   "industryVertical": "GENERIC",
   "content_config": "PUBLIC_WEBSITE",
   "searchTier": "ENTERPRISE",
   "advancedSiteSearchConfig": {
      "disableInitialIndex": true,
      "disableAutomaticRefresh": true,
   }
}'

    Remarque : Définir disableAutomaticRefresh sur true ne désactive que l'actualisation automatique basée sur la détection. Cela n'affecte pas l'actualisation automatique quotidienne basée sur le sitemap fourni (recherche de modifications telles que le champ lastmod).

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre Google Cloud projet.
    • DATA_STORE_ID : ID du data store Agent Search que vous souhaitez créer. Cet ID ne peut contenir que des lettres minuscules, des chiffres, des traits de soulignement et des traits d'union.
    • DATA_STORE_DISPLAY_NAME : nom à afficher pour le data store Agent Search que vous souhaitez créer.

  3. Mettez à jour les modèles d'URL des sites à inclure et à exclure dans votre datastore. Pour en savoir plus, consultez Créer un data store à l'aide du contenu d'un site Web.

  4. Validez les domaines des pages Web incluses dans votre data store.

  5. Que vous choisissiez une actualisation uniquement basée sur un sitemap ou une actualisation combinée actualisation, envoyez un sitemap ou un URI d'index de sitemaps à un data store à l'aide de la sitemaps.create méthode.

    REST

    Envoyez un sitemap ou un index de sitemaps.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_NUMBER" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_NUMBER/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine/sitemaps?sitemap.uri=SITEMAP_URI"

    Remplacez les éléments suivants :

    • PROJECT_ID : ID de votre Google Cloud projet.
    • DATA_STORE_ID : ID du data store Agent Search.
    • SITEMAP_URI : URI public du sitemap individuel ou de l'index de sitemaps que vous souhaitez envoyer. Lorsque vous envoyez un index de sitemaps, il suffit d'envoyer l'URI de l'index de sitemaps. Agent Search indexe automatiquement les URL incluses dans tous les sitemaps imbriqués dans l'index de sitemaps.

    Une fois que vous avez envoyé le sitemap ou l'index de sitemaps au data store, Agent Search déclenche les actions suivantes :

    • Indexation des URL éligibles dans le sitemap, c'est-à-dire celles incluses dans votre data store. Ce processus prend en moyenne quelques heures. L'indexation des sitemaps plus volumineux peut prendre plus de temps.
    • Actualisation quotidienne des pages Web avec des URL éligibles.

    Pour savoir comment les modifications apportées au sitemap ou à l'index de sitemaps affectent l'actualisation, consultez Modifications apportées au sitemap et à l'index de sitemaps.

  6. Affichez les sitemaps dans votre data store.

Modifications apportées au sitemap et à l'index de sitemaps

Après l'envoi initial, Agent Search détecte quotidiennement les modifications apportées à votre sitemap ou à votre index de sitemaps et les gère de la manière suivante :

  • Modifications apportées à un sitemap :
    • Lorsque vous ajoutez des URL : les URL qui correspondent au modèle d'URL inclus pour le datastore sont ajoutées à l'index et actualisées quotidiennement.
    • Lorsque vous supprimez des URL : si les URL supprimées se trouvent dans l'index, elles sont supprimées de l'index et ne sont plus actualisées.
    • Lorsque vous mettez à jour les URL existantes, par exemple lorsque vous modifiez le champ lastmod d'une URL dans le sitemap : toutes les URL mises à jour qui correspondent au modèle d'URL inclus pour le data store sont actualisées. L'actualisation a généralement lieu dans les 24 heures suivant la mise à jour.
  • Modifications apportées à un index de sitemaps :
    • Lorsque vous ajoutez un sitemap : les URL du nouveau sitemap qui correspondent au modèle d'URL inclus pour le data store sont ajoutées à l'index et actualisées quotidiennement.
    • Lorsque vous supprimez un sitemap : les URL qui correspondent au modèle d'URL inclus pour le data store ne sont plus actualisées. Toutefois, elles restent dans l'index. Pour supprimer le sitemap et ses URL de l'index, consultez Supprimer un sitemap et ses URL de l'index.

Répertorier les sitemaps et les index de sitemaps dans un data store

Pour répertorier tous les sitemaps et index de sitemaps dans un data store, utilisez la sitemaps.fetch méthode. Si vous avez envoyé un index de sitemaps, cette méthode renvoie l'index de sitemaps et non les sitemaps imbriqués individuels. S'il n'y a pas de sitemaps dans le data store, cette requête renvoie un fichier JSON vide.

REST

Répertoriez les sitemaps et les index de sitemaps dans un data store.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine/sitemaps:fetch"

Remplacez les éléments suivants :

  • PROJECT_ID : ID de votre Google Cloud projet.
  • DATA_STORE_ID : ID du data store Agent Search.

Vérifier si un sitemap ou un index de sitemaps est présent dans un data store

Pour vérifier si un sitemap ou un index de sitemaps est présent dans un data store, utilisez la méthode sitemaps.fetch. Si le sitemap ou l'index de sitemaps que vous vérifiez est envoyé au data store, la réponse contient le nom du sitemap et l'URI du sitemap. Si vous avez envoyé un index de sitemaps, la vérification des sitemaps individuels dans l'index de sitemaps ne renverra pas les résultats corrects.

REST

Recherchez un sitemap ou un index de sitemaps dans un data store.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine/sitemaps:fetch?matcher.uris_matcher.uris=SITEMAP_URI_1&matcher.uris_matcher.uris=SITEMAP_URI_2"

Remplacez les éléments suivants :

  • PROJECT_ID : ID de votre Google Cloud projet.
  • DATA_STORE_ID : ID du data store Agent Search.
  • SITEMAP_URI_N : URI public du sitemap ou de l'index de sitemaps que vous souhaitez vérifier dans le data store.

Supprimer un sitemap ou un index de sitemaps du data store

Pour supprimer un sitemap du data store, utilisez la sitemap.delete méthode. La suppression d'un sitemap ne supprime pas ses URL de l'index. Pour supprimer le sitemap et ses URL de l'index, consultez Supprimer un sitemap et ses URL de l'index.

REST

Supprimez un sitemap ou un index de sitemaps.

curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine/sitemaps/SITEMAP_ID"

Remplacez les éléments suivants :

Supprimer un sitemap ou un index de sitemaps et ses URL de l'index du data store

Pour supprimer un sitemap ou un index de sitemaps et ses URL de l'index, procédez comme suit :

  1. Videz le sitemap ou l'index de sitemaps envoyé au data store en supprimant toutes ses URL.

    Si vous avez envoyé un index de sitemaps au data store, videz les sitemaps imbriqués en supprimant toutes les URL et supprimez le sitemap de l'index de sitemaps.

  2. Attendez 48 heures pour qu'Agent Search traite ces modifications et supprime les URL de l'index du data store.

  3. Supprimez le sitemap ou l'index de sitemaps.