Mengindeks dan memuat ulang halaman web menggunakan peta situs

Jika pengindeksan situs lanjutan diaktifkan di penyimpanan data Anda, Anda dapat mengirimkan dan menggunakan peta situs untuk mengindeks dan memuat ulang halaman web di penyimpanan data Anda. Fitur ini hanya mendukung peta situs XML dan indeks peta situs.

Halaman ini menjelaskan cara mengirimkan peta situs atau indeks peta situs untuk memicu pengindeksan dan pemuatan ulang berbasis peta situs. Untuk memahami dan menerapkan pemuatan ulang otomatis dan manual tanpa peta situs, lihat Memuat ulang halaman web.

Selain itu, halaman ini menjelaskan cara melihat peta situs di penyimpanan data Anda atau menghapus peta situs.

Konsep pemuatan ulang berbasis peta situs

Berikut beberapa konsep dan istilah utama yang akan membantu Anda memulai:

  • Protokol peta situs: Semua peta situs dan indeks peta situs yang didukung Agent Search harus mengikuti protokol peta situs.

  • Peta situs: Peta situs adalah file XML berenkode UTF-8 yang berisi daftar URL halaman web dan file di situs Anda dengan informasi penting lainnya, tetapi bersifat opsional, seperti tanggal modifikasi terakhir halaman web dan prioritas halaman web untuk crawler terhadap halaman web lain di situs Anda. Menurut protokol peta situs, satu peta situs dapat berisi maksimum 50.000 URL dan ukurannya maksimum 50 MB.

  • Indeks peta situs: Jika peta situs Anda melebihi URL maksimum atau ukuran maksimum, Anda dapat membuat beberapa peta situs dan mencantumkan peta situs ini dalam indeks peta situs file. Menurut protokol peta situs, satu indeks peta situs dapat menyertakan maksimum 50.000 peta situs dan ukurannya maksimum 50 MB.

Anda dapat mengirimkan satu atau beberapa peta situs, satu atau beberapa indeks peta situs, atau kombinasi peta situs dan indeks peta situs ke Agent Search.

Saat Anda mengirimkan peta situs atau indeks peta situs ke penyimpanan data Agent Search, Anda akan memicu tindakan berikut:

  • Pengindeksan URL yang disertakan dalam indeks penyimpanan data Anda.

    • Untuk pemuatan ulang khusus peta situs, daftar ini hanya berisi URL dalam peta situs atau indeks peta situs yang sesuai dengan pola URL yang disertakan dalam penyimpanan data Anda.
    • Untuk pemuatan ulang kombinasi, daftar ini berisi semua URL yang ditemukan oleh proses pemuatan ulang otomatis.

    Untuk mengetahui informasi selengkapnya tentang dua proses pemuatan ulang ini, lihat Metode pemuatan ulang penyimpanan data situs dan Pemuatan ulang khusus peta situs.

  • Pemuatan ulang harian untuk URL yang ditambahkan, dihapus, dan diperbarui ke peta situs. Contoh URL yang diperbarui adalah saat Anda memperbarui kolom lastmod URL di peta situs.

  • Pemuatan ulang berkala untuk URL yang tidak berubah setiap 14 hari.

Metode pemuatan ulang penyimpanan data situs

Anda dapat memilih salah satu cara berikut untuk menggabungkan pemuatan ulang berbasis peta situs di penyimpanan data Anda:

  • Pemuatan ulang khusus peta situs: Gunakan pemuatan ulang berbasis peta situs secara eksklusif dengan menonaktifkan pengindeksan awal dan pemuatan ulang otomatis.
  • Pemuatan ulang kombinasi: Gunakan pemuatan ulang berbasis peta situs dengan pengindeksan awal dan pemuatan ulang otomatis.

Anda dapat memuat ulang secara manual halaman web tertentu dalam indeks penyimpanan data Anda kapan saja, terlepas dari metode pemuatan ulang yang Anda pilih.

Pemuatan ulang khusus peta situs

Saat membuat penyimpanan data situs, Anda harus memberikan pola URL untuk halaman web yang ingin disertakan dalam indeks penyimpanan data Anda. Secara default, saat Anda selesai membuat penyimpanan data situs, Agent Search akan membuat indeks awal untuk halaman web yang disertakan ini.

Untuk penyimpanan data situs dengan pengindeksan situs lanjutan, proses pengindeksan awal adalah bagian dari pemuatan ulang otomatis. Proses pengindeksan awal mengindeks semua URL yang disertakan dan tersedia di Google Penelusuran. Keaktualan awal URL ini mencerminkan keaktualan yang tersedia di Google Penelusuran. Setelah pengindeksan awal, proses pemuatan ulang otomatis akan menemukan halaman baru dan memuat ulang halaman tersebut berdasarkan upaya terbaik. Hal ini dapat menyebabkan halaman yang relatif tidak aktif dan indeks yang lebih besar karena proses ini menemukan URL yang mungkin berada di luar yang diperlukan.

Sebagai gantinya, Anda dapat memilih untuk melakukan pemuatan ulang khusus peta situs, yang berguna dalam skenario berikut:

  • Anda memiliki peta situs yang dikelola dengan baik dan selalu diperbarui.
  • Anda memiliki situs besar dan memerlukan kontrol yang lebih ketat atas halaman web yang diindeks. Hal ini menghasilkan indeks yang lebih ramping dan mudah dikelola.
  • Anda perlu memuat ulang halaman yang ditambahkan dan diperbarui setiap hari, serta menghapus halaman yang dihapus. Hal ini menghasilkan indeks yang lebih baru yang mencerminkan peta situs.

Tabel berikut membandingkan berbagai metode yang memuat ulang indeks penyimpanan data:

Metode pemuatan ulang Presisi Intervensi manual Frekuensi Discovery
Pemuatan ulang berbasis peta situs Tepat. Hanya mengindeks URL di peta situs. Tidak diperlukan setelah mengirimkan peta situs atau indeks peta situs Harian untuk URL yang ditambahkan, dihapus, diperbarui di peta situs. 14 hari untuk URL yang tidak berubah Tidak melebihi yang ditentukan dalam peta situs.
Pemuatan ulang manual (juga dikenal sebagai crawl ulang) Tepat. Hanya mengindeks URL yang ditentukan dalam permintaan crawl ulang. Diperlukan Sesuai permintaan Tidak.
Pemuatan ulang otomatis Tidak tepat. Penyimpanan data dimuat ulang berdasarkan upaya terbaik. Tidak diperlukan Acak dan berdasarkan upaya terbaik Ya. Menemukan URL di luar yang tersedia di Google Penelusuran.

Sebelum memulai

Sebelum Anda mengirimkan peta situs atau indeks peta situs ke penyimpanan data Agent Search:

  • Buat peta situs XML atau indeks peta situs yang mereferensikan semua peta situs untuk situs Anda sesuai dengan protokol peta situs.

  • Pahami bahwa untuk mengirimkan peta situs atau indeks peta situs ke penyimpanan data Agent Search, Anda tidak perlu mengirimkannya ke Google Penelusuran.

  • Semua URL di peta situs yang ingin Anda indeks harus berasal dari domain publik yang diverifikasi di penyimpanan data Anda. Untuk mengetahui informasi selengkapnya, lihat Memverifikasi domain situs.

  • URI peta situs atau URI indeks peta situs dengan URI peta situs bertingkat harus tersedia secara publik.

  • Jika Anda menggunakan file robots.txt di situs Anda, perbarui file tersebut. Untuk mengetahui informasi selengkapnya, lihat cara menyiapkan file robots.txtsitus Anda.

Mengirimkan peta situs atau indeks peta situs ke penyimpanan data

Untuk memicu pengindeksan dan pemuatan ulang halaman web yang disertakan di penyimpanan data Anda, ikuti langkah-langkah berikut:

  1. Tentukan apakah Anda ingin melakukan pemuatan ulang khusus peta situs atau pemuatan ulang kombinasi dengan metode lain.

  2. Untuk melakukan pemuatan ulang khusus peta situs, ikuti langkah ini, jika tidak, lewati ke langkah berikutnya.

    Anda tidak dapat menggunakan penyimpanan data yang sudah ada yang memiliki pengindeksan dan pemuatan ulang awal. Anda harus membuat penyimpanan data baru dengan menonaktifkan pengindeksan awal dan pemuatan ulang otomatis menggunakan konfigurasi AdvancedSiteSearchConfig.

    REST

    Buat penyimpanan data yang hanya mengaktifkan pemuatan ulang peta situs. Hal ini dilakukan dengan menonaktifkan indeks awal dan pemuatan ulang otomatis.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID&createAdvancedSiteSearch=true" \
-d '{
   "displayName": "DATA_STORE_DISPLAY_NAME",
   "industryVertical": "GENERIC",
   "content_config": "PUBLIC_WEBSITE",
   "searchTier": "ENTERPRISE",
   "advancedSiteSearchConfig": {
      "disableInitialIndex": true,
      "disableAutomaticRefresh": true,
   }
}'

    Catatan: Menetapkan disableAutomaticRefresh ke true hanya akan menonaktifkan pemuatan ulang otomatis berbasis penemuan. Tindakan ini tidak memengaruhi pemuatan ulang otomatis harian yang terjadi berdasarkan peta situs yang diberikan (memeriksa perubahan seperti kolom lastmod).

    Ganti kode berikut:

    • PROJECT_ID: ID proyek Anda Google Cloud .
    • DATA_STORE_ID: ID penyimpanan data Agent Search yang ingin Anda buat. ID ini hanya dapat berisi huruf kecil, digit, garis bawah, dan tanda hubung.
    • DATA_STORE_DISPLAY_NAME: nama tampilan penyimpanan data Agent Search yang ingin Anda buat.

  3. Perbarui pola URL situs yang akan disertakan dan dikecualikan di penyimpanan data Anda. Untuk mengetahui informasi selengkapnya, lihat Membuat penyimpanan data menggunakan konten situs.

  4. Verifikasi domain halaman web yang disertakan di penyimpanan data Anda.

  5. Baik Anda memilih pemuatan ulang khusus peta situs atau pemuatan ulang kombinasi refresh, kirimkan URI peta situs atau indeks peta situs ke penyimpanan data menggunakan metode sitemaps.create.

    REST

    Kirimkan peta situs atau indeks peta situs.

    curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: PROJECT_NUMBER" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_NUMBER/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine/sitemaps?sitemap.uri=SITEMAP_URI"

    Ganti kode berikut:

    • PROJECT_ID: ID proyek Anda Google Cloud .
    • DATA_STORE_ID: ID penyimpanan data Agent Search.
    • SITEMAP_URI: URI publik untuk peta situs individual atau indeks peta situs yang ingin Anda kirimkan. Saat Anda mengirimkan a indeks peta situs, cukup kirimkan URI indeks peta situs. Agent Search akan otomatis mengindeks URL yang disertakan di semua peta situs yang berada dalam indeks peta situs.

    Setelah Anda mengirimkan peta situs atau indeks peta situs ke penyimpanan data, Agent Search akan memicu hal berikut:

    • Pengindeksan URL yang memenuhi syarat di peta situs—URL yang disertakan di penyimpanan data Anda. Proses ini memerlukan waktu rata-rata beberapa jam untuk diselesaikan. Peta situs yang lebih besar memerlukan waktu lebih lama untuk diindeks.
    • Pemuatan ulang harian halaman web dengan URL yang memenuhi syarat.

    Untuk mengetahui pengaruh modifikasi pada peta situs atau indeks peta situs terhadap pemuatan ulang, lihat Perubahan pada peta situs dan indeks peta situs.

  6. Lihat peta situs di penyimpanan data Anda.

Perubahan pada peta situs dan indeks peta situs

Setelah pengiriman awal, Agent Search akan mendeteksi modifikasi di peta situs atau indeks peta situs Anda setiap hari dan menangani modifikasi ini dengan cara berikut:

  • Perubahan pada peta situs:
    • Saat Anda menambahkan URL: URL yang cocok dengan pola URL yang disertakan untuk penyimpanan data akan ditambahkan ke indeks dan dimuat ulang setiap hari.
    • Saat Anda menghapus URL: Jika URL yang dihapus ada dalam indeks, URL tersebut akan dihapus dari indeks dan tidak lagi dimuat ulang.
    • Saat Anda memperbarui URL yang ada—misalnya, saat Anda memperbarui kolom lastmod untuk URL di peta situs: URL yang diperbarui yang cocok dengan pola URL yang disertakan untuk penyimpanan data akan dimuat ulang. Pemuatan ulang biasanya terjadi dalam waktu 24 jam setelah pembaruan.
  • Perubahan pada indeks peta situs:
    • Saat Anda menambahkan peta situs: URL di peta situs baru yang cocok dengan pola URL yang disertakan untuk penyimpanan data akan ditambahkan ke indeks dan dimuat ulang setiap hari.
    • Saat Anda menghapus peta situs: URL yang cocok dengan pola URL yang disertakan untuk penyimpanan data tidak lagi dimuat ulang. Namun, URL tersebut masih ada dalam indeks. Untuk menghapus peta situs dan URL-nya dari indeks, lihat Menghapus peta situs dan URL-nya dari indeks.

Mencantumkan peta situs dan indeks peta situs di penyimpanan data

Untuk mencantumkan semua peta situs dan indeks peta situs di penyimpanan data, gunakan metode sitemaps.fetch. Jika Anda telah mengirimkan indeks peta situs, metode ini akan menampilkan indeks peta situs, bukan peta situs bertingkat individual. Jika tidak ada peta situs di penyimpanan data, permintaan ini akan menampilkan file JSON kosong.

REST

Mencantumkan peta situs dan indeks peta situs di penyimpanan data.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine/sitemaps:fetch"

Ganti kode berikut:

  • PROJECT_ID: ID proyek Anda Google Cloud .
  • DATA_STORE_ID: ID penyimpanan data Agent Search.

Memeriksa apakah peta situs atau indeks peta situs ada di penyimpanan data

Untuk memeriksa apakah peta situs atau indeks peta situs ada di penyimpanan data, gunakan metode sitemaps.fetch. Jika peta situs atau indeks peta situs yang Anda periksa dikirimkan ke penyimpanan data, respons akan berisi nama peta situs dan URI peta situs. Jika Anda telah mengirimkan indeks peta situs, memeriksa peta situs individual dalam indeks peta situs tidak akan menampilkan hasil yang benar.

REST

Memeriksa peta situs atau indeks peta situs di penyimpanan data.

curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine/sitemaps:fetch?matcher.uris_matcher.uris=SITEMAP_URI_1&matcher.uris_matcher.uris=SITEMAP_URI_2"

Ganti kode berikut:

  • PROJECT_ID: ID proyek Anda Google Cloud .
  • DATA_STORE_ID: ID penyimpanan data Agent Search.
  • SITEMAP_URI_N: URI publik peta situs atau indeks peta situs yang ingin Anda periksa di penyimpanan data.

Menghapus peta situs atau indeks peta situs dari penyimpanan data

Untuk menghapus peta situs dari penyimpanan data, gunakan metode sitemap.delete. Menghapus peta situs tidak akan menghapus URL-nya dari indeks. Untuk menghapus peta situs dan URL-nya dari indeks, lihat Menghapus peta situs dan URL-nya dari indeks.

REST

Menghapus peta situs atau indeks peta situs.

curl -X DELETE \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
"https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine/sitemaps/SITEMAP_ID"

Ganti kode berikut:

Menghapus peta situs atau indeks peta situs dan URL-nya dari indeks penyimpanan data

Untuk menghapus peta situs atau indeks peta situs dan URL-nya dari indeks, ikuti langkah-langkah berikut:

  1. Kosongkan peta situs atau indeks peta situs yang dikirimkan ke penyimpanan data dengan menghapus semua URL-nya.

    Jika Anda mengirimkan indeks peta situs ke penyimpanan data, kosongkan peta situs bertingkat dengan menghapus semua URL dan hapus peta situs dari indeks peta situs.

  2. Tunggu selama 48 jam agar Agent Search memproses perubahan ini dan menghapus URL dari indeks penyimpanan data.

  3. Hapus peta situs atau indeks peta situs.