Memuat ulang halaman web menggunakan pembaruan otomatis dan manual

Istilah Kunci: Istilah refresh dapat digunakan secara bergantian dengan istilah crawl ulang dalam konteks situs. Memuat ulang atau melakukan crawl ulang akan mengambil versi halaman terbaru dan mengindeksnya. Pengindeksan ulang mengindeks dokumen yang telah di-crawl.

Jika penyimpanan data Anda menggunakan penelusuran situs dasar, kesegaran indeks toko Anda akan mencerminkan kesegaran yang tersedia di Google Penelusuran.

Jika pengindeksan situs lanjutan diaktifkan di penyimpanan data Anda, halaman web di penyimpanan data Anda akan dimuat ulang dengan cara berikut:

• Pemuatan ulang otomatis
• Pemuatan ulang manual
• Pemuatan ulang berbasis peta situs

Halaman ini menjelaskan pemuatan ulang otomatis dan manual. Untuk memahami dan menerapkan pemuatan ulang berbasis peta situs, lihat Mengindeks dan memuat ulang sesuai dengan peta situs.

Sebelum memulai

Jika Anda menggunakan file robots.txt di situs Anda, perbarui file tersebut. Untuk mengetahui informasi selengkapnya, lihat cara menyiapkan filerobots.txt situs Anda.

Pemuatan ulang otomatis

Penelusuran Agen melakukan pemuatan ulang otomatis sebagai berikut:

• Setelah Anda membuat penyimpanan data, penyimpanan data tersebut akan membuat indeks awal untuk halaman yang disertakan.
• Setelah pengindeksan awal, penyimpanan data tersebut akan mengindeks halaman yang baru ditemukan dan melakukan crawl ulang halaman yang ada dengan upaya terbaik.
• Penyimpanan data yang mengalami rasio kueri 50 kueri/30 hari akan dimuat ulang secara rutin.

Catatan: Fitur Pemuatan ulang otomatis adalah proses berbasis penemuan untuk menemukan halaman baru yang tidak tercantum dalam peta situs. Saat menggunakan peta situs untuk kontrol pengindeksan yang akurat, sebaiknya nonaktifkan fitur ini. Menonaktifkan Pemuatan ulang otomatis tidak akan menghentikan proses pemuatan ulang terpisah berdasarkan modifikasi peta situs. Untuk mengetahui informasi selengkapnya, lihat Mengindeks dan memuat ulang halaman web menggunakan peta situs.

Pemuatan ulang manual

Jika ingin memuat ulang halaman web tertentu di penyimpanan data dengan pengindeksan situs Lanjutan diaktifkan, Anda dapat memanggil metode recrawlUris. Anda menggunakan kolom uris untuk menentukan setiap halaman web yang ingin di-crawl. Metode recrawlUris adalah operasi yang berjalan lama dan akan berjalan hingga halaman web yang Anda tentukan di- crawl atau hingga waktu tunggu habis setelah 24 jam, mana yang lebih dulu. Jika waktu tunggu metode recrawlUris habis, Anda dapat memanggil metode tersebut lagi, dengan menentukan halaman web yang masih harus di-crawl. Anda dapat melakukan polling metode operations.get untuk memantau status operasi crawl ulang.

Catatan: Metode recrawlUris mengenali URI literal, bukan pola URI. Tanda bintang (*) dalam URI Anda akan diperlakukan sebagai karakter reguler. Hal ini berbeda dengan menentukan URL yang akan diindeks saat membuat penyimpanan data situs. Saat membuat penyimpanan data, Anda dapat menentukan halaman web satu per satu atau menggunakan karakter pengganti untuk menentukan seluruh situs atau sebagian situs—misalnya, www.mysite.com/*. Sebaliknya, recrawlUris menganggap www.mysite.com/* sebagai satu halaman. Untuk mengetahui informasi selengkapnya tentang cara membuat penyimpanan data situs, lihat URL Situs.

Batas crawl ulang

Ada batasan frekuensi Anda dapat meng-crawl halaman web dan jumlah halaman web yang dapat Anda crawl dalam satu waktu:

• Panggilan per hari. Jumlah maksimum panggilan ke metode recrawlUris yang diizinkan adalah 20 per hari, per project.
• Halaman web per panggilan. Jumlah maksimum nilai uris yang dapat Anda tentukan dengan panggilan ke metode recrawlUris adalah 10.000.

Melakukan crawl ulang halaman web di penyimpanan data Anda

Anda dapat melakukan crawl manual pada halaman web tertentu di penyimpanan data yang memiliki pengindeksan situs Lanjutan diaktifkan.

REST

Untuk menggunakan command line guna meng-crawl halaman web tertentu di penyimpanan data Anda, ikuti langkah-langkah berikut:

1. Temukan ID penyimpanan data Anda. Jika Anda sudah memiliki ID penyimpanan data, lanjutkan ke langkah berikutnya.

   1. Di Google Cloud Konsol, buka halaman AI Applications , lalu di menu navigasi, klik Data Stores.

      Buka halaman Data Stores

   2. Klik nama penyimpanan data Anda.

   3. Di halaman Data untuk penyimpanan data Anda, dapatkan ID penyimpanan data.

2. Panggil metode recrawlUris, menggunakan kolom uris untuk menentukan setiap halaman web yang ingin di-crawl. Setiap uri mewakili satu halaman meskipun berisi tanda bintang (*). Pola karakter pengganti tidak didukung.

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/siteSearchEngine:recrawlUris" \
   -d '{
     "uris": [URIS]
   }'
   

   Ganti kode berikut:

   • PROJECT_ID: ID project Google Cloud Anda.
   • DATA_STORE_ID: ID penyimpanan data Agent Search.
   • URIS: daftar halaman web yang ingin Anda crawl—misalnya, "https://example.com/page-1", "https://example.com/page-2", "https://example.com/page-3".

   Outputnya mirip dengan hal berikut ini:

   {
     "name": "projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/operations/recrawl-uris-0123456789012345678",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.RecrawlUrisMetadata"
     }
   }
   

3. Simpan nilai name sebagai input untuk operasi operations.get saat memantau status operasi crawl ulang.

Memantau status operasi crawl ulang

Metode recrawlUris, yang Anda gunakan untuk meng-crawl halaman web di penyimpanan data, adalah operasi yang berjalan lama dan akan berjalan hingga halaman web yang Anda tentukan di-crawl atau hingga waktu tunggu habis setelah 24 jam, mana yang lebih dulu. Anda dapat memantau status operasi yang berjalan lama ini dengan melakukan polling metode operations.get, dengan menentukan nilai name yang ditampilkan oleh recrawlUris metode. Lanjutkan polling hingga respons menunjukkan bahwa: (1) Semua halaman web Anda di-crawl, atau (2) Waktu tunggu operasi habis sebelum semua halaman web Anda di-crawl. Jika waktu tunggu recrawlUris habis, Anda dapat memanggilnya lagi, dengan menentukan situs yang tidak di-crawl.

REST

Untuk menggunakan command line guna memantau status operasi crawl ulang, ikuti langkah-langkah berikut:

1. Temukan ID penyimpanan data Anda. Jika Anda sudah memiliki ID penyimpanan data, lanjutkan ke langkah berikutnya.

   1. Di Google Cloud Konsol, buka halaman AI Applications , lalu di menu navigasi, klik Data Stores.

      Buka halaman Data Stores

   2. Klik nama penyimpanan data Anda.

   3. Di halaman Data untuk penyimpanan data Anda, dapatkan ID penyimpanan data.

2. Lakukan polling metode operations.get.

   curl -X GET \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1alpha/OPERATION_NAME"
   

   Ganti kode berikut:

   • PROJECT_ID: ID project Google Cloud Anda.
   • OPERATION_NAME: nama operasi, yang ditemukan di kolom name yang ditampilkan dalam panggilan Anda ke metode recrawlUris di Melakukan crawl ulang halaman web di penyimpanan data Anda. Anda juga dapat mendapatkan nama operasi dengan mencantumkan operasi yang berjalan lama.

3. Evaluasi setiap respons.

   • Jika respons menunjukkan bahwa ada URI yang tertunda dan operasi crawl ulang belum selesai, halaman web Anda masih di-crawl. Lanjutkan polling.

     Contoh

       {
         "name": "projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/operations/recrawl-uris-0123456789012345678",
         "metadata": {
           "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.RecrawlUrisMetadata",
           "createTime": "2023-09-05T22:07:28.690950Z",
           "updateTime": "2023-09-05T22:22:10.978843Z",
           "validUrisCount": 4000,
           "successCount": 2215,
           "pendingCount": 1785
         },
         "done": false,
         "response": {
           "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.RecrawlUrisResponse",
         }
       }

     Kolom respons dapat dijelaskan sebagai berikut:

     • createTime: menunjukkan waktu dimulainya operasi yang berjalan lama.
     • updateTime: menunjukkan waktu terakhir metadata operasi yang berjalan lama diperbarui. menunjukkan bahwa metadata diperbarui setiap lima menit hingga operasi selesai.
     • validUrisCount: menunjukkan bahwa Anda menentukan 4.000 URI yang valid dalam panggilan Anda ke metode recrawlUris.
     • successCount: menunjukkan bahwa 2.215 URI berhasil di-crawl.
     • pendingCount: menunjukkan bahwa 1.785 URI belum di-crawl.
     • done: nilai false menunjukkan bahwa operasi crawl ulang masih berlangsung.

   • Jika respons menunjukkan bahwa tidak ada URI yang tertunda (tidak ada kolom pendingCount yang ditampilkan) dan operasi crawl ulang selesai, halaman web Anda akan di-crawl. Hentikan polling—Anda dapat keluar dari prosedur ini.

     Contoh

       {
         "name": "projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/operations/recrawl-uris-0123456789012345678",
         "metadata": {
           "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.RecrawlUrisMetadata",
           "createTime": "2023-09-05T22:07:28.690950Z",
           "updateTime": "2023-09-05T22:37:11.367998Z",
           "validUrisCount": 4000,
           "successCount": 4000
         },
         "done": true,
         "response": {
           "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.RecrawlUrisResponse"
         }
       }

     Kolom respons dapat dijelaskan sebagai berikut:

     • createTime: menunjukkan waktu dimulainya operasi yang berjalan lama.
     • updateTime: menunjukkan waktu terakhir metadata operasi yang berjalan lama diperbarui. menunjukkan bahwa metadata diperbarui setiap lima menit hingga operasi selesai.
     • validUrisCount: menunjukkan bahwa Anda menentukan 4.000 URI yang valid dalam panggilan Anda ke metode recrawlUris.
     • successCount: menunjukkan bahwa 4.000 URI berhasil di-crawl.
     • done: nilai true menunjukkan bahwa operasi crawl ulang selesai.

4. Jika respons menunjukkan bahwa ada URI yang tertunda dan operasi crawl ulang selesai, berarti waktu tunggu operasi crawl ulang habis (setelah 24 jam) sebelum semua halaman web Anda di-crawl. Mulai lagi di Melakukan crawl ulang halaman web di penyimpanan data Anda. Gunakan nilai failedUris dalam respons operations.get untuk nilai di kolom uris dalam panggilan baru Anda ke metode recrawlUris.

   Contoh.

   {
     "name": "projects/PROJECT_ID/locations/global/collections/default_collection/dataStores/DATA_STORE_ID/operations/recrawl-uris-8765432109876543210",
     "metadata": {
       "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.RecrawlUrisMetadata",
       "createTime": "2023-09-05T22:07:28.690950Z",
       "updateTime": "2023-09-06T22:09:10.613751Z",
       "validUrisCount": 10000,
       "successCount": 9988,
       "pendingCount": 12
     },
     "done": true,
     "response": {
       "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.RecrawlUrisResponse",
       "failedUris": [
         "https://example.com/page-9989",
         "https://example.com/page-9990",
         "https://example.com/page-9991",
         "https://example.com/page-9992",
         "https://example.com/page-9993",
         "https://example.com/page-9994",
         "https://example.com/page-9995",
         "https://example.com/page-9996",
         "https://example.com/page-9997",
         "https://example.com/page-9998",
         "https://example.com/page-9999",
         "https://example.com/page-10000"
       ],
       "failureSamples": [
         {
           "uri": "https://example.com/page-9989",
           "failureReasons": [
             {
               "corpusType": "DESKTOP",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             },
             {
               "corpusType": "MOBILE",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             }
           ]
         },
         {
           "uri": "https://example.com/page-9990",
           "failureReasons": [
             {
               "corpusType": "DESKTOP",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             },
             {
               "corpusType": "MOBILE",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             }
           ]
         },
         {
           "uri": "https://example.com/page-9991",
           "failureReasons": [
             {
               "corpusType": "DESKTOP",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             },
             {
               "corpusType": "MOBILE",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             }
           ]
         },
         {
           "uri": "https://example.com/page-9992",
           "failureReasons": [
             {
               "corpusType": "DESKTOP",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             },
             {
               "corpusType": "MOBILE",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             }
           ]
         },
         {
           "uri": "https://example.com/page-9993",
           "failureReasons": [
             {
               "corpusType": "DESKTOP",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             },
             {
               "corpusType": "MOBILE",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             }
           ]
         },
         {
           "uri": "https://example.com/page-9994",
           "failureReasons": [
             {
               "corpusType": "DESKTOP",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             },
             {
               "corpusType": "MOBILE",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             }
           ]
         },
         {
           "uri": "https://example.com/page-9995",
           "failureReasons": [
             {
               "corpusType": "DESKTOP",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             },
             {
               "corpusType": "MOBILE",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             }
           ]
         },
         {
           "uri": "https://example.com/page-9996",
           "failureReasons": [
             {
               "corpusType": "DESKTOP",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             },
             {
               "corpusType": "MOBILE",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             }
           ]
         },
         {
           "uri": "https://example.com/page-9997",
           "failureReasons": [
             {
               "corpusType": "DESKTOP",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             },
             {
               "corpusType": "MOBILE",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             }
           ]
         },
         {
           "uri": "https://example.com/page-9998",
           "failureReasons": [
             {
               "corpusType": "DESKTOP",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             },
             {
               "corpusType": "MOBILE",
               "errorMessage": "Page was crawled but was not indexed by UCS within 24 hours."
             }
           ]
         }
       ]
     }
   }

   Berikut beberapa deskripsi kolom respons:

   • createTime. Waktu dimulainya operasi yang berjalan lama.
   • updateTime. Waktu terakhir metadata operasi yang berjalan lama diperbarui. Metadata diperbarui setiap lima menit hingga operasi selesai.
   • validUrisCount. Menunjukkan bahwa Anda menentukan 10.000 URI yang valid dalam panggilan Anda ke metode recrawlUris.
   • successCount. Menunjukkan bahwa 9.988 URI berhasil di-crawl.
   • pendingCount. Menunjukkan bahwa 12 URI belum di-crawl.
   • done. Nilai true menunjukkan bahwa operasi crawl ulang selesai.
   • failedUris. Daftar URI yang tidak di-crawl sebelum waktu tunggu operasi crawl ulang habis.
   • failureInfo. Informasi tentang URI yang gagal di-crawl. Maksimal, sepuluh nilai array failureInfo akan ditampilkan, meskipun lebih dari sepuluh URI gagal di-crawl.
   • errorMessage. Alasan URI gagal di-crawl, berdasarkan corpusType. Untuk mengetahui informasi selengkapnya, lihat Pesan error.

Pemuatan ulang tepat waktu

Google merekomendasikan agar Anda melakukan pemuatan ulang manual pada halaman baru dan yang diperbarui untuk memastikan Anda memiliki indeks terbaru.

Pesan error

Saat Anda memantau status operasi crawl ulang, jika waktu tunggu operasi crawl ulang habis saat Anda melakukan polling metode operations.get, operations.get akan menampilkan pesan error untuk halaman web yang tidak di-crawl. Tabel berikut mencantumkan pesan error, apakah error tersebut bersifat sementara (error sementara yang dapat diselesaikan sendiri), dan tindakan yang dapat Anda lakukan sebelum mencoba lagi metode recrawlUris. Anda dapat segera mencoba lagi semua error sementara. Semua error yang tidak bersifat sementara dapat dicoba lagi setelah menerapkan perbaikan.

Pesan error	Apakah error ini bersifat sementara?	Tindakan sebelum mencoba lagi crawl ulang
Halaman di-crawl, tetapi tidak diindeks oleh Agent Search dalam waktu 24 jam	Ya	Gunakan nilai failedUris dalam respons operations.get untuk nilai di kolom uris saat Anda memanggil metode recrawlUris.
Crawling diblokir oleh robots.txt situs	Tidak	Buka blokir URI di file robots.txt situs Anda, pastikan agen pengguna Google-CloudVertexBot diizinkan untuk meng-crawl situs, dan coba lagi crawl ulang. Untuk mengetahui informasi selengkapnya, lihat Data situs di Menyiapkan data untuk di-ingest. Jika Anda tidak dapat mengakses file robots.txt, hubungi pemilik domain.
Halaman tidak dapat dijangkau	Tidak	Periksa URI yang Anda tentukan saat memanggil metode recrawlUris. Pastikan Anda memberikan URI literal, bukan pola URI.
Waktu tunggu crawling habis	Ya	Gunakan nilai failedUris dalam respons operations.get untuk nilai di kolom uris saat Anda memanggil metode recrawlUris.
Halaman ditolak oleh crawler Google	Ya	Gunakan nilai failedUris dalam respons operations.get untuk nilai di kolom uris saat Anda memanggil metode recrawlUris.
URL tidak dapat diikuti oleh crawler Google	Tidak	Jika ada beberapa pengalihan, gunakan URI dari pengalihan terakhir dan coba lagi
Halaman tidak ditemukan (404)	Tidak	Periksa URI yang Anda tentukan saat memanggil metode recrawlUris. Pastikan Anda memberikan URI literal, bukan pola URI. Halaman apa pun yang merespons dengan kode error `4xx` akan dihapus dari indeks.
Halaman memerlukan autentikasi	Tidak	Pengindeksan situs lanjutan tidak mendukung crawling halaman web yang memerlukan autentikasi.

Cara penanganan halaman yang dihapus

Saat halaman dihapus, Google merekomendasikan agar Anda memuat ulang URL yang dihapus secara manual.

Saat penyimpanan data situs Anda di-crawl selama pemuatan ulang otomatis atau manual, jika halaman web merespons dengan kode error klien 4xx atau kode error server 5xx, halaman web yang tidak responsif akan dihapus dari indeks.

Jika penyimpanan data disetel sehingga Mode Peta Situs adalah Persis, menghapus URL dari peta situs akan menghapus URL dari indeks.

Jika penyimpanan data disetel sehingga Mode Peta Situs adalah Penemuan, menghapus URL dari peta situs tidak akan menghapus URL dari indeks. URL tidak akan dihapus dari indeks hingga situs di-crawl dan halaman menampilkan kode 4xx atau 5xx.