Pertimbangan dan pengujian tambahan

Pertimbangan tambahan harus diperhitungkan untuk praktik terbaik dan pengujian antarmuka Agen percakapan Anda.

Menerapkan praktik terbaik

Pertimbangkan praktik terbaik berikut saat menerapkan antarmuka Agen percakapan Anda:

• Konsistensi ID pengunjung: Membantu memastikan bahwa visitor_id unik dikirim secara konsisten dengan setiap permintaan untuk pengguna akhir tertentu. Hal ini sangat penting untuk personalisasi dan pelatihan model yang akurat. ID ini idealnya tetap konsisten untuk pengguna akhir di seluruh sesi dan status login atau logout.
• Pengelolaan cabang: Meskipun default_branch umum, pastikan Anda menggunakan ID cabang yang benar jika katalog produk Anda disusun dengan beberapa cabang.
• Interaksi Search API: Untuk SIMPLE_PRODUCT_SEARCH dan kasus apa pun saat refined_search diberikan, jangan lupa untuk melakukan panggilan terpisah ke Search API inti (SearchService.Search) menggunakan query dari kolom refined_search atau kueri asli untuk mendapatkan listingan produk yang sebenarnya. Conversational API terutama berfokus pada pengalaman percakapan dan pemahaman maksud pengguna, bukan langsung menampilkan hasil produk.
• Desain antarmuka pengguna: Desain antarmuka web Anda untuk menampilkan opsi conversational_text_response, followup_question, dan refined_search dengan jelas secara intuitif untuk memandu pengguna Anda.

Mengonfigurasi atribut untuk pembuatan LLM

Untuk memastikan agen percakapan dapat membuat respons, atribut harus disetel ke Dapat Diambil di Kontrol atribut.

Jika atribut dapat Diindeks tetapi tidak dapat Diambil, agen Percakapan akan menemukan produk, tetapi tidak dapat membaca detailnya untuk menjawab pertanyaan pengguna. Agen percakapan sering memicu respons penggantian, seperti Maaf, kami tidak memiliki produk tersebut.

Oleh karena itu, Anda harus menyetel atribut semantik (Title, Description, Brand, Specs) ke Dapat Diambil: Benar agar LLM dapat menggunakannya. Tetapkan atribut antarmuka pengguna atau aplikasi (BrandID, SkuID) ke Dapat Diambil: Benar jika frontend Anda memerlukannya untuk rendering. Tetapkan metadata backend Anda ke Dapat Diambil: Salah (Retrievable: False) untuk mengoptimalkan penggunaan jendela konteks.

Merencanakan pengujian A/B

Meskipun relevansi adalah metrik input yang penting, AI Commerce Search juga mempertimbangkan variabel lain dengan tujuan mengoptimalkan hasil bisnis:

Metrik
Pendapatan per kunjungan (RPV)	Pendapatan per kunjungan adalah metrik paling efektif untuk performa penelusuran karena memperhitungkan rasio konversi, AOV, dan relevansi.
Konversi—Nilai pesanan rata-rata (AOV)	Persentase konversi dan AOV berkontribusi pada RPV.
Relevansi—Kemampuan Beli—Harga	Relevansi, di antara input lainnya, digunakan untuk menghasilkan hasil penelusuran berperforma tinggi.

Checklist kesiapan A/B

Berikut metrik keberhasilan yang digunakan:

Pendapatan per kunjungan (RPV)

Rasio konversi (CVR)

Peristiwa tambahkan ke keranjang

Rasio klik-tayang

Item	Definisi	Tahap
Skema atribusi peristiwa	Bekerja sama dengan Google untuk menyegmentasikan peristiwa pengguna dengan benar untuk pengukuran.	Sebelum eksperimen
Memantau input data	Kemampuan untuk memahami dengan cepat kapan data pelatihan berisi anomali yang dapat memengaruhi performa.	Sebelum eksperimen
Liputan acara	Apakah kita mengukur semua kemungkinan hasil yang terkait dengan sesi AI penelusuran atau rekomendasi?	Sebelum eksperimen
Kriteria keberhasilan yang terukur	Definisi selesai yang terdokumentasi (dalam istilah yang terukur).	Sebelum eksperimen
Kemampuan untuk mengukur bias UX	Pastikan UX yang konsisten di seluruh grup eksperimen.	Selama eksperimen
Koherensi antara data dan konsumsi VAIS	Pastikan token atribusi, filter, pengurutan menurut, offset, dll., diteruskan dari API ke UserEvents. ID Pengunjung/Pengguna cocok antara permintaan peristiwa dan API.	Selama eksperimen
Persetujuan untuk menyesuaikan selama eksperimen	Rencanakan aktivitas penyesuaian, dokumentasikan perubahan, sesuaikan pengukuran dan interpretasi yang sesuai.	Selama Eksperimen

Menerapkan bukti konsep atau produk dengan kelayakan minimum

Penyerapan data	Desain pengujian A/B	Metrik performa	Tata kelola dan proses
Penyerapan katalog produk yang terbaru dan lengkap Kepatuhan terhadap metode penyerapan peristiwa yang direkomendasikan untuk memastikan sinkronisasi data antara Google dan Anda. Rekomendasi Google adalah untuk pelacakan peristiwa real-time, termasuk data tayangan iklan. Teruskan atribut yang diperlukan seperti ID eksperimen, ID pengunjung, dan terapkan token penelusuran dengan benar jika berlaku.	Terapkan praktik terbaik eksperimen untuk memastikan hasil yang andal: Verifikasi integrasi. Uji satu perubahan dalam satu waktu. Hindari caching agresif. Pastikan keadilan antarmuka web antara pengujian dan kontrol. Pastikan keadilan traffic dengan pembagian traffic menggunakan ID pengunjung. Pastikan konsistensi data produk. Terapkan aturan bisnis yang sama di seluruh pengujian & kontrol.	Semua kriteria evaluasi harus empiris, diukur secara objektif, dan didorong oleh metrik. Penyelarasan pada definisi pasti metrik yang dilacak sangat penting untuk mengukur performa secara akurat. Metrik standar yang dilacak mencakup: CTR Penelusuran (relevansi hasil) Rasio penelusuran nol (pemahaman maksud) Pendapatan per pengunjung / Pendapatan per pengguna Jumlah penelusuran yang akan dikonversi	Integrasi data, pengujian, peluncuran fitur, dan pengoptimalan akan menjadi proses iteratif yang memerlukan sumber daya.

Contoh ritme eksperimen

Memenuhi dependensi produk dengan kelayakan minimum	Mengalibrasi pengukuran	Men-deploy mode gelap produksi	Keputusan lanjut atau tidak
Kontrak Model terlatih dan konfigurasi penyajian Penyerapan data produk dan peristiwa	Bandingkan data (klien) dengan telemetri penelusuran Commerce dan sesuaikan dengan tepat Menyamakan dasar pengukuran	Melakukan evaluasi offline Menyesuaikan konfigurasi Pengujian A/A untuk memverifikasi pemisahan traffic	Mendapatkan persetujuan QA Berkomitmen untuk melanjutkan penggunaan jalur

Pengujian berkelanjutan	Tingkatkan menjadi X% traffic	Ukur, sesuaikan, dan ulangi	Tingkatkan menjadi X% traffic aktif
Lanjutkan penyesuaian/pengoptimalan Menguji fitur inkremental	Menganalisis performa di seluruh segmen penelusuran Lakukan penyesuaian pemodelan/aturan	Memeriksa silang performa Mengidentifikasi dan menjelaskan anomali	Mulai eksperimen Membagikan metrik performa setiap hari Melakukan penyesuaian

Komponen eksperimen yang berhasil

Mengalibrasi pengukuran dan menetapkan kriteria keberhasilan	Mempertahankan keadilan eksperimen	Memantau kualitas data
Rencanakan waktu untuk memverifikasi koherensi katalog, peristiwa pengguna, dan penggunaan API sebelum peluncuran resmi. Tentukan kriteria keberhasilan yang dapat diukur di awal (idealnya, dinyatakan sebagai perubahan pada RPV). Mengidentifikasi dan menjelaskan regresi atau anomali secara proaktif, lalu memperbaikinya. Sering bagikan pengukuran, pahami dan dokumentasikan definisi metrik di seluruh grup eksperimen.	Minimalkan perbedaan UX antar-segmen (tata letak dan visual umum, hanya data yang berbeda). Perhatikan aturan merchandising / bisnis (pastikan tidak menimbulkan bias).	Mengukur penyimpangan katalog. Anotasi hasil eksperimen dengan benar (melalui peristiwa pengguna).

Peran dan kepemilikan eksperimen

	Google	Anda
Evaluasi kualitas	Hasil penelusuran e-commerce	Dampak UX
Pengukuran	Mencadangkan/memvalidasi	Otoritatif
Telemetri/data	Volumetrik platform (memvalidasi performa) Anomali peristiwa dan indeks	Token atribusi dan langkah-langkah untuk mereproduksi (memvalidasi masalah)
Platform penelusuran	Item tingkat produk Pemetaan data Penyesuaian model/pelatihan Anomali kualitas/penayangan Kuota/batas platform Cacat produk/library klien	Item kueri/penayangan Augmentasi permintaan (termasuk perutean konteks, penyimpanan ke cache, dan pemrosesan maksud) Konfigurasi inferensi (penyesuaian) Pengayaan data sumber Performa klien (misalnya, thread WC) Cacat UX/API/platform/library
Lanjut atau Tidak Lanjut	Rekomendasikan	Setujui

Melakukan eksperimen di konsol

1. Buka halaman Experiments di konsol AI Commerce Search di Gemini Enterprise for Customer Experience.
   
   Buka halaman Experiments

2. Gunakan konsol untuk analisis layanan mandiri tingkat lanjut untuk aktivasi dan pengujian A/B AI Commerce Search dengan menerapkan metodologi atribusi Google:

• Pantau segmentasi traffic, metrik bisnis, serta performa penelusuran dan penjelajahan.

• Terapkan metrik tingkat kunjungan per penelusuran di seluruh penelusuran kata kunci dan penjelajahan.

• Melihat performa eksperimen sebagai deret waktu dengan metrik signifikansi statistik.

• Menggunakan platform Looker sematan.