Pertimbangan dan pengujian tambahan

Pertimbangan tambahan harus diperhitungkan untuk praktik terbaik dan pengujian antarmuka agen perdagangan percakapan Anda.

Menerapkan praktik terbaik

Pertimbangkan praktik terbaik berikut saat menerapkan antarmuka agen perdagangan percakapan Anda:

• Konsistensi ID pengunjung: Membantu memastikan bahwa visitor_id unik dikirim secara konsisten dengan setiap permintaan untuk pengguna akhir tertentu. Hal ini penting untuk penyesuaian dan pelatihan model yang akurat. ID ini idealnya tetap konsisten untuk pengguna akhir di seluruh sesi dan status login atau logout.
• Pengelolaan cabang: Meskipun default_branch umum, pastikan Anda menggunakan ID cabang yang benar jika katalog produk Anda disusun dengan beberapa cabang.
• Interaksi Search API: Untuk SIMPLE_PRODUCT_SEARCH dan kasus apa pun saat refined_search diberikan, jangan lupa untuk melakukan panggilan terpisah ke Search API inti (SearchService.Search) menggunakan query dari kolom refined_search atau kueri asli untuk mendapatkan listingan produk yang sebenarnya. Conversational API terutama berfokus pada pengalaman percakapan dan pemahaman maksud pengguna, bukan langsung menampilkan hasil produk.
• Desain antarmuka pengguna: Desain antarmuka web Anda untuk menampilkan opsi conversational_text_response, followup_question, dan refined_search dengan jelas secara intuitif untuk memandu pengguna Anda.

Merencanakan pengujian A/B

Meskipun relevansi adalah metrik input yang penting, Vertex AI Search untuk commerce juga mempertimbangkan variabel lain dengan tujuan mengoptimalkan hasil bisnis:

Metrik
Pendapatan per kunjungan (RPV)	Pendapatan per kunjungan adalah metrik paling efektif untuk performa penelusuran karena memperhitungkan rasio konversi, AOV, dan relevansi.
Konversi—Nilai pesanan rata-rata (AOV)	Persentase konversi dan AOV berkontribusi pada RPV.
Relevansi—Kemungkinan Pembelian—Harga	Relevansi, di antara input lainnya, digunakan untuk menghasilkan hasil penelusuran berperforma tinggi.

Checklist kesiapan A/B

Berikut metrik keberhasilan yang digunakan:

Pendapatan per kunjungan (RPV)

Rasio konversi (CVR)

Peristiwa tambahkan ke keranjang

Rasio klik-tayang

Item	Definisi	Tahap
Skema atribusi peristiwa	Bekerja sama dengan Google untuk menyegmentasikan peristiwa pengguna dengan benar untuk pengukuran.	Sebelum eksperimen
Memantau input data	Kemampuan untuk memahami dengan cepat kapan data pelatihan berisi anomali yang dapat memengaruhi performa.	Sebelum eksperimen
Liputan acara	Apakah kita mengukur semua kemungkinan hasil yang terkait dengan sesi AI penelusuran atau rekomendasi?	Sebelum eksperimen
Kriteria keberhasilan yang terukur	Definisi selesai yang terdokumentasi (dalam istilah yang terukur).	Sebelum eksperimen
Kemampuan untuk mengukur bias UX	Pastikan UX yang konsisten di seluruh grup eksperimen.	Selama eksperimen
Koherensi antara data dan konsumsi VAIS	Pastikan token atribusi, filter, pengurutan menurut, offset, dll., diteruskan dari API ke UserEvents. ID Pengunjung/Pengguna cocok antara permintaan peristiwa dan API.	Selama eksperimen
Persetujuan untuk menyesuaikan selama eksperimen	Rencanakan aktivitas penyesuaian, dokumentasikan perubahan, sesuaikan pengukuran dan interpretasi yang sesuai.	Selama Eksperimen

Menerapkan bukti konsep atau produk dengan kelayakan minimum

Penyerapan data	Desain pengujian A/B	Metrik performa	Tata kelola dan proses
Penyerapan katalog produk yang terbaru dan lengkap Kepatuhan terhadap metode penyerapan peristiwa yang direkomendasikan untuk memastikan sinkronisasi data antara Google dan Anda. Rekomendasi Google adalah untuk pelacakan peristiwa real-time, termasuk data tayangan iklan. Teruskan atribut yang diperlukan seperti ID eksperimen, ID pengunjung, dan terapkan token penelusuran dengan benar jika berlaku.	Terapkan praktik terbaik eksperimen untuk memastikan hasil yang andal: Verifikasi integrasi. Uji satu perubahan dalam satu waktu. Hindari penyimpanan dalam cache yang agresif. Pastikan keadilan antarmuka web antara pengujian dan kontrol. Pastikan keadilan traffic dengan pemisahan traffic menggunakan ID pengunjung. Pastikan konsistensi data produk. Terapkan aturan bisnis yang sama di seluruh pengujian & kontrol.	Semua kriteria evaluasi harus empiris, diukur secara objektif, dan didorong oleh metrik. Penyelarasan pada definisi persis metrik yang dilacak sangat penting untuk mengukur performa secara akurat. Metrik standar yang dilacak mencakup: CTR Penelusuran (relevansi hasil) Rasio penelusuran nol (pemahaman maksud) Pendapatan per pengunjung / Pendapatan per pengguna Jumlah penelusuran yang akan dikonversi	Integrasi data, pengujian, peluncuran fitur, dan pengoptimalan akan menjadi proses iteratif yang memerlukan sumber daya.

Contoh ritme eksperimen

Memenuhi dependensi produk dengan kelayakan minimum	Mengalibrasi pengukuran	Men-deploy mode gelap produksi	Keputusan lanjut/tidak lanjut
Kontrak Model terlatih dan konfigurasi penyajian Penyerapan data produk dan peristiwa	Bandingkan data (klien) dengan telemetri penelusuran Commerce dan sesuaikan dengan tepat Menyamakan dasar pengukuran	Melakukan evaluasi offline Menyesuaikan konfigurasi Pengujian A/A untuk memverifikasi pemisahan traffic	Mendapatkan persetujuan QA Berkomitmen untuk maju dengan jalur

Pengujian berkelanjutan	Tingkatkan menjadi X% traffic	Ukur, sesuaikan, dan ulangi	Tingkatkan menjadi X% traffic aktif
Lanjutkan penyesuaian/pengoptimalan Menguji fitur inkremental	Menganalisis performa di seluruh segmen penelusuran Lakukan penyesuaian pemodelan/aturan	Memeriksa silang performa Mengidentifikasi dan menjelaskan anomali	Mulai eksperimen Membagikan metrik performa setiap hari Melakukan penyesuaian

Komponen eksperimen yang berhasil

Mengalibrasi pengukuran dan menetapkan kriteria keberhasilan	Mempertahankan keadilan eksperimen	Memantau kualitas data
Rencanakan waktu untuk memverifikasi koherensi katalog, peristiwa pengguna, dan penggunaan API sebelum peluncuran resmi. Tentukan kriteria keberhasilan yang dapat diukur di awal (idealnya, dinyatakan sebagai perubahan pada RPV). Mengidentifikasi dan menjelaskan regresi atau anomali secara proaktif, lalu memperbaikinya. Sering bagikan pengukuran, pahami, dan dokumentasikan definisi metrik di seluruh grup eksperimen.	Minimalkan perbedaan UX antar-segmen (tata letak dan visual yang sama, hanya data yang berbeda). Perhatikan aturan merchandising / bisnis (pastikan tidak menimbulkan bias).	Mengukur penyimpangan katalog. Anotasi hasil eksperimen dengan benar (melalui peristiwa pengguna).

Peran dan kepemilikan eksperimen

	Google	Anda
Evaluasi kualitas	Hasil penelusuran e-commerce	Dampak UX
Pengukuran	Mencadangkan/memvalidasi	Otoritatif
Telemetri/data	Volumetrik platform (memvalidasi performa) Anomali peristiwa dan indeks	Token atribusi dan langkah-langkah untuk mereproduksi (memvalidasi masalah)
Platform penelusuran	Item tingkat produk Pemetaan data Penyesuaian model/pelatihan Anomali kualitas/penayangan Kuota/batas platform Cacat produk/library klien	Item kueri/penayangan Augmentasi permintaan (termasuk perutean konteks, penyimpanan ke cache, dan pemrosesan maksud) Konfigurasi inferensi (penyesuaian) Pengayaan data sumber Performa klien (misalnya, thread WC) Cacat UX/API/platform/library
Lulus/Tidak lulus	Rekomendasikan	Setujui

Melakukan eksperimen di konsol

1. Buka halaman Experiments di konsol Search for commerce.
   
   Buka halaman Experiments

2. Gunakan konsol untuk analisis layanan mandiri tingkat lanjut untuk aktivasi Vertex AI Search for Commerce dan pengujian A/B dengan menerapkan metodologi atribusi Google:

• Pantau segmentasi traffic, metrik bisnis, serta performa penelusuran dan penjelajahan.

• Terapkan metrik tingkat kunjungan per penelusuran di seluruh penelusuran kata kunci dan penjelajahan.

• Melihat performa eksperimen sebagai deret waktu dengan metrik signifikansi statistik.

• Menggunakan platform Looker sematan.