Halaman ini menjelaskan cara menggunakan eksperimen A/B untuk memahami dampak Vertex AI Search untuk commerce terhadap bisnis Anda.
Ringkasan
Eksperimen A/B adalah eksperimen acak dengan dua grup: grup eksperimental dan grup kontrol. Grup eksperimental menerima beberapa perlakuan yang berbeda (dalam hal ini, prediksi atau hasil penelusuran dari Vertex AI Search for Commerce); grup kontrol tidak.
Saat menjalankan eksperimen A/B, Anda menyertakan informasi tentang grup tempat pengguna berada saat Anda mencatat peristiwa pengguna. Informasi tersebut digunakan untuk menyempurnakan model dan memberikan metrik.
Kedua versi aplikasi Anda harus sama, kecuali pengguna dalam grup eksperimental melihat hasil yang dihasilkan oleh Vertex AI Search untuk e-commerce dan grup kontrol tidak melihatnya. Anda mencatat peristiwa pengguna untuk kedua grup.
Untuk mengetahui informasi selengkapnya tentang pemisahan traffic, lihat Memisahkan Traffic dalam dokumentasi App Engine.
Platform eksperimen
Siapkan eksperimen menggunakan platform eksperimen pihak ketiga seperti
VWO, AB Tasty. Grup kontrol dan eksperimental masing-masing mendapatkan ID eksperimen unik dari platform. Saat merekam peristiwa pengguna,
tentukan grup tempat pengguna berada dengan menyertakan ID eksperimen di kolom
experimentIds. Dengan memberikan ID eksperimen, Anda dapat membandingkan metrik untuk versi aplikasi yang dilihat oleh grup kontrol dan eksperimental.
Praktik terbaik untuk eksperimen A/B
Tujuan eksperimen A/B adalah untuk menentukan secara akurat dampak pembaruan situs Anda (dalam hal ini, menggunakan Vertex AI Search untuk commerce). Untuk mendapatkan pengukuran yang akurat terhadap dampaknya, Anda harus mendesain dan menerapkan eksperimen dengan benar, sehingga perbedaan lain tidak muncul dan memengaruhi hasil eksperimen.
Pemetaan ID eksperimen yang direkomendasikan
ID eksperimen digunakan untuk pengujian A/B, tempat Anda dapat membandingkan Vertex AI Search untuk commerce dengan solusi penelusuran yang ada. Metrik ini juga dapat digunakan untuk menjalankan eksperimen dengan Vertex AI Search yang sepenuhnya diterapkan untuk situs e-commerce yang memerlukan pengujian konfigurasi, kontrol, atau spesifikasi peningkatan baru, untuk menyebutkan beberapa contoh, terhadap grup kontrol.
Kolom ID eksperimen dalam peristiwa pengguna adalah array, yang memungkinkan pengukuran yang lebih terperinci.
Pertimbangkan kasus penggunaan berikut:
- Performa Vertex AI Search untuk commerce perlu dibandingkan dengan grup kontrol.
- Performa keseluruhan perlu diukur.
- Performa khusus seluler perlu diukur.
- Performa khusus desktop perlu diukur.
- Performa penelusuran dan rekomendasi juga perlu diukur secara terpisah.
Untuk mendapatkan pengukuran yang terperinci dan tersegmentasi seperti itu, Anda mungkin memerlukan total 10 ID eksperimen, yang empat di antaranya harus dikirim dalam array ID eksperimen peristiwa untuk setiap peristiwa.
| ID eksperimen untuk grup kontrol peristiwa | ID eksperimen untuk grup peristiwa pengujian (penelusuran untuk e-commerce) | Cakupan peristiwa pengguna |
|---|---|---|
| Kontrol | Vertex AI Search untuk commerce | Semua peristiwa |
Control_mobile |
Google_mobile |
Semua peristiwa seluler |
Control_desktop |
Google_desktop |
Semua peristiwa desktop |
Control_search |
Google_search |
Semua penelusuran dan acara terkait |
Control_recommendations |
Google_recommendations |
Semua rekomendasi dan acara terkait |
Untuk mengukur performa keseluruhan, bandingkan metrik yang berasal dari peristiwa dengan ID eksperimen Control dan Vertex AI Search for commerce. Untuk mengukur performa penelusuran seluler, bandingkan metrik yang berasal dari peristiwa dengan ID eksperimen Control_mobile + Control_search versus Google_mobile + Google_search.
Hierarki kategori
Pastikan produk yang sama memiliki hierarki kategori yang sama antara kontrol dan pengujian. Misalnya, di situs kontrol, produk t-shirt memiliki hierarki kategori clothing > mens > tops > tee-shirts, dan produk yang sama berada di hierarki kategori yang berbeda di sisi pengujian, yaitu mens > popular > tops. Penyiapan ini menghasilkan hasil penelusuran dan aspek kategori yang berbeda antara situs kontrol dan situs pengujian. Masalah ini memengaruhi pengalaman browser, karena page_category adalah input ke panggilan penjelajahan, bersama dengan filter.
Paritas pengalaman pengguna sebelum pengujian A/B
Saat menyiapkan situs untuk pengujian A/B, sebelum menayangkan penelusuran pengguna nyata atau traffic rekomendasi ke Vertex AI Search untuk commerce dengan pemetaan ID eksperimen yang benar, penting untuk memperhatikan kesamaan antarmuka pengguna dan pengalaman antara situs commerce, dengan backend penelusuran lama yang digunakan sebagai kontrol dan situs dengan backend Vertex AI Search untuk commerce.
Mengingat kueri penelusuran, antara halaman hasil penelusuran untuk backend penelusuran kontrol dan backend Vertex AI Search untuk commerce, beberapa hal yang perlu diuji mencakup:
Apakah jumlah faset yang ditampilkan sama? Jika tidak, tinjau spesifikasi aspek dan setelan atribut di Vertex AI Search untuk commerce . Hal ini penting karena faset membantu pengguna memfilter dan membuka produk yang diinginkan dari hasil penelusuran awal. Faset yang lebih baik dan lebih bermakna berarti pengguna memerlukan lebih sedikit waktu untuk menemukan produk yang diinginkan. Jika tidak, hal ini akan menghasilkan lebih banyak klik dan scroll, yang dapat menghambat pengalaman penelusuran dan pada akhirnya memengaruhi rasio konversi dan klik-tayang. Hal ini juga dapat menyebabkan pengguna meninggalkan penelusuran. Oleh karena itu, memiliki aspek serupa antara situs kontrol dan situs pengujian berarti tidak ada keuntungan yang tidak adil bagi pengguna saat menelusuri produk di antara keduanya.
Penempatan produk sponsor di hasil penelusuran sering kali menjadi fitur umum di banyak situs e-commerce, dan sebagian besar produk sponsor tidak termasuk dalam hasil penelusuran organik. Pastikan penempatan dan produk yang ditampilkan di halaman hasil penelusuran antara situs Kontrol dan situs Pengujian hampir sama, jika tidak identik. Jika tidak, derau akan ditambahkan ke pengukuran metrik performa pendapatan, dan bergantung pada keunikan produk bersponsor antara situs Kontrol dan Pengujian, derau dapat lebih tinggi.
Aspek antarmuka pengguna lain-lain yang perlu dipertimbangkan:
- Apakah informasi harga dan diskon sama antara situs kontrol dan situs pengujian?
- Apakah pelengkapan otomatis menyarankan penyelesaian yang sama untuk kueri penelusuran?
- Apakah nilai aspek dalam urutan yang sama?
- Apakah produk dicantumkan menggunakan gaya yang sama, seperti dalam daftar atau petak?
Tips dan pertimbangan akhir
Untuk mendesain eksperimen A/B yang bermakna, perhatikan tips berikut:
Sebelum menyiapkan eksperimen A/B, gunakan pratinjau penelusuran atau prediksi untuk memastikan model Anda berperilaku seperti yang Anda harapkan.
Pastikan perilaku situs Anda identik untuk grup eksperimental dan grup kontrol.
Perilaku situs mencakup latensi, format tampilan, format teks, tata letak halaman, kualitas gambar, dan ukuran gambar. Tidak boleh ada perbedaan yang terlihat untuk atribut ini antara pengalaman grup kontrol dan eksperimen.
Terima dan tampilkan hasil sebagaimana yang ditampilkan dari Vertex AI Search untuk e-commerce, dan tampilkan dalam urutan yang sama seperti yang ditampilkan.
Memfilter item yang stoknya habis dapat diterima. Namun, Anda harus menghindari pemfilteran atau pengurutan hasil berdasarkan aturan bisnis Anda.
Jika Anda menggunakan peristiwa pengguna penelusuran dan menyertakan token atribusi yang diperlukan, pastikan peristiwa tersebut disiapkan dengan benar. Lihat dokumentasi untuk Token atribusi.
Pastikan konfigurasi penayangan yang Anda berikan saat meminta rekomendasi atau hasil penelusuran sesuai dengan maksud Anda untuk rekomendasi atau hasil penelusuran tersebut, dan lokasi tempat Anda menampilkan hasilnya.
Saat Anda menggunakan rekomendasi, konfigurasi penayangan memengaruhi cara model dilatih dan produk yang direkomendasikan. Pelajari lebih lanjut.
Jika Anda membandingkan solusi yang ada dengan Vertex AI Search untuk commerce, pastikan pengalaman grup kontrol benar-benar terpisah dari pengalaman grup eksperimental.
Jika solusi kontrol tidak memberikan rekomendasi atau hasil penelusuran, jangan berikan rekomendasi atau hasil penelusuran dari Vertex AI Search untuk e-commerce di halaman kontrol. Jika hal ini dilakukan, hasil pengujian Anda akan miring.
Pastikan pengguna Anda tidak beralih antara grup kontrol dan grup eksperimen. Hal ini sangat penting dalam sesi yang sama, tetapi juga direkomendasikan di seluruh sesi. Hal ini akan meningkatkan performa eksperimen dan membantu Anda mendapatkan hasil pengujian A/B yang signifikan secara statistik lebih cepat.