Atribusi data yang tepat, identifikasi pengguna yang konsisten, dan pelacakan peristiwa yang akurat akan menghasilkan hasil yang andal dan performa model yang optimal. Masalah dapat menyebabkan metrik yang tidak akurat, perbandingan yang bias, dan data pelatihan yang rusak. Hasil seperti itu menghambat pengambilan keputusan yang tepat dan peningkatan penelusuran.
Sebelum memulai
Lihat Panduan umum tentang cara melakukan eksperimen A/B.
Komponen pengujian
Pemeriksaan A/B awal menggabungkan komponen pengujian berikut:
ID Pengunjung: Diperlukan untuk melacak pengunjung di perangkat, terlepas dari status login. Nilai ini tidak boleh berubah, baik saat pengunjung login maupun logout. Jika pengguna login di antara perjalanan pengguna, ID pengunjung akan tetap sama.
ID Sesi: Untuk melacak sesi interaksi pengunjung. Ditentukan sebagai agregasi perilaku pengguna dalam rentang waktu, biasanya berakhir setelah tidak ada aktivitas selama 30 menit.
ID Pengguna: Sangat direkomendasikan, ID persisten untuk pengguna yang login (seperti ID pelanggan) yang digunakan di seluruh perangkat untuk personalisasi. Nilainya harus selalu berupa nilai yang di-hash.
Token atribusi: Token hash yang ditampilkan di setiap respons penelusuran. Token atribusi bersifat unik, terlepas dari apakah parameter kueri penelusuran cocok persis atau tidak.
Deskripsi
Pemeriksaan ini melibatkan verifikasi bahwa jumlah ID pengunjung unik dibagi secara acak antara grup kontrol dan pengujian dalam eksperimen A/B.
ID pengunjung adalah ID unik untuk pengguna di satu perangkat.
Dampak
Pembagian ID pengunjung yang tidak adil secara historis dapat menyebabkan kesalahan pengukuran dalam pengujian A/B.
Jika satu grup eksperimen berisi sejumlah besar jenis pengunjung tertentu yang tidak proporsional, seperti pengunjung bot yang mengirimkan traffic probing dalam volume tinggi, hal ini dapat berdampak negatif pada metrik untuk grup tersebut. Hal ini akan memiringkan perbandingan indikator performa utama dan sangat memengaruhi pengukuran, tetapi tidak secara langsung memengaruhi pelatihan model.
Deskripsi
Pemeriksaan ini memastikan bahwa jumlah ID pengguna unik, yang mewakili pengguna yang login, didistribusikan secara merata antara grup kontrol dan pengujian. ID pengguna harus tetap konsisten di seluruh perangkat.
Dampak
Dampaknya mirip dengan ID pengunjung. Jika pengguna yang login tidak ditetapkan secara acak antara jalur pengujian dan kontrol, hal ini dapat menyebabkan pembagian demografi yang bias.
Misalnya, jika grup eksperimental sebagian besar berisi pengguna baru, sementara pembelanja besar tetap berada di grup kontrol, metrik akan tampak menguntungkan satu sisi secara artifisial.
Hal ini memengaruhi pengukuran dan perbandingan indikator performa utama (KPI).
Deskripsi
Pemeriksaan ini secara khusus melihat distribusi pengguna dengan jumlah transaksi yang tinggi atau pembelian berulang, yang sering diidentifikasi oleh ID pengunjung dan histori pembelian mereka, di seluruh jalur eksperimen.
Tujuannya adalah untuk memastikan bahwa pengguna yang berbelanja dalam jumlah besar ini dibagi secara merata.
Dampak
- Distribusi pengguna berat yang tidak merata, yang memberikan kontribusi signifikan terhadap pendapatan, dapat sangat memengaruhi perbandingan KPI antar-grup eksperimen.
- Men-debug bias berdasarkan informasi demografi seperti kebiasaan berbelanja bisa jadi rumit.
- Hal ini secara tidak proporsional memengaruhi metrik berbasis pendapatan seperti Pendapatan Per Pengunjung (RPV) atau Pendapatan Per Sesi.
- Tekankan dampak terhadap akurasi pengukuran selama pengujian A/B.
Deskripsi
Pemeriksaan ini memverifikasi bahwa token atribusi yang ditampilkan dalam respons penelusuran disertakan dengan benar dalam peristiwa penelusuran yang dihasilkan dari penelusuran tersebut.
Token atribusi diperlukan agar Vertex AI Search for Commerce dapat menautkan kembali peristiwa ke penelusuran yang menghasilkannya:
- Ini biasanya relevan untuk traffic yang ditayangkan oleh Vertex AI Search.
- Masalah ini juga menunjukkan kemungkinan adanya caching respons penelusuran, yang akan menurunkan performa penelusuran dan pengalaman pengguna karena inventaris yang tidak valid dan peringkat yang sudah tidak berlaku.
Dampak
Atribusi yang tepat menggunakan token sangat penting untuk menautkan perilaku pengguna, termasuk klik dan pembelian, ke panggilan API penelusuran tertentu. Tanpa token, peristiwa penelusuran mungkin salah digunakan seolah-olah berasal dari penyedia penelusuran lain, dan peristiwa berikutnya tidak dapat ditautkan secara akurat ke penelusuran.
Token atribusi yang tidak akurat atau tidak ada akan mengganggu pelatihan model, karena digunakan untuk menautkan data peristiwa (seperti penelusuran yang diikuti dengan pembelian) untuk menghasilkan contoh positif dan negatif guna melatih model peringkat. Hal ini juga mencegah penghitungan yang akurat untuk metrik per penelusuran, seperti pendapatan per penelusuran, yang sangat penting untuk mengevaluasi performa selama eksperimen A/B.
Hal ini memengaruhi pelatihan model serta pengukuran dan analisis performa.
Deskripsi
Pemeriksaan ini memastikan bahwa ID pengunjung dan ID pengguna yang digunakan dalam panggilan permintaan penelusuran ke Search API adalah ID pengunjung dan ID pengguna yang sama yang disertakan dalam peristiwa pengguna penelusuran berikutnya (jika memungkinkan untuk peristiwa lihat halaman detail, tambahkan ke keranjang, dan pembelian selesai, yang terkait dengan interaksi penelusuran tersebut).
- Kolom
visitorIddanuserIdmasing-masing adalah ID unik untuk pengguna di satu perangkat. - Pemformatan ID pengunjung dan penggunaan yang konsisten di seluruh permintaan penelusuran dan peristiwa pengguna diperlukan agar penelusuran dapat mengidentifikasi aktivitas pengguna dengan benar.
- Pendekatan pen-debug-an dapat melibatkan penggunaan ID pengunjung dan ID pengguna untuk melacak interaksi.
Dampak
Ketidakcocokan menunjukkan potensi masalah seperti peristiwa yang hilang atau data yang rusak.
ID pengunjung dan ID pengguna sangat penting untuk pelatihan model Penelusuran Retail, terutama untuk fitur personalisasi. Atribusi pembelian yang akurat bergantung pada penggunaan ID pengunjung dan ID pengguna yang konsisten.
Vertex AI Search untuk e-commerce menggunakan ID pengunjung untuk menautkan hasil penelusuran yang dilihat oleh pengguna dengan apakah ID pengunjung yang sama tersebut kemudian membeli produk yang ditampilkan. Data ini digunakan untuk menautkan data penelusuran ke klik, tambahkan ke keranjang, atau pembelian untuk membuat contoh positif dan negatif guna melatih model peringkat.
Jika ID pengunjung tidak cocok, hal ini akan menyebabkan kerusakan yang membuat peristiwa pembelian tidak dapat diatribusikan ke penelusuran atau tampilan halaman detail yang mendahuluinya, sehingga terlihat seolah-olah tidak ada penelusuran yang menghasilkan pembelian lanjutan. Hal ini tidak hanya mengganggu pelatihan model, tetapi juga mempersulit penghitungan metrik per penelusuran seperti pendapatan per penelusuran. Tantangan lainnya terletak pada penghitungan indikator performa utama (KPI) secara akurat seperti pendapatan per pengunjung, rasio konversi, dan nilai pesanan rata-rata, yang bergantung pada penautan peristiwa pengguna ke penelusuran secara akurat. Jadi, pemeriksaan ini memengaruhi pelatihan dan pengukuran model.
Jumlah kueri cocok antara Search API dan peristiwa (terapkan ini untuk penjelajahan jika diperlukan)
Deskripsi
Pemeriksaan ini membandingkan volume permintaan penelusuran yang dilakukan ke Search API untuk jalur eksperimen tertentu (terutama jalur Google) dengan volume peristiwa pengguna penelusuran yang dicatat untuk jalur yang sama.
Diharapkan jumlah peristiwa penelusuran yang dikumpulkan akan sangat cocok dengan jumlah panggilan API penelusuran yang dilakukan.
Dampak
- Ketidakcocokan yang signifikan menunjukkan bahwa peristiwa pengguna tidak dikumpulkan atau dikirim ke Google dengan benar.
- Hal ini dapat disebabkan oleh masalah penyerapan peristiwa (peristiwa tidak ada atau tidak lengkap) atau pemberian tag yang salah pada peristiwa pengguna dengan ID eksperimen.
- Pengumpulan peristiwa pengguna yang tepat sangat penting karena interaksi pengguna yang dicatat dalam peristiwa memberikan masukan yang diperlukan model untuk mengoptimalkan hasil.
- Jika peristiwa tidak ada, model akan menerima lebih sedikit data untuk pelatihan, yang dapat berdampak negatif pada performanya.
- Akurasi dan keandalan metrik yang digunakan untuk mengevaluasi pengujian A/B (seperti rasio klik-tayang, rasio konversi, metrik pendapatan) sepenuhnya bergantung pada kelengkapan dan kebenaran data peristiwa pengguna.
- Jika peristiwa tidak ada, metrik ini tidak dapat dihitung secara akurat, sehingga menyebabkan analisis performa yang tidak akurat dan hasil pengujian A/B yang tidak dapat diandalkan.
- Ketidakcocokan jumlah kueri antara panggilan API dan peristiwa memengaruhi pelatihan dan pengukuran model.
Deskripsi
Pemeriksaan ini memverifikasi bahwa saat pengguna menerapkan filter ke hasil penelusuran (yang tercermin dalam permintaan penelusuran), peristiwa pengguna penelusuran yang sesuai, yang ditautkan oleh token atribusi, juga menyertakan informasi filter yang benar.
Pemeriksaan ini melibatkan verifikasi konsistensi untuk pasangan yang ditautkan dengan token tertentu, serta memverifikasi konsistensi keseluruhan data filter yang ada dalam peristiwa dibandingkan dengan panggilan API.
Dampak
- Pernyataan filter dalam peristiwa penelusuran diperlukan untuk menggunakan aspek dinamis.
- Model Retail Search menyimpulkan popularitas aspek dari filter yang ada dalam permintaan penelusuran, yang sangat penting untuk performa aspek dinamis yang optimal.
- Jika data filter tidak ada atau salah dalam peristiwa pengguna, kemampuan model untuk mempelajari interaksi pengguna yang melibatkan filter akan terganggu.
- Hal ini secara langsung memengaruhi pelatihan dan efektivitas fitur seperti penyeleksian dinamis.
- Pemeriksaan ini juga berguna untuk men-debug masalah terkait hasil penelusuran, penelusuran percakapan, dan aspek dinamis.
- Meskipun dampak utamanya adalah pada pelatihan model khusus untuk aspek dinamis dan fitur terkait, hal ini juga memengaruhi kemampuan untuk men-debug dan mengukur performa fungsi spesifik ini secara akurat.
- Memengaruhi pelatihan model yang terkait dengan aspek dinamis dan penting untuk proses penelusuran bug dan analisis performa (pengukuran) fitur yang mengandalkan data filter.
Deskripsi
- Pemeriksaan ini memverifikasi bahwa parameter penomoran halaman (offset) dan kriteria pengurutan (urutkan menurut) yang disertakan dalam permintaan penelusuran yang dibuat ke Search API ditampilkan dengan benar dalam peristiwa pengguna penelusuran yang sesuai.
- Peristiwa ini biasanya ditautkan ke permintaan asli menggunakan token atribusi.
- Pemeriksaan ini memastikan konsistensi untuk interaksi tertentu yang ditautkan dengan token dan keseluruhan data yang dikirim dalam peristiwa.
- Mempertahankan konsistensi ini dalam data peristiwa penting untuk men-debug perjalanan pengguna yang melibatkan penomoran halaman atau pengurutan dan untuk fitur seperti penelusuran percakapan dan faset dinamis.
Dampak
- Ketidakcocokan menghambat kemampuan untuk menganalisis secara akurat cara pengguna berinteraksi dengan hasil penelusuran dalam kondisi penomoran halaman atau pengurutan tertentu.
- Hal ini memengaruhi upaya proses debug untuk fitur ini dan menyulitkan penilaian performanya secara akurat (memengaruhi pengukuran performa fitur seperti penelusuran percakapan atau performa penelusuran dinamis).
- Data peristiwa yang konsisten sangat penting untuk pelatihan model, dan inkonsistensi dapat secara tidak langsung memengaruhi insight yang diperoleh dari analisis perilaku pengguna dalam berbagai kondisi tampilan.
- Konsistensi parameter permintaan dan nilai peristiwa dicatat sebagai hal yang penting untuk performa model pengurutan ulang berbasis klik.
- Hal ini terutama memengaruhi proses debug dan pengukuran fitur tertentu dan, sampai batas tertentu, efektivitas pelatihan model yang terkait dengan pemahaman interaksi pengguna dengan hasil yang di-pagination atau diurutkan.
Deskripsi
- Pemeriksaan ini memastikan bahwa ID pengunjung unik (yang digunakan untuk pengguna yang tidak login) tetap ditetapkan ke satu grup atau jalur eksperimen, yang berarti kontrol atau pengujian, selama periode pengujian A/B.
- Penetapan pengunjung yang konsisten diharapkan kecuali ada perubahan yang direncanakan seperti peningkatan traffic atau pengacakan ulang eksplisit.
- Mendeteksi peralihan berarti satu pengguna, yang diidentifikasi oleh ID pengunjungnya, berpindah antar-grup eksperimen secara tidak terduga.
- Hal ini dapat disebabkan oleh masalah seperti pengiriman peristiwa yang tidak tepat, pemberian tag ID eksperimen yang salah dalam peristiwa, masalah penerapan frontend, atau kesalahan konfigurasi perutean traffic penelusuran.
Dampak
- Penetapan pengunjung situs yang konsisten sangat penting untuk pengujian A/B yang adil.
- Jika pengunjung situs berpindah jalur, peristiwa pengguna (klik, tambahkan ke keranjang, pembelian) mungkin dicatat dengan ID eksperimen yang berbeda, sehingga tidak mungkin mengatribusikan perilaku keseluruhan mereka secara akurat ke satu pengalaman. Hal ini merusak data yang digunakan untuk menghitung indikator performa utama (KPI) untuk setiap jalur, sehingga menghasilkan hasil pengukuran yang miring dan tidak dapat diandalkan.
- Pelatihan model Penelusuran Ritel, terutama untuk personalisasi, sangat mengandalkan kolom
visitorIddanuserIdyang konsisten untuk menautkan interaksi pengguna dari waktu ke waktu dan mengatribusikan pembelian ke peristiwa penelusuran sebelumnya. - Penggantian ID pengunjung merusak tautan ini, sehingga mencegah model mempelajari secara efektif perjalanan pengguna dalam pengalaman penelusuran yang konsisten. Hal ini secara signifikan memengaruhi pengukuran dan pelatihan model.
Deskripsi
- Pemeriksaan ini secara khusus melihat peristiwa pengguna penelusuran yang diberi tag dengan ID eksperimen milik grup kontrol atau traffic penahanan, tetapi yang secara tidak terduga berisi token atribusi yang dibuat Google.
- Token atribusi ditampilkan oleh Retail Search API, dan dimaksudkan untuk disertakan dalam peristiwa pengguna berikutnya untuk traffic yang ditayangkan Google.
- Traffic kontrol menggunakan mesin telusur yang ada dan tidak boleh menerima atau mengirim token atribusi Google.
- Masalah ini terkait dengan pemeriksaan pengalihan ID eksperimen, karena menyiratkan bahwa peristiwa salah diberi tag atau dirutekan.
- Masalah ini mungkin menunjukkan kemungkinan adanya caching respons penelusuran yang akan menurunkan performa penelusuran dan pengalaman pengguna karena inventaris yang tidak valid dan peringkat yang sudah tidak berlaku.
Dampak
- Keberadaan token atribusi Google dalam peristiwa grup kontrol menyebabkan atribusi ditandai secara keliru.
- Artinya, peristiwa dari pengguna yang mengalami penelusuran kontrol (non-Google) dikaitkan secara keliru dengan jalur eksperimen Google.
- Hal ini secara langsung mendistorsi perhitungan metrik untuk jalur Google dengan menyertakan data dari grup kontrol, sehingga mendistorsi performa yang dirasakan dan membatalkan pengukuran.
- Dari perspektif pelatihan model, model menggunakan peristiwa pengguna yang diatribusikan untuk mempelajari interaksi dengan hasil penelusuran.
- Menyertakan peristiwa yang keliru diatribusikan dari grup kontrol akan memasukkan data yang tidak relevan atau bertentangan ke dalam set pelatihan, yang berpotensi menyebabkan penurunan performa model.
- Pemeriksaan ini memengaruhi pengukuran dan pelatihan model.
Deskripsi
- Pemeriksaan ini berfokus pada panggilan permintaan penelusuran masuk ke Retail Search API itu sendiri.
- Fitur ini mencari permintaan yang berasal dari ID pengunjung atau ID eksperimen yang ditetapkan untuk grup kontrol atau traffic penahan.
- Hal ini menunjukkan bahwa traffic yang ditujukan untuk grup kontrol atau penahanan diarahkan secara tidak benar ke endpoint API jalur eksperimen Google.
- Masalah ini sangat mirip dengan pemeriksaan pengalihan ID pengunjung, tetapi diamati dari sisi permintaan API, bukan hanya sisi peristiwa pengguna.
Dampak
- Temuan ini menunjukkan kesalahan konfigurasi mendasar dalam mekanisme pemisahan dan perutean traffic pengujian A/B.
- Grup eksperimen tidak diisolasi dengan benar jika traffic kontrol dikirim ke Google API.
- Hal ini membatalkan penyiapan pengujian A/B dan mengganggu keadilan perbandingan.
- Hal ini secara langsung memengaruhi pengukuran karena volume dan komposisi traffic di jalur Google meningkat karena penyertaan pengguna yang tidak diinginkan, sehingga menyebabkan penghitungan dan analisis metrik yang tidak akurat.
- Untuk pelatihan model, meskipun log API itu sendiri bukan data pelatihan utama, peristiwa pengguna berikutnya yang dihasilkan oleh traffic yang salah dialihkan ini, jika juga salah diatribusikan, akan menimbulkan gangguan dan berpotensi memberikan sinyal yang salah ke dalam data pelatihan.
- Masalah ini memengaruhi pengukuran dan pelatihan model.
Deskripsi
- Pemeriksaan ini memvalidasi bahwa peristiwa pengguna yang menyelesaikan pembelian yang dicatat untuk pengguna (diidentifikasi berdasarkan ID pengunjung atau ID pengguna) diberi tag
experimentIdsyang benar sesuai dengan jalur pengujian A/B yang ditetapkan untuknya, seperti kontrol atau eksperimen. - Deteksi ini mendeteksi kasus saat peristiwa pembelian pengguna dikaitkan dengan jalur eksperimen selain jalur yang digunakan pengguna saat melakukan tindakan penelusuran yang relevan yang mengarah ke pembelian.
- Masalah ini terkait erat dengan mempertahankan penetapan pengunjung yang konsisten ke grup eksperimen dan bergantung pada ID eksperimen yang disertakan dalam peristiwa pembelian selesai.
Dampak
- Penetapan pengunjung yang konsisten ke jalur eksperimen sangat penting untuk pengujian A/B yang akurat.
- Jika peristiwa penyelesaian pembelian salah diberi tag dengan ID eksperimen yang salah, peristiwa tersebut akan salah diatribusikan ke jalur tersebut.
- Hal ini secara langsung memengaruhi metrik yang mengandalkan data pembelian per jalur, seperti rasio pendapatan, rasio pesanan pembelian, nilai pesanan rata-rata, dan rasio konversi.
- Atribusi yang keliru membuat performa berbagai grup eksperimen tidak dapat dibandingkan secara akurat, sehingga menghasilkan hasil pengukuran pengujian A/B yang tidak valid dan tidak dapat diandalkan.
- Dari perspektif pelatihan model, model Penelusuran Ritel, terutama yang mengoptimalkan pendapatan atau rasio konversi, dilatih dengan menautkan interaksi pengguna (seperti penelusuran) ke pembelian berikutnya untuk memahami hasil mana yang menghasilkan konversi.
- Atribusi yang tepat, yang sering menggunakan ID pengunjung, pengguna, dan eksperimen untuk menghubungkan kembali peristiwa pembelian ke penelusuran, sangat penting untuk membuat contoh pelatihan positif ini.
- Jika peristiwa pembelian keliru diatribusikan karena ID yang tidak konsisten atau pengalihan jalur eksperimen, data pelatihan akan rusak dengan sinyal yang salah.
- Valid jika ID eksperimen dikirim dalam peristiwa pembelian: Seperti yang disebutkan, pemeriksaan ini valid dan berdampak hanya jika
experimentIdsditerapkan dan dikirim dengan benar dalam peristiwa pengguna yang menyelesaikan pembelian.
Deskripsi
- Mirip dengan pemeriksaan peristiwa pembelian, hal ini memverifikasi bahwa peristiwa pengguna add_to_cart untuk ID pengunjung tertentu dikaitkan dengan benar ke jalur eksperimen yang ditetapkan pengguna menggunakan kolom ID eksperimen.
- Fitur ini mengidentifikasi kasus saat peristiwa tambahkan ke keranjang ditandai dengan ID eksperimen untuk jalur yang tidak ditetapkan kepada pengguna.
- Masalah ini dapat berasal dari penggunaan ID pengunjung yang tidak konsisten di berbagai jenis peristiwa atau pemberian tag
experimentIdsyang salah.
Dampak
- Peristiwa add_to_cart yang salah diberi tag menyebabkan atribusi perilaku pengguna ini ke jalur eksperimen menjadi tidak benar.
- Hal ini secara langsung memengaruhi metrik seperti rasio penambahan ke keranjang dan rasio konversi, terutama jika rasio penambahan ke keranjang dianggap sebagai langkah penting dalam funnel konversi.
- Metrik yang tidak akurat akan mengurangi keandalan hasil pengujian A/B dan kemampuan untuk mengukur dampak eksperimen dengan benar.
- Dari perspektif pelatihan model, peristiwa tambahkan ke keranjang berfungsi sebagai sinyal positif penting yang dipelajari oleh model, terutama model yang dioptimalkan untuk pendapatan.
- Jika peristiwa ini keliru diatribusikan ke jalur eksperimen yang salah karena ID atau pemberian tag
experimentIdsyang tidak konsisten, model akan menerima sinyal pelatihan yang tidak akurat atau salah. - Valid jika ID eksperimen dikirim dalam peristiwa add-to-cart: Seperti yang disebutkan, pemeriksaan ini hanya valid dan berdampak jika
experimentIdsditerapkan dan dikirim dengan benar dalam peristiwa pengguna add-to-cart.
Deskripsi
- Pemeriksaan ini menilai apakah distribusi aktivitas pengguna, yang dikategorikan menurut jenis perangkat (misalnya, seluler, desktop, aplikasi), seimbang di jalur kontrol dan eksperimen untuk setiap jenis peristiwa pengguna (Penelusuran, Lihat halaman detail, Tambahkan ke keranjang, Pembelian).
- Tujuannya adalah untuk memastikan bahwa proporsi pengguna yang berinteraksi dengan situs menggunakan perangkat seluler kurang lebih sama di grup kontrol dan grup pengujian, dan demikian pula untuk jenis perangkat lainnya.
- Mendeteksi kemiringan yang signifikan menunjukkan potensi masalah dalam mekanisme yang digunakan untuk membagi traffic atau merutekan peristiwa berdasarkan jenis perangkat.
Dampak
Distribusi perangkat yang miring berarti grup kontrol dan pengujian tidak seimbang secara demografis dalam hal perangkat yang digunakan, mirip dengan masalah pembagian demografis.
Perilaku pengguna, pola penjelajahan, dan rasio konversi dapat sangat bervariasi bergantung pada perangkat yang digunakan. Itulah sebabnya pembagian perangkat yang tidak seimbang antar-jalur eksperimen akan menimbulkan bias dalam perbandingan pengujian A/B, sehingga menyebabkan pengukuran metrik bisnis utama yang tidak akurat untuk setiap jalur. Hal ini juga disebabkan oleh fakta bahwa hasil dari satu grup mungkin dipengaruhi secara tidak proporsional oleh persentase pengguna yang lebih tinggi atau lebih rendah dari jenis perangkat tertentu, sehingga sulit untuk menentukan dampak sebenarnya dari eksperimen.
Meskipun jenis perangkat tidak selalu menjadi fitur langsung di semua model, memastikan lalu lintas yang seimbang akan membantu memastikan bahwa data pelatihan, yang berasal dari peristiwa pengguna di setiap jalur, secara akurat mencerminkan distribusi perilaku pengguna di dunia nyata di seluruh perangkat. Ketidakseimbangan secara tidak langsung dapat menyebabkan data pelatihan yang terlalu merepresentasikan atau kurang merepresentasikan perilaku pengguna dari perangkat tertentu, sehingga berpotensi menghasilkan model yang tidak dioptimalkan secara optimal untuk keseluruhan basis pengguna.
Peristiwa membentuk dasar untuk pelacakan KPI dan pemecahan masalah umum.
Deskripsi
- Pemeriksaan ini membandingkan data filter yang disertakan dalam peristiwa pengguna penelusuran antara jalur kontrol dan eksperimen untuk kueri penelusuran yang serupa.
- Hal ini memverifikasi bahwa informasi filter diambil dengan benar, konsisten, dan dengan kesamaan di antara jalur.
- Hal ini mencakup pemeriksaan apakah opsi filter (facet) yang tersedia yang ditampilkan kepada pengguna sama atau setara, apakah nilai filter yang dikirim dalam peristiwa cocok dengan format yang diharapkan atau data katalog, dan apakah UI/UX untuk pemfilteran dapat dibandingkan.
- Perbedaan dapat muncul jika filter tidak diambil, diambil secara tidak benar, atau jika UI/opsi pemfilteran berbeda, yang biasanya dapat dilacak kembali ke masalah konfigurasi di Catalog atau Search API.
Dampak
- Perbedaan dalam pengalaman pemfilteran atau cara data filter diambil di antara jalur eksperimen dapat secara langsung memengaruhi cara pengguna berinteraksi dengan hasil penelusuran.
- Jika satu jalur menawarkan opsi pemfilteran yang lebih baik atau berbeda, pengguna di jalur tersebut mungkin menyempurnakan penelusuran mereka secara berbeda, sehingga menyebabkan variasi dalam perilaku pengguna dan berpotensi memengaruhi metrik seperti rasio konversi untuk penelusuran yang difilter.
- Hal ini memperkenalkan bias variabel ke dalam pengujian A/B, sehingga sulit untuk mengatribusikan perbedaan metrik yang diamati hanya pada perbedaan peringkat penelusuran inti.
- Kurangnya data filter yang diambil dalam peristiwa juga membatasi kemampuan untuk menganalisis metrik performa yang dikelompokkan berdasarkan penggunaan filter, sehingga memengaruhi insight pengukuran.
- Untuk pelatihan model, informasi filter dalam peristiwa penelusuran sangat penting untuk melatih model aspek dinamis, karena model mempelajari popularitas aspek dari sinyal penggunaan filter pengguna.
- Informasi penggunaan filter yang akurat dalam peristiwa juga penting untuk model pengurutan ulang berbasis klik; jika nilai filter dalam peristiwa tidak cocok dengan nilai filter dalam permintaan penelusuran, performa model untuk kueri dengan filter akan terpengaruh secara negatif.
- Data filter yang tidak konsisten atau tidak ada dalam peristiwa menurunkan kualitas model yang terkait dengan aspek dinamis dan pengurutan ulang untuk kueri yang difilter.
Deskripsi
- Pemeriksaan ini melibatkan pemeriksaan perjalanan pengguna penelusuran tertentu dengan menautkan peristiwa penelusuran ke permintaan Search API yang sesuai menggunakan
attributionToken. - Token atribusi dibuat oleh Vertex AI Search untuk commerce dan ditampilkan dengan setiap permintaan penelusuran.
- Pemeriksaan ini secara khusus membandingkan kolom
searchQuerydalam peristiwa penelusuran dengan string kueri sebenarnya yang dikirim dalam permintaan Search API awal yang menampilkan Token atribusi. - Jika string kueri ini tidak cocok meskipun ada token atribusi penautan, hal ini menunjukkan bahwa searchQuery yang dikirim dalam peristiwa pengguna tidak mencerminkan kueri penelusuran asli pengguna secara akurat.
Dampak
- Masalah ini sangat memengaruhi pelatihan model.
- Vertex AI Search untuk commerce menggunakan data peristiwa untuk melatih modelnya.
- Model, terutama model pengurutan ulang berbasis klik, belajar dengan menautkan interaksi pengguna (seperti klik, penambahan ke keranjang, dan pembelian) kembali ke permintaan penelusuran yang menghasilkan hasil.
- Penautan ini mengandalkan informasi yang akurat dalam peristiwa, termasuk kolom
searchQuerydanattributionToken. - Jika
searchQuerydalam peristiwa tidak cocok dengan kueri sebenarnya dari permintaan Search API, model akan dilatih berdasarkan data yang salah, yang mengaitkan perilaku pengguna dengan kueri yang salah. - Hal ini dapat menyebabkan dampak negatif yang parah pada kualitas hasil penelusuran karena model mempelajari strategi pemberian peringkat yang tidak optimal berdasarkan data kueri yang salah.
- Meskipun dampak utamanya adalah pada kualitas pelatihan model, hal ini juga dapat secara tidak langsung memengaruhi pengukuran, karena model yang dilatih dengan data yang buruk dapat berperforma buruk, sehingga menyebabkan hasil pengujian A/B yang miring meskipun peristiwa dicatat.
Deskripsi
- Pemeriksaan ini adalah proses validasi manual di mana penguji menyimulasikan perjalanan pengguna umum yang melibatkan serangkaian tindakan seperti penelusuran, mengklik produk (peristiwa
detail-page-view), menambahkan ke keranjang, dan berpotensi melakukan pembelian. - Dengan mencatat ID pengunjung dan stempel waktu untuk tindakan ini, penguji kemudian mengambil peristiwa pengguna yang direkam untuk ID pengunjung tertentu tersebut dari log atau platform data.
- Tujuannya adalah untuk memverifikasi korespondensi 1:1 antara tindakan yang diamati pengguna dan peristiwa yang dicatat dalam sistem (seperti tindakan penelusuran harus menghasilkan peristiwa penelusuran, klik, atau peristiwa
detail-page-view). - Peristiwa yang tidak ada, peristiwa dengan ID pengunjung yang salah, atau data yang rusak dalam peristiwa (seperti ID produk atau ID eksperimen yang tidak ada) menunjukkan masalah dalam pemrosesan peristiwa.
Dampak
- Masalah yang diidentifikasi oleh pemeriksaan ini sangat memengaruhi pengukuran dan pelatihan model.
Pengukuran
- Peristiwa pengguna yang akurat dan lengkap sangat penting untuk menghitung metrik bisnis utama dalam uji A/B, seperti rasio klik-tayang penelusuran, rasio konversi penelusuran, rasio tambah ke keranjang penelusuran, dan pendapatan per pengunjung.
- Metrik ini mengandalkan atribusi perilaku pengguna (klik, penambahan ke keranjang, pembelian) ke hasil penelusuran dan jalur eksperimen tertentu.
- Jika peristiwa tidak ada atau rusak untuk pengguna, tindakan mereka tidak sepenuhnya dicatat, sehingga menyebabkan penghitungan metrik ini salah untuk jalur eksperimen tempat mereka berada.
- Hal ini akan menimbulkan bias dan gangguan, sehingga hasil pengujian A/B menjadi tidak akurat dan tidak dapat diandalkan untuk pengambilan keputusan. Misalnya, peristiwa pembelian yang tidak ada akan secara langsung memengaruhi metrik peningkatan pendapatan dan rasio konversi.
Pelatihan model
- Model Vertex AI Search untuk commerce dilatih secara ekstensif pada data peristiwa pengguna untuk mempelajari pola perilaku pengguna dan mengoptimalkan peringkat.
- ID pengunjung dan pengguna sangat penting untuk fitur personalisasi dan menautkan peristiwa guna membuat contoh pelatihan.
- Peristiwa yang hilang atau rusak berarti model kehilangan sinyal pelatihan yang berharga dari urutan interaksi pengguna tersebut. Misalnya, peristiwa pembelian atau tambahkan ke keranjang yang tidak ada akan mencegah model mempelajari interaksi produk mana yang menghasilkan konversi.
- Demikian pula, peristiwa penayangan halaman detail yang tidak ada berarti model tidak mendapatkan sinyal tentang klik. Pengurangan kuantitas dan kualitas data pelatihan ini menurunkan kemampuan model untuk belajar secara efektif, sehingga menghasilkan kualitas hasil penelusuran yang buruk dan berpotensi meniadakan manfaat penggunaan mesin telusur berbasis ML.
- Pemetaan atau pemformatan ID pengunjung yang tidak konsisten juga dapat mengganggu proses ini.
- Peristiwa pembelian yang tidak ada akan memengaruhi pelatihan model karena model tidak pernah melihat pembelian.