Panduan memulai penyerapan peristiwa pengguna

Halaman ini memberikan panduan dan praktik terbaik umum untuk menyerap peristiwa pengguna. Lihat tutorial untuk memulai.

Sebelum memulai

Tutorial

Tutorial ini menunjukkan cara mengimpor peristiwa pengguna dari berbagai sumber.

Mengimpor peristiwa dari Cloud Storage

Tutorial ini menunjukkan cara mengimpor peristiwa pengguna dari Cloud Storage.

Untuk mengikuti panduan langkah demi langkah tugas ini langsung di Cloud Shell Editor, klik Pandu saya:

Pandu saya

Mengimpor peristiwa dari BigQuery

Tutorial ini menunjukkan cara mengimpor peristiwa pengguna dari BigQuery.

Untuk mengikuti panduan langkah demi langkah tugas ini langsung di Cloud Shell Editor, klik Pandu saya:

Pandu saya

Mengimpor peristiwa secara inline

Tutorial ini menunjukkan cara mengimpor data peristiwa pengguna secara inline.

Untuk mengikuti panduan langkah demi langkah tugas ini langsung di Cloud Shell Editor, klik Pandu saya:

Pandu saya

Pipeline penyerapan data AI Commerce Search mencakup data katalog produk dan peristiwa pengguna. Aliran data ini memberikan dasar untuk pelatihan model dan evaluasi berkelanjutan melalui mekanisme masukan. Penyerapan data yang akurat dan lengkap adalah proses berkelanjutan untuk mempertahankan kemampuan adaptasi model yang mendasarinya, yang secara langsung memengaruhi kualitas dan relevansi hasil penelusuran.

Praktik terbaik umum penyerapan peristiwa pengguna

Pertimbangkan praktik terbaik penyerapan data ini saat membuat arsitektur solusi penelusuran Anda untuk memaksimalkan efisiensi dan efektivitas.

Menyerap peristiwa pengguna di AI Commerce Search

Dengan meniru proses penyerapan katalog, AI Commerce Search menawarkan mekanisme ganda untuk data peristiwa pengguna. Impor massal dan streaming real-time memberikan fleksibilitas untuk beragam arsitektur backend pelanggan. Namun, tidak seperti katalog, yang memungkinkan pendekatan hybrid, strategi penyerapan khusus lebih baik untuk peristiwa pengguna. Dari dua opsi tersebut, streaming real-time adalah standar dalam penerapan praktis.

Keduanya menghasilkan hasil yang sebanding dalam pelatihan model, pengukuran KPI, dan pengoptimalan pendapatan, tetapi ada pertukaran yang tidak terlalu signifikan. Misalnya, impor massal mungkin lebih efisien untuk memproses volume data historis, sedangkan streaming lebih responsif terhadap pengguna.

Pilihan ini bergantung pada persyaratan lingkungan retail Anda, seperti:

  • Target latensi untuk menggabungkan peristiwa pengguna ke dalam pelatihan model.
  • Volume peristiwa yang dihasilkan.

Menskalakan penyerapan peristiwa pengguna di AI Commerce Search

Bersiaplah untuk lonjakan traffic dan pastikan integritas data dengan merencanakan skenario penskalaan secara proaktif. Peristiwa khusus dengan traffic tinggi seperti penjualan akhir pekan dapat memicu lonjakan aktivitas pengguna 10 hingga 20 kali lipat. Kuota yang memadai dan skalabilitas sistem penyerapan Anda untuk menangani lonjakan tersebut sangat penting.

Peristiwa ini sering kali muncul sebagai lonjakan traffic yang tiba-tiba, bukan peningkatan bertahap. Peristiwa yang terlewat selama periode puncak ini dapat menghambat pelatihan model, menurunkan performa penelusuran, dan memiringkan pengukuran KPI. Masalah proses debug dapat menjadi tantangan, karena peristiwa membentuk dasar untuk pelacakan KPI dan pemecahan masalah umum. Menerapkan pemberitahuan yang kuat dapat memberi tahu Anda tentang kualitas data yang menurun, yang sering kali merupakan konsekuensi dari data peristiwa yang terlewat atau salah.

Dengan mengantisipasi skenario ini dan mengambil tindakan, Anda mempertahankan keandalan dan akurasi data peristiwa pengguna, bahkan dalam kondisi beban ekstrem. Data yang akurat menjadi dasar bagi sistem AI Commerce Search untuk memberikan performa yang dioptimalkan, analisis yang akurat, dan pengalaman yang berpusat pada pengguna selama traffic puncak.

Arsitektur referensi untuk penyerapan peristiwa batch

Arsitektur referensi untuk penyerapan peristiwa batch

Penyerapan batch memerlukan arsitektur skalabel yang dirancang untuk penyerapan peristiwa pengguna yang efisien ke AI Commerce Search. Arsitektur ini terdiri dari Google Cloud layanan, termasuk Pub/Sub, Dataflow, BigQuery, Workflows, dan Cloud Storage, untuk mengelola proses penyerapan secara bertahap dan terkontrol.

Ringkasan arsitektur

Arsitektur penyerapan peristiwa batch menggunakan pendekatan multi-tahap untuk memastikan transfer data peristiwa pengguna yang andal dan akurat ke AI Commerce Search.

Komponen utamanya meliputi:

  • Pub/Sub: Bertindak sebagai titik entri awal untuk peristiwa pengguna, yang menyediakan sistem pesan yang skalabel dan tahan lama.
  • Dataflow (peristiwa streaming): Terus-menerus membaca peristiwa pengguna mentah dari Pub/Sub dan menuliskannya ke dalam tabel peristiwa mentah BigQuery, serta menangkap peristiwa yang gagal untuk proses debug.
  • BigQuery: Berfungsi sebagai solusi data warehousing utama, yang menyimpan peristiwa mentah, peristiwa yang diubah, dan berbagai metadata terkait proses penyerapan.
  • Workflows: Mengorkestrasi pemrosesan batch peristiwa mentah setiap jam, memastikan integritas data, dan memfasilitasi penanganan error.
  • Cloud Storage: Menyediakan penyimpanan sementara untuk Dataflow selama pemrosesan dan untuk mengarsipkan log peristiwa yang gagal.
  • AI Commerce Search: Tujuan akhir untuk data peristiwa pengguna, yang memungkinkan kemampuan penelusuran dan rekomendasi lanjutan.

Alur data langkah demi langkah

Berikut adalah alur data langkah demi langkah untuk penyerapan peristiwa massal.

  1. Streaming peristiwa dan persistensi data mentah:

    • Peristiwa pengguna dipublikasikan ke topik Pub/Sub dari sistem sumber pelanggan.
    • Pipeline streaming Dataflow (peristiwa streaming) terus-menerus membaca peristiwa dari Pub/Sub.
    • Peristiwa mentah yang berhasil ditulis ke dalam tabel peristiwa mentah BigQuery.
    • Kegagalan apa pun selama penyerapan awal ini akan ditangkap dan disimpan dalam tabel mentah BigQuery yang terpisah untuk analisis dan pemecahan masalah.

  2. Pemrosesan dan transformasi batch setiap jam:

    • Workflows memicu pipeline Dataflow terjadwal setiap jam (Peristiwa Batch Incr).
    • Pipeline ini membaca peristiwa mentah dari tabel BigQuery.
    • Peristiwa diubah menjadi format AI Commerce Search yang diperlukan.
    • Peristiwa yang diubah ditulis ke dalam tabel peristiwa yang dikurasi BigQuery.
    • Kegagalan transformasi apa pun akan ditangkap dalam tabel peristiwa yang dikurasi BigQuery.

  3. Validasi dan persiapan data:

    • Workflows menjalankan prosedur tersimpan BigQuery untuk membuat atau memperbarui tampilan (Tampilan Peristiwa Pembaruan Incr) yang mencerminkan data peristiwa yang diubah terbaru dari jam terakhir.
    • Alur kerja kemudian melakukan pemeriksaan validasi pada tampilan ini, memastikan bahwa jumlah peristiwa yang diubah berada dalam batas yang telah ditentukan.

  4. Impor AI Commerce Search:

    • Jika validasi berhasil, Workflows akan memanggil AI Commerce Search import event API, yang mengarahkannya ke tampilan BigQuery yang berisi peristiwa yang diubah.
    • AI Commerce Search kemudian mengimpor peristiwa ini untuk diproses dan diindeks lebih lanjut.

Pertimbangan tambahan untuk penyerapan peristiwa batch

Aspek tambahan yang perlu dipertimbangkan saat menyerap peristiwa batch adalah:

  • Keamanan: Langkah-langkah keamanan yang sesuai, seperti kontrol akses dan enkripsi, harus diterapkan untuk melindungi data peristiwa pengguna yang sensitif.
  • Pemantauan dan logging: Pemantauan dan logging yang komprehensif harus disiapkan untuk melacak performa sistem dan mengidentifikasi potensi masalah secara proaktif.
  • Pengoptimalan biaya: Penggunaan resource harus dipantau untuk mengoptimalkan biaya dan memastikan penggunaan layanan yang efisien. Google Cloud

Arsitektur ini memberikan dasar untuk menyerap peristiwa pengguna ke AI Commerce Search. Dengan menggunakan berbagai Google Cloud layanan dan menggabungkan praktik terbaik untuk pemrosesan data dan penanganan error, arsitektur ini memungkinkan organisasi membangun solusi yang skalabel dan dapat dipertahankan untuk pengalaman penelusuran dan rekomendasi lanjutan.

Langkah berikutnya