Panduan memulai penyerapan peristiwa pengguna

Halaman ini memberikan panduan dan praktik terbaik umum untuk memproses data peristiwa pengguna. Lihat tutorial untuk memulai.

Sebelum memulai

Tutorial

Tutorial ini menunjukkan cara mengimpor peristiwa pengguna dari berbagai sumber.

Mengimpor peristiwa dari Cloud Storage

Tutorial ini menunjukkan cara mengimpor peristiwa pengguna dari Cloud Storage.

Untuk mengikuti panduan langkah demi langkah tugas ini langsung di Cloud Shell Editor, klik Pandu saya:

Pandu saya

Mengimpor peristiwa dari BigQuery

Tutorial ini menunjukkan cara mengimpor peristiwa pengguna dari BigQuery.

Untuk mengikuti panduan langkah demi langkah tugas ini langsung di Cloud Shell Editor, klik Pandu saya:

Pandu saya

Mengimpor peristiwa secara inline

Tutorial ini menunjukkan cara mengimpor data peristiwa pengguna secara inline.

Untuk mengikuti panduan langkah demi langkah tugas ini langsung di Cloud Shell Editor, klik Pandu saya:

Pandu saya

Pipeline penyerapan data Vertex AI Search untuk commerce mencakup data katalog produk dan data peristiwa pengguna. Aliran data ini memberikan fondasi untuk pelatihan model dan evaluasi berkelanjutan melalui mekanisme masukan. Penyerapan data yang akurat dan lengkap adalah proses berkelanjutan untuk mempertahankan kemampuan adaptasi model pokok, yang secara langsung memengaruhi kualitas dan relevansi hasil penelusuran.

Praktik terbaik umum penyerapan peristiwa pengguna

Pertimbangkan praktik terbaik penyerapan data ini saat merancang solusi penelusuran Anda untuk memaksimalkan efisiensi dan efektivitas.

Menyerap peristiwa pengguna di Vertex AI Search untuk commerce

Seperti proses penyerapan katalog, Vertex AI Search untuk commerce menawarkan mekanisme ganda untuk data peristiwa pengguna. Impor massal dan streaming real-time memberikan fleksibilitas untuk berbagai arsitektur backend pelanggan. Namun, tidak seperti katalog yang memungkinkan pendekatan campuran, strategi penyerapan khusus lebih baik untuk peristiwa pengguna. Dari kedua opsi tersebut, streaming real-time adalah standar dalam penerapan praktis.

Keduanya menghasilkan hasil yang sebanding dalam pelatihan model, pengukuran KPI, dan pengoptimalan pendapatan, tetapi ada perbedaan kecil. Misalnya, impor massal mungkin lebih efisien untuk memproses volume data historis, sementara streaming lebih responsif terhadap pengguna.

Pilihan ini bergantung pada persyaratan lingkungan retail Anda, seperti:

  • Target latensi untuk menggabungkan peristiwa pengguna ke dalam pelatihan model.
  • Volume peristiwa yang dihasilkan.

Menskalakan penyerapan peristiwa pengguna di Vertex AI Search untuk commerce

Bersiap menghadapi lonjakan traffic dan memastikan integritas data dengan merencanakan skenario penskalaan secara proaktif. Acara khusus dengan traffic tinggi seperti penjualan akhir pekan dapat memicu lonjakan aktivitas pengguna hingga 10 hingga 20 kali lipat. Kuota yang memadai dan skalabilitas sistem penyerapan Anda untuk menangani lonjakan tersebut sangatlah penting.

Peristiwa ini sering kali muncul sebagai lonjakan traffic yang tiba-tiba, bukan peningkatan bertahap. Peristiwa yang tidak tercatat selama periode puncak ini dapat menghambat pelatihan model, menurunkan performa penelusuran, dan memiringkan pengukuran KPI. Masalah penelusuran kesalahan bisa jadi sulit, karena peristiwa membentuk dasar untuk pelacakan KPI dan pemecahan masalah umum. Menerapkan pemberitahuan yang andal dapat memberi tahu Anda tentang penurunan kualitas data, yang sering kali merupakan akibat dari data peristiwa yang hilang atau salah.

Dengan mengantisipasi skenario ini dan mengambil tindakan, Anda dapat mempertahankan keandalan dan akurasi data peristiwa pengguna, bahkan dalam kondisi beban ekstrem. Data yang akurat akan meletakkan dasar bagi sistem Vertex AI Search untuk commerce Anda dalam memberikan performa yang dioptimalkan, analisis yang akurat, dan pengalaman yang berfokus pada pengguna selama lonjakan traffic.

Arsitektur referensi untuk penyerapan peristiwa batch

Arsitektur referensi untuk penyerapan peristiwa batch

Penyerapan batch memerlukan arsitektur yang skalabel yang dirancang untuk penyerapan peristiwa pengguna yang efisien ke dalam Vertex AI Search untuk commerce. Arsitektur ini terdiri dari Google Cloud layanan, termasuk Pub/Sub, Dataflow, BigQuery, Workflows, dan Cloud Storage, untuk mengelola proses penyerapan secara bertahap dan terkontrol.

Ringkasan arsitektur

Arsitektur penyerapan peristiwa batch menggunakan pendekatan multi-tahap untuk memastikan transfer data peristiwa pengguna yang andal dan akurat ke Vertex AI Search untuk commerce.

Komponen utamanya meliputi:

  • Pub/Sub: Bertindak sebagai titik entri awal untuk peristiwa pengguna, yang menyediakan sistem pesan yang skalabel dan tahan lama.
  • Dataflow (peristiwa streaming): Terus-menerus membaca peristiwa pengguna mentah dari Pub/Sub dan menuliskannya ke tabel peristiwa mentah BigQuery, serta mencatat peristiwa yang gagal untuk proses debug.
  • BigQuery: Berfungsi sebagai solusi data warehousing utama, yang menyimpan peristiwa mentah, peristiwa yang telah diubah, dan berbagai metadata yang terkait dengan proses penyerapan.
  • Alur kerja: Mengatur pemrosesan batch per jam untuk peristiwa mentah, memastikan integritas data, dan memfasilitasi penanganan error.
  • Cloud Storage: Menyediakan penyimpanan sementara untuk Dataflow selama pemrosesan dan untuk mengarsipkan log peristiwa yang gagal.
  • Vertex AI Search untuk commerce: Tujuan akhir untuk data peristiwa pengguna, yang memungkinkan kemampuan penelusuran dan rekomendasi lanjutan.

Alur data langkah demi langkah

Berikut adalah alur data langkah demi langkah untuk penyerapan peristiwa massal.

  1. Streaming peristiwa dan persistensi data mentah:

    • Peristiwa pengguna dipublikasikan ke topik Pub/Sub dari sistem sumber pelanggan.
    • Pipeline streaming Dataflow (peristiwa streaming) terus-menerus membaca peristiwa dari Pub/Sub.
    • Peristiwa mentah yang berhasil ditulis ke dalam tabel peristiwa mentah BigQuery.
    • Kegagalan apa pun selama penyerapan awal ini akan dicatat dan disimpan dalam tabel gagal mentah BigQuery terpisah untuk dianalisis dan dipecahkan masalahnya.

  2. Pemrosesan dan transformasi batch per jam:

    • Alur kerja memicu pipeline Dataflow terjadwal per jam (Incr Batch Events).
    • Pipeline ini membaca peristiwa mentah dari tabel BigQuery.
    • Peristiwa diubah menjadi format Vertex AI Search untuk commerce yang diperlukan.
    • Peristiwa yang telah ditransformasikan ditulis ke dalam tabel peristiwa yang diseleksi BigQuery.
    • Kegagalan transformasi apa pun dicatat dalam tabel peristiwa gagal yang dikurasi BigQuery.

  3. Validasi dan penyiapan data:

    • Workflows menjalankan prosedur tersimpan BigQuery untuk membuat atau memperbarui tampilan (Incr Update Event View) yang mencerminkan data peristiwa yang telah ditransformasi terbaru dari satu jam terakhir.
    • Alur kerja kemudian melakukan pemeriksaan validasi pada tampilan ini, memastikan bahwa jumlah peristiwa yang diubah berada dalam nilai minimum dan maksimum yang telah ditentukan.

  4. Impor Vertex AI Search untuk commerce:

    • Jika validasi berhasil, Workflows akan memanggil Vertex AI Search untuk API peristiwa impor commerce, dengan mengarahkannya ke tampilan BigQuery yang berisi peristiwa yang telah diubah.
    • Vertex AI Search untuk commerce kemudian mengimpor peristiwa ini untuk diproses dan diindeks lebih lanjut.

Pertimbangan tambahan untuk penyerapan peristiwa batch

Aspek tambahan yang perlu dipertimbangkan saat memproses peristiwa batch adalah:

  • Keamanan: Langkah-langkah keamanan yang sesuai, seperti kontrol akses dan enkripsi, harus diterapkan untuk melindungi data peristiwa pengguna yang sensitif.
  • Pemantauan dan logging: Pemantauan dan logging yang komprehensif harus disiapkan untuk melacak performa sistem dan mengidentifikasi potensi masalah secara proaktif.
  • Pengoptimalan biaya: Pemanfaatan resource harus dipantau untuk mengoptimalkan biaya dan memastikan penggunaan layanan Google Cloud yang efisien.

Arsitektur ini memberikan fondasi untuk menyerap peristiwa pengguna ke Vertex AI Search untuk commerce. Dengan menggunakan berbagai layanan Google Cloud dan menggabungkan praktik terbaik untuk pemrosesan data dan penanganan error, organisasi dapat membangun solusi yang skalabel dan mudah dikelola untuk pengalaman penelusuran dan rekomendasi tingkat lanjut.

Langkah berikutnya