本頁提供擷取使用者事件的指南和一般最佳做法。如要開始使用,請參閱教學課程。
事前準備
- 確認資料已從 Google Analytics 4 完整匯入至 BigQuery。
- 在控制台中查看匯入狀態,並參閱設定使用者事件記錄減少的快訊,瞭解如何排解問題。
- 匯入歷來的使用者事件資料前,請先參閱「記錄使用者事件的最佳做法」和本頁的「事前準備」一節。
- 匯入歷史目錄資料可進一步強化使用者事件,並提升模型準確度。
教學課程
這些教學課程說明如何從各種來源匯入使用者事件。
從 Cloud Storage 匯入事件
本教學課程說明如何從 Cloud Storage 匯入使用者事件。
如要直接在 Cloud Shell 編輯器中按照逐步指南操作,請按一下「Guide me」(逐步引導):
從 BigQuery 匯入事件
本教學課程說明如何從 BigQuery 匯入使用者事件。
如要直接在 Cloud Shell 編輯器中按照逐步指南操作,請按一下「Guide me」(逐步引導):
內嵌匯入事件
本教學課程說明如何以內嵌方式匯入使用者事件資料。
如要直接在 Cloud Shell 編輯器中按照逐步指南操作,請按一下「Guide me」(逐步引導):
AI Commerce Search 的資料擷取管道涵蓋產品目錄和使用者事件資料。這項資料串流可做為模型訓練的基礎,並透過意見回饋機制持續評估模型。準確且完整的資料擷取作業是持續進行的程序,可確保基礎模型維持適應性,直接影響搜尋結果的品質和關聯性。
擷取使用者事件的一般最佳做法
設計搜尋解決方案時,請參考下列資料擷取最佳做法,盡可能提升效率和成效。
在 AI Commerce Search 中擷取使用者事件
與目錄擷取程序類似,AI Commerce Search 提供雙重機制來處理使用者事件資料。大量匯入和即時串流功能可彈性配合各種客戶後端架構。不過,目錄可以採用混合式做法,但使用者事件最好採用專屬的擷取策略。在實際應用中,即時串流是標準做法。
兩者在模型訓練、KPI 評估和收益最佳化方面,都能產生可比較的結果,但仍存在細微的取捨。舉例來說,大量匯入可能更適合處理大量歷來資料,而串流則能更快速回應使用者。
選擇哪種服務取決於零售環境需求,例如:
- 將使用者事件納入模型訓練的延遲目標。
- 產生的事件量。
在 AI Commerce Search 中擴大擷取使用者事件
主動規劃擴充情境,為流量暴增做好準備,並確保資料完整性。在週末特賣等高流量特殊活動期間,使用者活動可能會暴增 10 到 20 倍。因此,充足的配額和可擴充的擷取系統至關重要。
這類事件通常會導致流量突然暴增,而非逐漸增加。如果這些尖峰時段缺少事件,可能會阻礙模型訓練、降低搜尋成效,以及導致 KPI 評估結果失真。由於事件是追蹤 KPI 和一般疑難排解的基礎,因此偵錯問題可能相當困難。導入完善的警報機制,即可在資料品質下降時收到通知,這通常是缺少或錯誤的事件資料所致。
預先因應這些情況並採取行動,即使在極端負載條件下,您仍可維持使用者事件資料的可靠性和準確度。準確的資料是 AI Commerce Search 系統的基礎,可確保系統在流量高峰期間提供最佳化成效、準確的分析資料,以及以使用者為中心的體驗。
批次事件擷取的參考架構
批次擷取需要可擴充的架構,才能有效將使用者事件擷取至 AI 輔助商務搜尋。這項架構由多項 Google Cloud 服務組成,包括 Pub/Sub、Dataflow、BigQuery、Workflows 和 Cloud Storage,可分階段控管擷取程序。
架構總覽
批次事件擷取架構採用多級式方法,確保使用者事件資料能可靠且準確地傳輸至 AI 購物搜尋。
主要元件包括:
- Pub/Sub:做為使用者事件的初始進入點,提供可擴充且耐用的訊息系統。
- Dataflow (串流事件):持續從 Pub/Sub 讀取原始使用者事件,並寫入 BigQuery 原始事件資料表,同時擷取任何失敗的事件以進行偵錯。
- BigQuery:做為主要資料倉儲解決方案,儲存原始事件、轉換後的事件,以及與擷取程序相關的各種中繼資料。
- 工作流程:每小時協調處理原始事件批次,確保資料完整性並簡化錯誤處理程序。
- Cloud Storage:在處理期間為 Dataflow 提供暫時儲存空間,並用於封存失敗的事件記錄。
- AI Commerce Search:使用者事件資料的最終目的地,可啟用進階搜尋和推薦功能。
逐步資料流程
以下是大量擷取事件的資料流程步驟。
事件串流和原始資料保存:
- 使用者事件會從客戶來源系統發布至 Pub/Sub 主題。
- Dataflow 串流管道 (串流事件) 會持續從 Pub/Sub 讀取事件。
- 系統會將成功的原始事件寫入 BigQuery 原始事件資料表。
- 系統會擷取並儲存在個別的 BigQuery 原始失敗資料表中,以供分析及疑難排解。
每小時批次處理和轉換:
- 工作流程會觸發每小時排定的 Dataflow 管道 (Incr Batch Events)。
- 這個管道會從 BigQuery 資料表讀取原始事件。
- 系統會將事件轉換為 AI Commerce Search 要求的格式。
- 轉換後的事件會寫入 BigQuery 彙整事件資料表。
- BigQuery 精選失敗事件資料表會記錄所有轉換失敗事件。
資料驗證與準備:
- 工作流程會執行 BigQuery 儲存程序,建立或更新檢視區塊 (Incr Update Event View),反映過去一小時內最新的轉換事件資料。
- 工作流程接著會對這個檢視畫面執行驗證檢查,確保轉換後的事件數量落在預先定義的門檻內。
匯入 AI Commerce Search:
- 如果驗證成功,Workflows 會叫用 AI Commerce Search 匯入事件 API,並將其指向包含轉換後事件的 BigQuery 檢視區塊。
- AI Commerce Search 接著會匯入這些事件,以進行後續處理和建立索引。
批次事件擷取的其他注意事項
大量擷取事件時,還應考量下列事項:
- 安全性:應實施適當的安全防護措施,例如存取控管和加密,保護機密的使用者事件資料。
- 監控和記錄:應設定完善的監控和記錄功能,追蹤系統效能並主動找出潛在問題。
- 成本最佳化:監控資源使用率,盡量節省成本,並確保 Google Cloud 服務能有效運用。
這個架構可做為基礎,將使用者事件擷取至 AI Commerce Search。運用各種 Google Cloud 服務,並採用資料處理和錯誤處理的最佳做法,協助機構建構可擴充且易於維護的解決方案,提供進階搜尋和推薦體驗。