사용자 이벤트 수집 시작 가이드

이 페이지에서는 사용자 이벤트 수집을 위한 안내와 일반적인 권장사항을 제공합니다. 튜토리얼을 참고하여 시작하세요.

시작하기 전에

튜토리얼

이 튜토리얼에서는 다양한 소스에서 사용자 이벤트를 가져오는 방법을 보여줍니다.

Cloud Storage에서 이벤트 가져오기

이 튜토리얼에서는 Cloud Storage에서 사용자 이벤트를 가져오는 방법을 설명합니다.

Cloud Shell 편집기에서 이 태스크의 단계별 안내를 직접 수행하려면 둘러보기를 클릭합니다.

둘러보기

BigQuery에서 이벤트 가져오기

이 튜토리얼에서는 BigQuery에서 사용자 이벤트를 가져오는 방법을 보여줍니다.

Cloud Shell 편집기에서 이 태스크의 단계별 안내를 직접 수행하려면 둘러보기를 클릭합니다.

둘러보기

이벤트 인라인 가져오기

이 튜토리얼에서는 사용자 이벤트 데이터를 인라인으로 가져오는 방법을 보여줍니다.

Cloud Shell 편집기에서 이 태스크의 단계별 안내를 직접 수행하려면 둘러보기를 클릭합니다.

둘러보기

Vertex AI Search for Commerce의 데이터 수집 파이프라인에는 제품 카탈로그와 사용자 이벤트 데이터가 모두 포함됩니다. 이 데이터 스트림은 피드백 메커니즘을 통해 모델 학습과 지속적인 평가를 위한 기반을 제공합니다. 정확하고 완전한 데이터 수집은 기본 모델의 적응성을 유지하기 위한 지속적인 프로세스로, 검색 결과 품질과 관련성에 직접적인 영향을 미칩니다.

사용자 이벤트 수집 일반 권장사항

효율성과 효과를 극대화하기 위해 검색 솔루션을 설계할 때는 다음 데이터 수집 권장사항을 고려하세요.

Vertex AI Search for commerce에서 사용자 이벤트 수집

카탈로그 수집 프로세스를 미러링하여 Vertex AI Search for commerce는 사용자 이벤트 데이터를 위한 이중 메커니즘을 제공합니다. 일괄 가져오기 및 실시간 스트리밍은 다양한 고객 백엔드 아키텍처에 유연성을 제공합니다. 하이브리드 접근 방식이 가능한 카탈로그와 달리 사용자 이벤트에는 전용 수집 전략이 더 적합합니다. 두 옵션 중 실시간 스트리밍이 실제 구현에서 표준입니다.

두 모델 모두 모델 학습, KPI 측정, 수익 최적화에서 비슷한 결과를 내지만 미묘한 절충이 있습니다. 예를 들어 대량 가져오기는 대량의 과거 데이터를 처리하는 데 더 효율적일 수 있지만 스트리밍은 사용자에게 더 빠르게 응답합니다.

선택은 다음과 같은 소매 환경 요구사항에 따라 달라집니다.

  • 사용자 이벤트를 모델 학습에 통합하기 위한 지연 시간 타겟입니다.
  • 생성되는 이벤트의 양입니다.

Vertex AI Search for commerce에서 사용자 이벤트 수집 확장

확장 시나리오를 사전에 계획하여 트래픽 급증에 대비하고 데이터 무결성을 보장하세요. 주말 세일과 같이 트래픽이 많은 특별 이벤트는 사용자 활동을 10~20배 급증시킬 수 있습니다. 이러한 급증을 처리할 수 있는 충분한 할당량과 수집 시스템의 확장성이 중요합니다.

이러한 이벤트는 점진적인 증가가 아닌 갑작스러운 트래픽 급증으로 나타나는 경우가 많습니다. 이러한 피크 기간에 이벤트가 누락되면 모델 학습이 저해되고, 검색 성능이 저하되며, KPI 측정값이 왜곡될 수 있습니다. 이벤트는 KPI 추적 및 일반적인 문제 해결의 기반이 되므로 문제를 디버깅하기 어려울 수 있습니다. 강력한 알림을 구현하면 누락되거나 잘못된 이벤트 데이터로 인해 발생하는 데이터 품질 저하를 알 수 있습니다.

이러한 시나리오를 예측하고 조치를 취하면 극심한 부하 조건에서도 사용자 이벤트 데이터의 신뢰성과 정확성을 유지할 수 있습니다. 정확한 데이터는 Vertex AI Search for commerce 시스템이 트래픽이 가장 많은 시간대에 최적화된 성능, 정확한 분석, 사용자 중심 환경을 제공할 수 있는 기반을 마련합니다.

일괄 이벤트 수집을 위한 참조 아키텍처

일괄 이벤트 수집을 위한 참조 아키텍처

일괄 수집에는 사용자 이벤트를 커머스용 Vertex AI Search에 효율적으로 수집하기 위해 설계된 확장 가능한 아키텍처가 필요합니다. 이 아키텍처는 Pub/Sub, Dataflow, BigQuery, 워크플로, Cloud Storage를 비롯한 Google Cloud 서비스로 구성되어 단계적이고 제어된 방식으로 수집 프로세스를 관리합니다.

아키텍처 개요

일괄 이벤트 수집 아키텍처는 다단계 접근 방식을 사용하여 사용자 이벤트 데이터를 Vertex AI Search for Commerce로 안정적이고 정확하게 전송합니다.

주요 구성요소는 다음과 같습니다.

  • Pub/Sub: 사용자 이벤트의 초기 진입점 역할을 하며 확장 가능하고 내구성 있는 메시징 시스템을 제공합니다.
  • Dataflow (스트리밍 이벤트): Pub/Sub에서 원시 사용자 이벤트를 지속적으로 읽고 BigQuery 원시 이벤트 테이블에 기록하며 디버깅을 위해 실패한 이벤트도 캡처합니다.
  • BigQuery: 기본 데이터 웨어하우징 솔루션으로, 원시 이벤트, 변환된 이벤트, 수집 프로세스와 관련된 다양한 메타데이터를 저장합니다.
  • 워크플로: 시간별 원시 이벤트 일괄 처리를 조정하여 데이터 무결성을 보장하고 오류 처리를 용이하게 합니다.
  • Cloud Storage: 처리 중에 Dataflow를 위한 임시 스토리지를 제공하고 실패한 이벤트 로그를 보관합니다.
  • 커머스용 Vertex AI Search: 사용자 이벤트 데이터의 최종 목적지로, 고급 검색 및 추천 기능을 지원합니다.

단계별 데이터 흐름

다음은 대량 이벤트 수집을 위한 단계별 데이터 흐름입니다.

  1. 이벤트 스트리밍 및 원시 데이터 지속성:

    • 사용자 이벤트는 고객 소스 시스템에서 Pub/Sub 주제로 게시됩니다.
    • Dataflow 스트리밍 파이프라인 (스트리밍 이벤트)은 Pub/Sub에서 이벤트를 지속적으로 읽습니다.
    • 성공한 원시 이벤트는 BigQuery 원시 이벤트 테이블에 기록됩니다.
    • 이 초기 수집 중에 발생하는 오류는 분석 및 문제 해결을 위해 별도의 BigQuery 원시 오류 테이블에 캡처되어 저장됩니다.

  2. 시간별 일괄 처리 및 변환:

    • Workflows는 시간별로 예약된 Dataflow 파이프라인 (Incr Batch Events)을 트리거합니다.
    • 이 파이프라인은 BigQuery 테이블에서 원시 이벤트를 읽습니다.
    • 이벤트가 필요한 Vertex AI Search for commerce 형식으로 변환됩니다.
    • 변환된 이벤트는 BigQuery 선별 이벤트 테이블에 작성됩니다.
    • 변환 실패는 BigQuery 선별 실패 이벤트 테이블에 캡처됩니다.

  3. 데이터 검증 및 준비:

    • 워크플로는 BigQuery 저장 프로시저를 실행하여 지난 1시간 동안의 최신 변환된 이벤트 데이터를 반영하는 뷰 (증분 업데이트 이벤트 뷰)를 만들거나 업데이트합니다.
    • 그런 다음 워크플로에서 이 뷰에 대한 유효성 검사를 실행하여 변환된 이벤트 수가 사전 정의된 기준점 내에 있는지 확인합니다.

  4. Vertex AI Search for commerce 가져오기:

    • 검증이 성공하면 Workflows가 변환된 이벤트가 포함된 BigQuery 뷰를 가리키는 상거래용 Vertex AI Search 가져오기 이벤트 API를 호출합니다.
    • 그런 다음 Vertex AI Search for commerce에서 이러한 이벤트를 가져와 추가 처리 및 색인 생성을 진행합니다.

일괄 이벤트 수집에 대한 추가 고려사항

일괄 이벤트를 수집할 때 고려해야 할 추가 사항은 다음과 같습니다.

  • 보안: 액세스 제어, 암호화 등 적절한 보안 조치를 구현하여 민감한 사용자 이벤트 데이터를 보호해야 합니다.
  • 모니터링 및 로깅: 시스템의 성능을 추적하고 잠재적인 문제를 사전에 식별할 수 있도록 포괄적인 모니터링 및 로깅을 설정해야 합니다.
  • 비용 최적화: 리소스 사용량을 모니터링하여 비용을 최적화하고 Google Cloud 서비스를 효율적으로 사용해야 합니다.

이 아키텍처는 사용자 이벤트를 Vertex AI Search for Commerce에 수집하기 위한 기반을 제공합니다. 다양한 Google Cloud 서비스를 사용하고 데이터 처리 및 오류 처리에 관한 권장사항을 통합하여 조직이 고급 검색 및 추천 환경을 위한 확장 가능하고 유지관리 가능한 솔루션을 빌드할 수 있도록 지원합니다.

다음 단계