개요
Google Cloud Cortex Framework는 전략적 엔터프라이즈 시스템의 원시 데이터를 고급 분석 및 AI에 사용할 수 있는 신뢰할 수 있는 고품질 데이터 애셋으로 변환하도록 설계된 데이터 제품 가속기를 제공합니다.
BigQueryGoogle Cloud Google Cloud
Cortex Framework는 팀이 데이터 파이프라인을 빌드, 오케스트레이션, 배포하는 방식을 간소화하여 가치 실현 기간을 단축하고 차세대 엔터프라이즈 AI 에이전트를 위한 고품질 기반을 제공합니다.
데이터 아키텍처
Cortex Framework는 추출, 로드, 변환 (ELT) 방법론을 사용하여 BigQuery 내의 데이터 처리를 세 가지 고유한 아키텍처 레이어로 표준화합니다. 이 표준화된 데이터 레이어링 전략은 엔터프라이즈 데이터 메시 개념과 일치합니다.
소스 시스템
소스 시스템은 수집된 데이터의 원본입니다. 소스 시스템에는 데이터가 추출되는 다양한 엔터프라이즈 애플리케이션, 데이터베이스 또는 플랫폼이 포함될 수 있습니다. 지원되는 모든 소스 시스템은 지원되는 소스 시스템을 참고하세요.
원시 레이어
원시 레이어는 변경 데이터 캡처 (CDC) 로그 또는 일괄 추출과 같은 소스 데이터의 BigQuery에 있는 변경 불가능한 랜딩 영역 데이터 세트를 나타냅니다. CDC 로그 (예: SAP용 BigQuery 커넥터 또는 SAP용 BigQuery 툴킷과 같은 복제 도구를 사용하여 SAP ECC 또는 S/4HANA에서)를 자주 저장하지만 모든 원시 형식을 나타내도록 설계되었습니다. Salesforce 또는 외부 API 피드와 같이 CDC 로그를 제공하지 않는 소스의 경우 이 레이어는 구조적 변경이 거의 또는 전혀 없이 도착하는 그대로의 전체 일괄 추출 또는 원시 이벤트 페이로드를 나타냅니다. 이 레이어는 데이터 기반 레이어를 제공합니다.
데이터 기반 레이어
데이터 기반 레이어는 소스 데이터의 최신 레코드를 표준화하고 정리한 표현이며 데이터 제품 레이어를 제공합니다. 이 레이어는 CDC 지원 소스의 경우 증분 방식으로 업데이트되며 CDC 지원이 아닌 소스 및 외부에서 구현된 CDC 소스에도 뷰를 사용합니다. 구현은 소스 시스템의 기능에 맞게 조정됩니다. 자세한 내용은, 데이터 기반을 참고하세요.
데이터 제품 레이어
데이터 제품 레이어는 집계, KPI 계산, 비즈니스 로직, 교차 애플리케이션 연결 로직을 제공합니다. 데이터 제품 레이어에서 노출되는 뷰와 테이블은 BigQuery 대화형 분석 에이전트, Gemini Enterprise, 머신러닝 모델, BI 대시보드 및 보고서, 애플리케이션 통합에서 직접 사용할 수 있도록 설계되었습니다. 자세한 내용은 데이터 제품을 참고하세요.
데이터 관리
Cortex Framework는 Dataform을 사용하여 데이터의 수명 주기를 관리합니다. Dataform을 사용하면 데이터 통합을 위한 데이터 변환을 관리할 수 있습니다. 데이터 분석가가 BigQuery에서 데이터 변환을 위한 복잡한 워크플로를 개발, 테스트, 버전 제어, 예약할 수 있는 서비스를 제공합니다. BigQuery Cortex Framework는 맞춤설정 및 확장에 동적으로 적응하기 위해 빌드 단계에서 Dataform 코드를 만들고 Dataform 저장소에 스테이징합니다 Google Cloud.
Dataform UI에서 파이프라인 실행을 트리거하면 데이터 기반 및 데이터 제품 레이어의 BigQuery 테이블과 뷰가 생성되고 데이터로 채워집니다.
다음 단계
빌드 및 배포할 준비가 되셨나요? 다음 가이드를 살펴보고 환경을 시작하고 운영하세요.
- 데모 배포: 데모 데이터로 솔루션 콘텐츠를 몇 분 안에 배포하여 Cortex Framework가 작동하는 모습을 빠르게 확인합니다.
- 배포: 단계별 안내에 따라 엔터프라이즈 데이터에 맞게 Cortex Framework를 구성하고 배포합니다.