개요
Google Cloud Cortex Framework는 전략적 엔터프라이즈 시스템의 원시 데이터를 고급 분석 및 AI에 적합한 신뢰할 수 있는 고품질 데이터 애셋으로 변환하도록 설계된 데이터 제품 가속기를 제공합니다.
자체Google Cloud 환경 내에서 안전하게 배포할 수 있는 맞춤설정 가능한 오픈소스 코드로 제공되는 Google Cloud Cortex Framework는Google Cloud Dataform으로 구동되는 서버리스 BigQuery 네이티브 실행 모델을 제공합니다.
Cortex Framework는 팀이 데이터 파이프라인을 빌드, 오케스트레이션, 배포하는 방식을 간소화하여 가치 실현 기간을 단축하고 차세대 엔터프라이즈 AI 에이전트를 위한 충실도 높은 기반을 제공합니다.
데이터 아키텍처
Cortex Framework는 추출, 로드, 변환 (ELT) 방법론을 사용하여 BigQuery 내부의 데이터 처리를 세 가지 고유한 아키텍처 레이어로 표준화합니다. 이 표준화된 데이터 레이어링 전략은 엔터프라이즈 데이터 메시 개념과 일치합니다.
소스 시스템
소스 시스템은 수집된 데이터의 출처입니다. 소스 시스템에는 데이터가 추출되는 다양한 엔터프라이즈 애플리케이션, 데이터베이스 또는 플랫폼이 포함될 수 있습니다. 지원되는 모든 소스 시스템은 지원되는 소스 시스템을 참고하세요.
원시 레이어
원시 레이어는 변경 데이터 캡처 (CDC) 로그 또는 일괄 추출과 같은 소스 데이터의 BigQuery에 있는 변경 불가능한 랜딩 영역 데이터 세트를 나타냅니다. SAP용 BigQuery 커넥터 또는 SAP용 BigQuery 툴킷과 같은 복제 도구를 사용하여 SAP ECC 또는 S/4HANA에서 CDC 로그를 자주 저장하지만 모든 원시 형식을 나타내도록 설계되었습니다. Salesforce나 외부 API 피드와 같이 CDC 로그를 제공하지 않는 소스의 경우 이 레이어는 구조적 변경이 거의 없거나 전혀 없이 도착하는 전체 일괄 추출 또는 원시 이벤트 페이로드를 나타냅니다. 이 레이어는 데이터 기반 레이어를 제공합니다.
데이터 기반 레이어
데이터 파운데이션 레이어는 소스 데이터의 최신 레코드를 표준화되고 정리된 형태로 나타내며 데이터 제품 레이어에 제공됩니다. 이 레이어는 CDC 지원 소스에 대해 증분 방식으로 업데이트되며 CDC 지원이 아닌 소스 및 외부에서 구현된 CDC 소스에 뷰를 사용합니다. 구현은 소스 시스템의 기능에 적응합니다. 자세한 내용은 데이터 파운데이션을 참고하세요.
데이터 제품 레이어
데이터 제품 레이어는 집계, KPI 계산, 비즈니스 로직, 교차 애플리케이션 연결 로직을 제공합니다. 데이터 제품 레이어에서 노출되는 뷰와 테이블은 BigQuery 대화형 분석 에이전트, Gemini Enterprise, 머신러닝 모델, BI 대시보드 및 보고서, Application Integration에서 직접 사용할 수 있도록 설계되었습니다. 자세한 내용은 데이터 제품을 참고하세요.
데이터 관리
Cortex Framework는 Dataform을 사용하여 데이터의 수명 주기를 관리합니다. Dataform을 사용하면 데이터 통합을 위한 데이터 변환을 관리할 수 있습니다. 데이터 분석가가 BigQuery에서 데이터 변환을 위한 복잡한 워크플로를 개발, 테스트, 버전 제어, 예약할 수 있는 서비스를 제공합니다. 맞춤설정과 확장 프로그램에 동적으로 적응하기 위해 Cortex Framework는 빌드 단계에서 Dataform 코드를 생성하고 Google Cloud의 Dataform 저장소에 스테이징합니다.
Dataform UI에서 파이프라인 실행을 트리거하면 데이터 기반 및 데이터 제품 레이어의 BigQuery 테이블과 뷰가 생성되고 데이터로 채워집니다.
다음 단계
빌드하고 배포할 준비가 되셨나요? 다음 가이드를 살펴보고 환경을 설정하고 실행하세요.
- 데모 배포: 몇 분 만에 샘플 솔루션 콘텐츠를 배포하여 Cortex Framework의 작동 방식을 확인합니다.
- 배포: 단계별 안내에 따라 엔터프라이즈 데이터용 Cortex Framework를 구성하고 배포합니다.