데모 배포

데모 배포는 사전 정의된 샘플 데이터 세트를 사용하여 간소화된 환경을 제공합니다. 조정을 위해 Cortex Framework Dataform 파이프라인을 배포하고 샘플 데이터로 해당 BigQuery 데이터 세트를 초기화하는 엔드 투 엔드 워크플로를 제공합니다.

시작하기 전에

데모 배포를 계속하기 전에 기본 요건 페이지에 설명된 기본 요건을 완료했는지 확인합니다.

필수 IAM 역할 및 권한 가져오기

타겟 Google Cloud 프로젝트 내에 Cortex Framework 콘텐츠를 배포하는 데 필요한 Identity and Access Management (IAM) 권한을 획득합니다.

대상 프로젝트의 역할

Cortex Framework를 배포하는 데 필요한 권한을 얻으려면 관리자에게 타겟 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

선택사항: 서비스 계정을 사용하여 데모 배포에 필요한 IAM 역할 가져오기

다음 역할은 선택적 매개변수 --service_account가 사용 설정된 데모 배포의 경우에만 필요합니다. 데모 배포 중에 서비스 계정을 제공하면 워크플로 실행 일정 구성이 생성되어 배포 후 데이터 파이프라인 실행이 간소화됩니다. --service_account 구성이 없는 배포에는 이러한 역할이 필요하지 않습니다.

Cortex Framework 데모를 배포하는 데 필요한 권한을 얻으려면 관리자에게 소스 및 타겟 프로젝트에 대한 서비스 계정 토큰 생성자 (roles/iam.serviceAccountTokenCreator) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

배포

다음 단계에 따라 가상 Python 환경을 만들고, 종속 항목을 동기화하고, 데이터 파이프라인을 트리거합니다. Cortex Framework uv 스크립트를 사용하여 데이터 애셋을 빌드하고 Google Cloud 프로젝트로 푸시하여 로컬 구성을 확장 가능한 실시간 데이터 아키텍처로 변환하세요. 자세한 내용은 기본 요건 섹션의 uv 설치를 참고하세요.

데모 배포 실행

다음 명령어를 실행하여 배포를 트리거합니다. 이 프로세스는 다음 작업을 수행합니다.

  • 모든 기본 요건이 완료되었는지 확인합니다.
  • 데모 목적으로 원시 레이어 역할을 하는 BigQuery 데이터 세트에 샘플 데이터를 로드합니다.
  • Cortex Framework 데이터 레이어를 통해 샘플 데이터를 처리하기 위한 Dataform 파이프라인을 빌드합니다.
  • Dataform 저장소와 작업공간을 만든 다음 컴파일된 아티팩트를 저장소와 동기화합니다.
  • 워크플로 일정을 만들고 초기 Dataform 워크플로 실행을 트리거합니다.

서비스 계정 없이 데모 배포를 하려면 다음 명령어를 실행합니다.

uv run cortex-demo --project_id=PROJECT_ID

서비스 계정으로 데모 배포를 하려면 다음 명령어를 실행합니다.

uv run cortex-demo --project_id=PROJECT_ID \
    --service_account="SA_DF_RUN@PROJECT_ID.iam.gserviceaccount.com"

자세한 내용은 지원되는 BigQuery 위치 및 지원되는 Dataform 리전을 참고하세요.

CLI 데모 배포: 원하는 경우 uv run cortex-demo -h 명령어를 실행하여 가능한 매개변수 목록을 표시할 수 있습니다. 자세한 내용은 CLI Cortex Framework 데모 배포를 참고하세요.

인증

배포가 완료되면 다음 단계를 따르세요.

  1. Dataform을 열어 저장소에 생성된 새 코드를 검사합니다.

    1. Dataform 저장소를 만들었습니다.
    2. Dataform 개발 작업공간이 생성되었습니다.
    3. 컴파일되고 동기화된 코드

  2. Dataform 작업 실행:

    1. Dataform 작업공간을 엽니다.
    2. 실행 시작을 클릭합니다.
    3. 작업 실행을 클릭합니다.
    4. 모든 작업을 클릭합니다.

    5. 실행 시작을 클릭합니다.

    6. Dataform 저장소에서 모든 작업이 성공적으로 실행되는지 모니터링합니다.

  3. BigQuery 콘솔로 이동하여 생성된 데이터 세트를 확인하고 스키마와 데이터를 검증합니다. 생성된 데이터 세트:

    • cortex_demo_sap_ecc_raw: 이 데이터 세트에는 소스 시스템 (이 예에서는 SAP S/4HANA)의 원시 데이터가 포함됩니다.
    • cortex_demo_sap_ecc_data_foundation: 이 데이터 세트는 원시 레이어의 원시 데이터가 CDC 처리되는 데이터 기본 레이어를 나타냅니다.
    • cortex_demo_data_product: 이 데이터 세트에는 최종 사용자 소비를 위해 설계된 데모 데이터 제품(정제된 고성능 뷰 또는 테이블)이 포함되어 있습니다.