배포

이 페이지에서는 엔터프라이즈 데이터의 Cortex Framework 배포 단계를 안내합니다.

시작하기 전에

배포를 계속하기 전에 기본 요건 페이지에 설명된 기본 요건을 완료했는지 확인합니다.

Cortex Framework를 배포하기 전에 관련 SAP ERP 테이블을 BigQuery로 복제해야 합니다. 자세한 내용은, SAP ERP 데이터 소스 페이지를 참고하세요.

배포

환경이 준비되면 배포를 실행할 수 있습니다. Cortex Framework uv 스크립트를 사용하여 데이터 애셋을 your Google Cloud project로 푸시하고 로컬 구성을 확장 가능한 실시간 데이터 아키텍처로 변환합니다.

구성

배포 전에 중앙 집중식 구성-코드 접근 방식을 통해 데이터 기반 및 데이터 제품 레이어가 구성됩니다. Cortex Framework는 config/config.yaml 파일을 사용하여 Cortex Framework 배포를 구성합니다. 이 파일에는 소스 데이터와 대상 Google Cloud 환경 간의 필수 매핑이 포함되어 있습니다. 올바른 구성을 통해 Cortex Framework는 원시 데이터를 찾을 위치와 결과 레이어를 구체화할 위치를 정확히 파악할 수 있습니다.

Cortex Framework 배포를 성공적으로 수행하려면 다음 필수 값을 추가해야 합니다.

  • YOUR_BUILD_PROJECT_ID: 배포 오케스트레이션 및 uv 스크립트가 실행되는 프로젝트입니다.
  • YOUR_SOURCE_PROJECT_ID: 원시 소스 데이터가 포함된 프로젝트입니다.
  • YOUR_TARGET_PROJECT_ID: 처리된 데이터 제품과 BigQuery 데이터 세트가 상주하는 대상 프로젝트입니다.
  • YOUR_REPO_PROJECT_ID: Dataform 저장소 및 배포 아티팩트를 호스팅하는 프로젝트입니다.

구성 파일에 대한 자세한 내용은 배포 구성을 참고하세요.

IAM 역할 구성

필요한 Google Cloud 프로젝트 내에서 Cortex Framework 콘텐츠를 배포하려면 필요한 Identity and Access Management (IAM) 권한을 구성합니다.

빌드 프로젝트의 역할

Cortex Framework를 빌드하는 데 필요한 권한을 얻으려면 관리자에게 빌드 프로젝트에 대한 BigQuery 데이터 JobUser (roles/bigquery.jobUser) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참고하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

소스 프로젝트의 역할

Cortex Framework를 배포하는 데 필요한 권한을 얻으려면 관리자에게 소스 프로젝트에 대한 BigQuery 데이터 뷰어 (roles/bigquery.dataViewer) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참고하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

대상 프로젝트의 역할

Cortex Framework를 배포하는 데 필요한 권한을 얻으려면 관리자에게 대상 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

를 실행하기 전에 언급된 API를 수동으로 사용 설정할 수도 있습니다.

배포 실행

다음 명령어를 실행하여 Cortex Framework 배포를 트리거합니다. 이 프로세스는 다음 작업을 실행합니다.

  • 모든 기본 요건이 완료되었는지 확인합니다.
  • 원시 데이터 세트에 연결하고 스키마 정보를 기반으로 .sqlx 스크립트를 빌드하고 컴파일합니다.
  • Dataform 저장소 및 작업공간을 만든 다음 컴파일된 아티팩트를 저장소와 동기화합니다.
uv run cortex-build-and-deploy --config "config/config.yaml"

명령줄 옵션

uv run 명령줄 인터페이스 (CLI)는 다음 작업을 지원합니다.

  • uv run cortex-build: Dataform 작업공간의 컴파일을 실행하여 YAML 구성 및 SQLX/JS 템플릿을 배포 가능한 Dataform 애셋으로 변환합니다. 자세한 내용은 CLI Cortex 빌드를 참고하세요.
  • uv run cortex-deploy: 컴파일된 애셋을 대상 Dataform 작업공간으로 푸시합니다. 자세한 내용은 CLI Cortex 배포를 참고하세요.
  • uv run cortex-build-and-deploy: 빌드 애셋의 컴파일 및 푸시를 Dataform 작업공간으로 결합합니다. 자세한 내용은 CLI Cortex 빌드 및 배포를 참고하세요.

데이터 기반 및 데이터 제품 파이프라인 실행

배포가 완료되면 마지막 단계는 Dataform 저장소에서 모든 작업을 실행하는 것입니다. Dataform 작업공간 내에서 파이프라인을 실행하면 원시 데이터의 논리 변환이 구조화된 AI 지원 데이터 제품으로 시작되어 즉시 비즈니스에 사용할 수 있습니다. 다음 단계를 따르세요.

  1. Dataform으로 이동합니다.
  2. 올바른 프로젝트에 있는지 확인합니다.
  3. 생성된 저장소 이름을 클릭합니다.
  4. 작업공간 이름을 클릭합니다.
  5. 실행 시작 을 클릭합니다.
  6. 작업 실행 을 클릭합니다.
  7. 모든 작업을 선택합니다. 관심 있는 단계를 선택할 수도 있습니다.
  8. 실행 시작 을 클릭합니다.

배포가 성공했는지 확인합니다.

  1. 실행 을 클릭합니다.
  2. 상태가 성공적으로 완료되었는지 확인합니다.
  3. 자세한 내용을 보려면 실행 링크를 클릭합니다.

이제 구성 파일에 구성된 데이터 세트에 배포된 BigQuery 데이터 애셋을 검토할 수 있습니다. 예를 들면 CORTEX_SAP_DATAFOUNDATION 및 CORTEX_SAP_DATAPRODUCTS입니다.