배포 가이드

이 페이지에서는 프로덕션 경로 배포를 위한 Cortex Framework 배포 단계를 안내합니다.

시작하기 전에

배포를 계속하기 전에 기본 요건 페이지에 설명된 기본 요건을 완료했는지 확인하세요.

Cortex Framework를 배포하기 전에 the 소스 시스템 통합을 선택하고 준비합니다.

IAM 역할 구성

필요한 프로젝트 내에서 Google Cloud Cortex Framework 콘텐츠를 배포하려면 필요한 ID 및 액세스 관리 (IAM) 권한을 구성합니다.

빌드 프로젝트의 역할

Cortex Framework를 빌드하는 데 필요한 권한을 얻으려면 관리자에게 빌드 프로젝트에 대한 BigQuery 데이터 작업 사용자 (roles/bigquery.jobUser) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

사용자에게 요청된 역할을 부여하려면 다음 스크립트를 사용하면 됩니다.

      gcloud projects add-iam-policy-binding BUILD_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.jobUser"

소스 프로젝트의 역할

Cortex Framework를 배포하는 데 필요한 권한을 얻으려면 관리자에게 소스 프로젝트에 대한 BigQuery 데이터 뷰어 (roles/bigquery.dataViewer) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다. 

      gcloud projects add-iam-policy-binding SOURCE_PROJECT_ID \
        --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataViewer"

타겟 프로젝트의 역할

Cortex Framework를 배포하는 데 필요한 권한을 얻으려면 관리자에게 타겟 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

사용자에게 요청된 역할을 부여하려면 다음 스크립트를 사용하면 됩니다.

gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/bigquery.dataEditor"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/dataform.admin"
gcloud projects add-iam-policy-binding TARGET_PROJECT_ID --member="user:USER_EMAIL" \
        --role="roles/serviceusage.serviceUsageConsumer"

배포 구성

배포 전에 중앙 집중식 구성-코드 접근 방식을 통해 데이터 기반 및 데이터 제품 계층이 구성됩니다. Cortex Framework는 config/config.yaml 파일을 사용하여 Cortex Framework 배포를 구성합니다. 시작점으로 config/config.yaml.example의 사본을 만드는 것이 좋습니다. 이 파일에는 소스 데이터와 타겟 Google Cloud 환경 간의 필수 매핑이 포함되어 있습니다. 올바른 구성을 통해 Cortex Framework는 원시 데이터를 찾을 위치와 결과 계층을 구체화할 위치를 정확히 알 수 있습니다.

Cortex Framework 배포를 성공적으로 수행하려면 다음 필수 값을 추가해야 합니다.

  • YOUR_BUILD_PROJECT_ID: 배포 오케스트레이션 및 uv 스크립트가 실행되는 프로젝트입니다.
  • YOUR_SOURCE_PROJECT_ID: 원시 소스 데이터가 포함된 프로젝트입니다.
  • YOUR_TARGET_PROJECT_ID: 처리된 데이터 제품 및 BigQuery 데이터 세트가 상주하는 대상 프로젝트입니다.
  • YOUR_REPO_PROJECT_ID: Dataform 저장소 및 배포 아티팩트를 호스팅하는 프로젝트입니다.

구성 파일에 대한 자세한 내용은 배포 구성을 참조하세요.

배포 실행

다음 명령어를 실행하여 Cortex Framework 배포를 트리거합니다. 이 프로세스는 다음 작업을 실행합니다.

  • 모든 기본 요건이 완료되었는지 확인합니다.
  • 원시 데이터 세트에 연결하고 스키마 정보를 기반으로 .sqlx 스크립트를 빌드하고 컴파일합니다.
  • Dataform 저장소 및 작업공간을 만든 다음 컴파일된 아티팩트를 저장소와 동기화합니다.
uv run cortex-build-and-deploy --config config/config.yaml

uv run cortex-build-and-deploy CLI 매개변수: cortex-demo 스크립트에서 지원하는 가능한 매개변수 목록을 선택적으로 표시할 수 있습니다. uv run cortex-build-and-deploy -h 자세한 내용은 CLI Cortex Framework uv run cortex-build-and-deploy를 참조하세요.

명령줄 옵션

uv run 명령줄 인터페이스 (CLI)는 다음 작업을 지원합니다.

  • uv run cortex-build: Dataform 작업공간의 컴파일을 실행하여 YAML 구성 및 SQLX/JS 템플릿을 배포 가능한 Dataform 애셋으로 변환합니다. 자세한 내용은 CLI Cortex 빌드를 참조하세요.
  • uv run cortex-deploy: 컴파일된 애셋을 타겟 Dataform 작업공간으로 푸시합니다. 자세한 내용은 CLI Cortex 배포를 참조하세요.
  • uv run cortex-build-and-deploy: 빌드 애셋의 컴파일 및 푸시를 Dataform 작업공간으로 결합합니다. 자세한 내용은 CLI Cortex 빌드 및 배포를 참조하세요.

다음 단계