배포 후 단계

이 페이지에서는 데이터 파이프라인을 실행하고 결과를 확인하기 위한 Cortex Framework의 배포 후 단계를 안내합니다.

배포 후 모든 변환 템플릿과 구성이 컴파일되어 대상 Dataform 저장소에 배포됩니다. 하지만 BigQuery에서 테이블과 뷰를 구체화하려면 먼저 Dataform 파이프라인 작업을 실행해야 합니다.

Dataform에서 변환 실행

파이프라인을 실행하면 원시 데이터를 즉시 비즈니스에 사용할 수 있는 관련 데이터 기반 및 데이터 제품 레이어로 변환하는 로직이 시작됩니다.

콘솔 Google Cloud 에서 수동으로 작업을 실행하여 확인하거나 프로덕션을 위한 반복 일정을 구성할 수 있습니다.

확인을 위한 수동 실행

Dataform 작업공간 내에서 전체 파이프라인의 수동 확인 실행을 실행하려면 다음 단계를 따르세요.

  1. 콘솔에서 Dataform 페이지로 이동합니다. Google Cloud
  2. 프로젝트 드롭다운에서 올바른 Google Cloud 프로젝트를 선택했는지 확인합니다.
  3. 배포 중에 생성된 저장소의 이름 (예: cortex)을 클릭합니다.
  4. 작업공간 이름 (예: cortex)을 클릭합니다.
  5. 실행 시작 을 클릭합니다.
  6. 작업 실행 을 클릭합니다.
  7. 모든 작업 을 선택합니다. 특정 태그 또는 작업을 선택하여 변환의 주요 하위 집합을 선택할 수도 있습니다.
  8. 실행 시작 을 클릭합니다.

실행 성공 확인

진행 상황을 모니터링하고 파이프라인이 성공적으로 완료되었는지 확인하려면 다음 단계를 따르세요.

  1. 실행 탭을 클릭하여 실행 기록을 확인합니다.
  2. 상태가 성공적으로 완료됨 인지 확인합니다.
  3. 실행 실행 링크를 클릭하여 특정 작업, 컴파일 오류 또는 실행 타이밍의 세부정보를 검사합니다.

BigQuery에서 데이터 애셋 검토

Dataform 파이프라인이 성공적으로 실행된 후 생성된 데이터 세트를 확인하고 BigQuery에서 구체화된 테이블을 살펴봅니다.

  1. 콘솔에서 BigQuery 로 이동합니다. Google Cloud
  2. config.yaml 파일에 구성된 대상 데이터 세트 (예: 모듈의 dataTargetId에서 참조하는 data.targets 항목의 datasetId로 식별되는 데이터 세트)를 찾습니다. 예를 들어 템플릿 구성에서 다음과 같을 수 있습니다.
    • 데이터 기반 레이어: 기반 대상 ID와 일치하는 데이터 세트 (기본적으로 cortex7_sap_data_foundation으로 구성됨)를 찾습니다.
    • 데이터 제품 레이어: 제품 대상 ID와 일치하는 데이터 세트 (기본적으로 cortex7_data_products로 구성됨)를 찾습니다.
  3. 테이블을 미리 보고 샘플 쿼리를 실행하여 예상 레코드로 채워져 있는지 확인합니다.

다음 단계

이제 데이터 시스템이 작동하므로 다음 방법을 알아볼 수 있습니다.

  • Knowledge Catalog에 데이터 제품 등록: 등록 프로세스를 자동화하려면 Knowledge Catalog 통합] (/cortex/docs/knowledge-catalog) 문서를 참고하세요.
  • 데이터 모델 확장: 스키마를 맞춤설정하거나 새 모듈을 인스턴스화하려면 확장성 가이드를 참고하세요.
  • 새 데이터 제품 빌드 또는 맞춤설정: 시작하려면 데이터 제품 빌드를 위한 에이전트 기술 문서를 참고하세요.