개발 작업공간 만들기

이 문서는 다음을 수행하는 데 도움이 됩니다.

개발 작업공간 개요

Dataform에서는 개발 작업공간에서 워크플로 코드와 상호작용합니다. 개발 작업공간은 수정 가능한 저장소 사본입니다. 작업공간에서는 동일한 저장소에서 작업하는 다른 사용자에게 영향을 주지 않고 저장소의 콘텐츠를 만들거나 수정 또는 삭제한 후 변경사항을 커밋하고 저장소에 푸시할 수 있습니다.

Dataform 코어 또는 JavaScript를 사용하여 워크플로를 개발할 수 있습니다. Dataform은 코드를 실시간으로 SQL 쿼리로 컴파일합니다.

개발 작업공간에서 다음 작업을 수행할 수 있습니다.

개발 작업공간의 구성요소

Dataform 개발 작업공간은 다음 섹션에 설명된 탭으로 구성됩니다.

코드 탭

코드 탭의 개발 환경을 사용하여 파일을 살펴보고, 쿼리를 개발하고, 변경사항을 버전 제어하고, BigQuery에 대한 실행을 트리거할 수 있습니다. 탭에는 워크플로를 개발할 수 있도록 해주는 다음 구성요소가 포함되어 있습니다.

  • 파일 창: 작업공간의 파일 구조를 표시하고 파일 구조에 대한 수정사항을 자동 저장합니다. 선택한 파일이 개발 창의 탭에 열립니다. 검색어 입력 필드에서 경로를 기준으로 워크스페이스의 파일이나 디렉터리를 검색할 수 있습니다.
  • 버전 관리 창: 작업공간의 버전 관리 상태와 버전 관리 옵션을 표시합니다.
  • 개발 창: 탭에 열린 파일을 표시합니다. 수정된 파일의 변경사항을 자동 저장합니다.
  • 실행 버튼: 컴파일된 SQL 쿼리의 미리보기를 실행합니다.
  • 형식 버튼: Dataform 코어 또는 JavaScript 코드의 형식을 지정합니다.
  • 컴파일 상태: 워크스페이스에 있는 코드의 컴파일 상태를 표시합니다.
  • 메타데이터 창: 수정된 파일의 메타데이터를 표시합니다.
  • 컴파일된 쿼리 창: 수정된 파일의 쿼리를 SQL로 컴파일합니다. 쿼리 컴파일이 실패하면 창에 컴파일 오류가 표시됩니다. 쿼리 컴파일이 성공하면 창에 컴파일된 쿼리가 표시되고 BigQuery에 대한 테스트 실행을 통해 검증됩니다. 쿼리 유효성 검사에 실패하면 창에 유효성 검사 오류가 표시됩니다. 쿼리 검증이 성공하면 BigQuery에 대한 쿼리 실행에 사용되는 바이트 수가 창에 표시됩니다.
  • 실행 시작 메뉴: 작업공간 또는 선택한 요소에서 전체 워크플로 실행을 트리거하는 옵션을 표시합니다.

컴파일된 그래프 탭

컴파일된 그래프 탭에서 작업공간에 정의된 컴파일된 워크플로를 대화형 방향성 비순환 그래프 (DAG)로 확인할 수 있습니다. 그래프에는 워크플로의 모든 작업과 작업 간의 관계가 표시됩니다. 워크플로에 컴파일 오류가 있으면 탭에 그래프 대신 오류 메시지가 표시됩니다.

그래프에서 확대/축소하고 드래그 앤 드롭 탐색을 사용할 수 있습니다.

다음 속성으로 그래프를 필터링할 수 있습니다.

  • 이름
  • 태그
  • 유형
    • 어설션
    • 선언
    • 증분 테이블
    • 구체화된 뷰
    • 운영
    • 테이블
    • 알 수 없음
    • 뷰

한 번에 여러 필터를 선택할 수 있습니다. Dataform은 이를 OR 조건과 함께 적용합니다.

그래프에서 작업을 클릭하여 다음 창에서 세부정보를 볼 수 있습니다.

  • 메타데이터 창: 선택한 작업의 전체 이름, 유형, 종속성, 종속 항목을 표시합니다.
  • 쿼리 창: 선택한 작업의 컴파일된 SQL 쿼리를 표시합니다.

실행 탭

이 탭에는 작업공간에서 트리거된 모든 실행의 로그가 표시됩니다. 선택한 실행의 작업과 세부정보를 볼 수도 있습니다. 자세한 내용은 실행 로그 모니터링을 참고하세요.

작업공간의 버전 관리

작업공간에서 Git 기반 버전 제어를 통해 저장소와 상호작용합니다. 작업공간에서 파일에 대한 수정은 커밋할 수 있는 로컬 변경사항(커밋되지 않은 상태)으로 시작된 다음 모든 저장소 사용자가 사용할 수 있도록 저장소로 푸시합니다.

저장소가 원격 Git 제공업체에 연결되면 작업공간에서 기본 개발 브랜치로 변경사항을 푸시합니다. 저장소를 원격 Git 제공업체에 연결할 때 기본 브랜치를 선택합니다. 연결되지 않은 Dataform 저장소에서 변경사항을 기본 브랜치로 푸시합니다.

Dataform 저장소 또는 원격 저장소에서 변경사항을 가져와 개발 작업공간의 로컬 변경사항과 병합할 수도 있습니다. Dataform의 버전 관리에 대한 자세한 내용은 코드 버전 관리를 참고하세요.

시작하기 전에

아직 Dataform 저장소를 만들지 않았으면 Dataform 저장소를 만듭니다.

필요한 역할

개발 작업공간을 만들고 초기화하고 삭제하는 데 필요한 권한을 얻으려면 관리자에게 작업공간에 대한 Dataform 편집자 (roles/dataform.editor) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

Dataform 개발 작업공간 만들기

새 저장소에 개발 작업공간을 처음 만들면 Dataform이 작동하는 데 필요한 구성 파일 집합으로 개발 작업공간을 초기화하라는 메시지가 표시됩니다.

초기화된 개발 작업공간에는 다음과 같은 디렉터리와 파일이 포함됩니다.

  • definitions/: Dataform Core 또는 자바스크립트의 애셋 정의 디렉터리입니다.

  • includes/: 저장소에서 재사용할 수 있는 스크립트와 변수를 위한 빈 디렉터리입니다.

  • workflow_settings.yaml: 애셋을 게시할 Google Cloud 프로젝트 ID 및 BigQuery 스키마가 포함된 기본 Dataform 구성 파일입니다. 기본 설정을 재정의하여 필요에 맞게 맞춤설정할 수 있지만 Dataform 사용을 시작하는 데 맞춤설정이 필수적이지는 않습니다.

  • package.json: @dataform/core의 최신 버전이 포함된 기본 Dataform 종속 항목 구성 파일입니다. 이 파일을 사용하여 패키지 가져오기를 수행할 수 있습니다.

  • definitions/sample.sqlx: 시작하는 데 도움이 되는 샘플 SQLX 파일입니다.

새 Dataform 개발 작업공간을 만들려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. 새 개발 작업공간을 만들 저장소를 선택합니다.

  3. 저장소 페이지에서 개발 작업공간 만들기를 클릭합니다.

  4. 개발 작업공간 만들기 창에서 다음을 수행합니다.

    1. 작업공간 ID 필드에 개발 작업공간의 고유 ID를 입력합니다.

      ID에는 숫자, 문자, 하이픈, 밑줄만 포함할 수 있습니다.

    2. 만들기를 클릭합니다.

Dataform 저장소에서 작업공간 초기화

Dataform 개발 작업공간을 초기화하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. 빈 작업공간을 초기화할 저장소를 선택합니다.

  3. 개발 작업공간 탭에서 초기화하려는 빈 작업공간의 이름을 클릭합니다.

  4. 개발 작업공간 페이지에서 작업공간 초기화를 클릭합니다.

Dataform 작업공간 삭제

Dataform 개발 작업공간을 만드는 데에는 비용이 들지 않습니다. 그래도 개발 작업공간을 삭제하려는 경우 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. 삭제할 작업공간이 포함된 저장소를 선택합니다.

  3. 커밋되지 않은 변경사항을 삭제하지 않으려면 변경사항을 커밋하고 Git 저장소로 푸시합니다.

  4. 개발 작업공간 탭에서 삭제하려는 개발 작업공간을 선택한 후 선택한 작업공간 삭제를 클릭합니다.

    한 번에 작업공간을 여러 개 삭제할 수 있습니다.

  5. 삭제를 클릭하여 확인합니다.

다음 단계