Dataform에서 워크플로 만들기 및 실행

이 빠른 시작은 BigQuery에서 데이터 변환을 관리하려는 데이터 엔지니어와 데이터 분석가를 대상으로 합니다. 이 빠른 시작에서는 Dataform Core를 사용하여 Dataform 워크플로를 만들고 실행하는 방법을 알아봅니다. Dataform Core는 SQL 기반 프레임워크로, 원시 데이터를 선별되고 테스트되고 문서화된 데이터 애셋으로 변환합니다. Dataform을 사용하면 중앙 저장소에서 데이터 모델링 파이프라인을 개발하고 버전 관리하여 안정성과 확장성을 보장할 수 있습니다.

이 빠른 시작에서는 Dataform에서 워크플로를 만들고 BigQuery에서 실행하는 다음 과정을 안내합니다.

시작하기 전에

  1. Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the BigQuery and Dataform APIs.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the APIs

    8.

필요한 역할

이 빠른 시작의 모든 작업을 수행하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

필수 역할 부여

BigQuery에서 워크플로를 실행하려면 커스텀 서비스 계정 또는 Google 계정을 사용하면 됩니다.

커스텀 서비스 계정에는 다음 필수 역할이 있어야 합니다.

  • Dataform에 읽기 및 쓰기 액세스 권한이 모두 필요한 프로젝트 또는 특정 BigQuery 데이터 세트에 대한 BigQuery 데이터 편집자(roles/bigquery.dataEditor) 여기에는 일반적으로 Dataform 저장소를 호스팅하는 프로젝트가 포함됩니다.
  • Dataform에 읽기 전용 액세스 권한이 필요한 프로젝트 또는 특정 BigQuery 데이터 세트에 대한 BigQuery 데이터 뷰어(roles/bigquery.dataViewer)
  • Dataform 저장소를 호스팅하는 프로젝트에 대한 BigQuery 작업 사용자(roles/bigquery.jobUser)

Dataform에서 커스텀 서비스 계정을 사용하려면 기본 Dataform 서비스 에이전트에 커스텀 서비스 계정 리소스에 대한 다음 역할이 있어야 합니다.

이러한 역할을 부여하려면 다음 단계를 수행합니다.

  1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.

    IAM으로 이동

  2. 액세스 권한 부여를 클릭합니다.

  3. 새 주 구성원 필드에 맞춤 서비스 계정 ID를 입력합니다.

  4. 역할 선택 메뉴에서 다음 역할을 하나씩 선택하고 추가 역할마다 다른 역할 추가를 사용합니다.

    • BigQuery 데이터 편집자
    • BigQuery 데이터 뷰어
    • BigQuery 작업 사용자

  5. 저장을 클릭합니다.

  6. Google Cloud 콘솔에서 서비스 계정 페이지로 이동합니다.

    서비스 계정으로 이동

  7. 커스텀 서비스 계정을 선택합니다.

  8. 액세스 권한이 있는 주 구성원으로 이동한 다음 액세스 권한 부여를 클릭합니다.

  9. 새 주 구성원 필드에 기본 Dataform 서비스 에이전트 ID를 입력합니다.

    기본 Dataform 서비스 에이전트 ID의 형식은 다음과 같습니다.

    service-PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

    PROJECT_NUMBER를Google Cloud 프로젝트의 숫자 ID로 바꿉니다. Google Cloud 프로젝트 ID는Google Cloud 콘솔 대시보드에서 찾을 수 있습니다. 자세한 내용은 프로젝트 식별을 참고하세요.

  10. 역할 선택 목록에서 다음 역할을 추가합니다.

    • 서비스 계정 사용자
    • 서비스 계정 토큰 생성자

  11. 저장을 클릭합니다.

역할 부여에 대한 자세한 내용은 Dataform에 필요한 액세스 권한 부여를 참고하세요.

Dataform 저장소 만들기

Dataform 저장소는 워크플로를 개발, 버전 관리, 오케스트레이션하는 데 사용되는 Dataform 프로젝트 코드가 포함된 Git 저장소를 나타내는 리소스입니다. 저장소를 만들려면 다음 옵션 중 하나를 선택합니다.

콘솔

  1. Google Cloud 콘솔에서 BigQuery Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. 저장소 만들기를 클릭합니다.

  3. 저장소 만들기 페이지에서 다음을 수행합니다.

    1. 저장소 ID 필드에 quickstart-repository을 입력합니다.

    2. 리전 목록에서 europe-west4을 선택합니다.

    3. 서비스 계정 목록에서 저장소의 맞춤 서비스 계정을 선택합니다.

    4. actAs 권한 검사 섹션에서 저장소의 사용자 작업에 대한 권한 검사를 적용합니다.

    5. 만들기를 클릭합니다.

    6. 저장소로 이동을 클릭합니다.

Dataform 저장소를 만들었습니다. 그런 다음 개발 작업공간을 만들고 초기화할 수 있습니다.

API

저장소를 만들려면 projects.locations.repositories.create 메서드를 사용합니다.

다음 정보를 사용하여 API 요청을 실행합니다.

  • 엔드포인트: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories
  • 쿼리 매개변수: repositoryId=REPOSITORY_ID

curl 명령어:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{"serviceAccount": "SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com"}' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories?repositoryId=REPOSITORY_ID"

다음을 바꿉니다.

  • LOCATION: 저장소를 만들려는 Google Cloud 리전입니다(예: europe-west4).
  • PROJECT_ID: Dataform 저장소를 만들Google Cloud 프로젝트의 고유 식별자입니다.
  • REPOSITORY_ID: 새 Dataform 저장소의 고유 식별자입니다(예: quickstart-repository).
  • SERVICE_ACCOUNT_NAME: BigQuery 작업을 실행하기 위해 만든 맞춤 서비스 계정의 ID입니다.

개발 작업공간 만들기 및 초기화

Dataform 작업공간은 Git 브랜치와 같이 코드를 수정하고 컴파일할 수 있는 격리된 개발 환경입니다. 워크스페이스를 만들려면 다음 옵션 중 하나를 선택합니다.

콘솔

  1. Google Cloud 콘솔에서 BigQuery Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. quickstart-repository을(를) 클릭합니다.

  3. 개발 작업공간 만들기를 클릭합니다.

  4. 개발 작업공간 만들기 창에서 다음을 수행합니다.

    1. 작업공간 ID 필드에 quickstart-workspace를 입력합니다.

    2. 만들기를 클릭합니다.

    개발 작업공간 페이지가 표시됩니다.

  5. 작업공간 초기화를 클릭합니다.

API

  1. Dataform 작업공간을 만들려면 projects.locations.repositories.workspaces.create 메서드를 사용합니다.

    다음 정보를 사용하여 API 요청을 실행합니다.

    • 엔드포인트: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces
    • 쿼리 매개변수: workspaceId=WORKSPACE_ID

    curl 명령어:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d "{}" \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces?workspaceId=WORKSPACE_ID"

  2. 필요한 구성으로 작업공간을 초기화하려면 workflow_settings.yaml이라는 로컬 파일을 만들고 다음 구성을 붙여넣습니다.

    defaultProject: PROJECT_ID
defaultDataset: dataform
dataformCoreVersion: CORE_VERSION

  3. 터미널에서 다음 명령어를 실행하여 파일 콘텐츠를 연속된 단일 문자열로 인코딩합니다.

    base64 -w 0 workflow_settings.yaml

  4. 결과 출력 문자열을 복사하여 JSON 요청 본문의 SETTINGS_DEFINITION 필드에서 사용합니다.

  5. 작업공간에서 구성 파일을 만들려면 projects.locations.repositories.workspaces.writeFile 메서드를 사용합니다.

    다음 정보를 사용하여 API 요청을 실행합니다.

    • 엔드포인트: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    curl 명령어:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "path": "workflow_settings.yaml",
    "contents": "SETTINGS_DEFINITION"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    다음을 바꿉니다.

    • CORE_VERSION: Dataform Core의 최신 안정 버전(베타 아님)(예: 3.0.43) 최신 버전은 출시에서 확인할 수 있습니다.
    • LOCATION: 저장소의 Google Cloud 리전(예: europe-west4)
    • PROJECT_ID: Dataform 저장소가 있는Google Cloud 프로젝트의 고유 식별자입니다.
    • REPOSITORY_ID: Dataform 저장소의 고유 식별자입니다(예: quickstart-repository).
    • SETTINGS_DEFINITION: YAML 파일의 콘텐츠를 Base64 인코딩 문자열로 나타냅니다.
    • WORKSPACE_ID: Dataform 개발 작업공간의 고유 식별자입니다(예: feature-branch-1).

뷰 만들기

Dataform 뷰는 SQLX 파일에 정의된 애셋으로, 데이터를 변환하고 워크플로의 다른 테이블이나 뷰의 소스로 사용됩니다. 나중에 테이블의 데이터 소스로 사용할 뷰를 만들고 정의하려면 다음 옵션 중 하나를 선택합니다.

콘솔

  1. Google Cloud 콘솔에서 BigQuery Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. quickstart-repository을 클릭한 후 quickstart-workspace을 클릭합니다.

  3. 파일 창에서 definitions/ 옆에 있는 더보기 메뉴를 클릭합니다.

  4. 파일 만들기를 클릭합니다.

  5. 새 파일 만들기 창에서 다음을 수행합니다.

    1. 파일 경로 추가 필드에 definitions/quickstart-source.sqlx를 입력합니다.

    2. 파일 만들기를 클릭합니다.

  6. 파일 창에서 definitions 폴더를 펼칩니다.

  7. definitions/quickstart-source.sqlx을(를) 클릭합니다.

  8. 파일에 다음 코드 스니펫을 입력합니다.

    config {
  type: "view"
}

SELECT
  "apples" AS fruit,
  2 AS count
UNION ALL
SELECT
  "oranges" AS fruit,
  5 AS count
UNION ALL
SELECT
  "pears" AS fruit,
  1 AS count
UNION ALL
SELECT
  "bananas" AS fruit,
  0 AS count

  9. 서식을 클릭합니다.

API

뷰를 만들려면 먼저 API 요청을 위해 SQLX 파일 콘텐츠를 준비해야 합니다.

  1. quickstart-source.sqlx라는 로컬 파일을 만들고 다음 SQL 코드 스니펫을 붙여넣습니다.

    config {
  type: "view"
}

SELECT
  "apples" AS fruit,
  2 AS count
UNION ALL
SELECT
  "oranges" AS fruit,
  5 AS count
UNION ALL
SELECT
  "pears" AS fruit,
  1 AS count
UNION ALL
SELECT
  "bananas" AS fruit,
  0 AS count

  2. 터미널에서 다음 명령어를 실행하여 파일 콘텐츠를 연속된 단일 문자열로 인코딩합니다.

    base64 -w 0 quickstart-source.sqlx

  3. 결과 출력 문자열을 복사하여 JSON 요청 본문의 VIEW_DEFINITION 필드에서 사용합니다.

  4. 작업공간에서 뷰 정의 파일을 만들고 정의하려면 projects.locations.repositories.workspaces.writeFile 메서드를 사용합니다.

    다음 정보를 사용하여 API 요청을 실행합니다.

    • 엔드포인트: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    JSON 페이로드 (write_view.json):

    {
  "path": "definitions/quickstart-source.sqlx",
  "contents": "VIEW_DEFINITION"
}

    curl 명령어:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d @write_view.json \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    다음을 바꿉니다.

    • LOCATION: 저장소의 Google Cloud 리전(예: europe-west4)
    • PROJECT_ID: Dataform 저장소가 있는Google Cloud 프로젝트의 고유 식별자입니다.
    • REPOSITORY_ID: Dataform 저장소의 고유 식별자입니다(예: quickstart-repository).
    • VIEW_DEFINITION: SQLX 파일의 콘텐츠를 Base64 인코딩 문자열로 나타냅니다.
    • WORKSPACE_ID: Dataform 개발 작업공간의 고유 식별자입니다(예: feature-branch-1).

테이블 만들기

Dataform 테이블은 SQLX 파일에 정의된 애셋으로, 워크플로의 일부로 변환된 쿼리 결과를 BigQuery에 저장합니다. 워크플로의 테이블을 정의하려면 다음 옵션 중 하나를 선택합니다.

콘솔

  1. Google Cloud 콘솔에서 BigQuery Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. quickstart-repository을 클릭한 후 quickstart-workspace을 클릭합니다.

  3. 파일 창에서 definitions/ 옆에 있는 더보기 메뉴를 클릭한 다음 파일 만들기를 선택합니다.

  4. 파일 경로 추가 필드에 definitions/quickstart-table.sqlx를 입력합니다.

  5. 파일 만들기를 클릭합니다.

  6. 파일 창에서 definitions/ 디렉터리를 펼칩니다.

  7. quickstart-table.sqlx를 선택한 후 다음 테이블 유형 및 SELECT 문을 입력합니다.

    config {
  type: "table"
}

SELECT
  fruit,
  SUM(count) as count
FROM ${ref("quickstart-source")}
GROUP BY 1

  8. 서식을 클릭합니다.

테이블 유형을 정의하고 나면 quickstart-source가 아직 BigQuery에 없으므로 Dataform에서 쿼리 검증 오류가 발생합니다. 이 오류는 워크플로를 실행할 때 해결됩니다.

API

표를 만들려면 먼저 API 요청을 위해 SQLX 파일 콘텐츠를 준비해야 합니다.

  1. quickstart-table.sqlx라는 로컬 파일을 만들고 다음 SQL 코드 스니펫을 붙여넣습니다.

    config {
  type: "table"
}

SELECT
  fruit,
  SUM(count) as count
FROM ${ref("quickstart-source")}
GROUP BY 1

  2. 터미널에서 다음 명령어를 실행하여 파일 콘텐츠를 연속된 단일 문자열로 인코딩합니다.

    base64 -w 0 quickstart-table.sqlx

  3. 결과 출력 문자열을 복사하여 JSON 요청 본문의 TABLE_DEFINITION 필드에서 사용합니다.

  4. 작업공간에서 테이블을 정의하려면 projects.locations.repositories.workspaces.writeFile 메서드를 사용합니다. 이 단일 API 요청은 SQLX 파일을 만들고 테이블 구조와 종속 항목을 정의하는 수동 단계를 대체합니다.

    다음 정보를 사용하여 API 요청을 실행합니다.

    • 엔드포인트: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile

    JSON 페이로드 (write_table.json):

    {
  "path": "definitions/quickstart-table.sqlx",
  "contents": "TABLE_DEFINITION"
}

    curl 명령어:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d @write_table.json \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID:writeFile"

    다음을 바꿉니다.

    • LOCATION: 저장소의 Google Cloud 리전(예: europe-west4)
    • PROJECT_ID: Dataform 저장소가 있는Google Cloud 프로젝트의 고유 식별자입니다.
    • REPOSITORY_ID: Dataform 저장소의 고유 식별자입니다(예: quickstart-repository).
    • TABLE_DEFINITION: SQLX 파일의 콘텐츠를 Base64 인코딩 문자열로 나타냅니다.
    • WORKSPACE_ID: Dataform 개발 작업공간의 고유 식별자입니다(예: feature-branch-1).

BigQuery에서 워크플로 실행

워크플로를 실행하려면 다음 옵션 중 하나를 선택합니다.

콘솔

  1. Google Cloud 콘솔에서 BigQuery Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. quickstart-repository을 클릭한 후 quickstart-workspace을 클릭합니다.

  3. 실행 시작을 클릭합니다.

  4. 모든 작업을 클릭합니다.

  5. 실행 시작을 클릭합니다.

  6. 열리는 대화상자에서 허용을 클릭하여 BigQuery 파이프라인이 Google 계정에 액세스할 수 있는 권한을 부여합니다.

    Dataform은 기본 저장소 설정을 사용하여 dataform이라는 BigQuery 데이터 세트에서 워크플로 콘텐츠를 만듭니다.

Dataform 워크플로를 만들고 BigQuery에서 워크플로를 실행했습니다.

API

BigQuery에서 워크플로를 실행하려면 SQLX 파일을 표준 SQL로 컴파일한 다음 호출을 트리거합니다.

  1. 작업공간을 기반으로 컴파일 결과를 만들려면 projects.locations.repositories.compilationResults.create 메서드를 사용합니다.

    다음 정보를 사용하여 API 요청을 실행합니다.

    • 엔드포인트: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults

    curl 명령어:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "workspace": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workspaces/WORKSPACE_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults"

    다음을 바꿉니다.

    • LOCATION: 저장소의 Google Cloud 리전(예: europe-west4)
    • PROJECT_ID: Dataform 저장소가 있는Google Cloud 프로젝트의 고유 식별자입니다.
    • REPOSITORY_ID: Dataform 저장소의 고유 식별자입니다(예: quickstart-repository).
    • WORKSPACE_ID: Dataform 개발 작업공간의 고유 식별자입니다(예: feature-branch-1).

  2. 대답에서 /compilationResults/COMPILATION_ID 형식의 컴파일 결과 ID를 확인합니다.

  3. 워크플로 호출을 트리거하려면 projects.locations.repositories.workflowInvocations.create 메서드를 사용합니다. 생성한 컴파일 결과의 ID를 제공합니다.

    다음 정보를 사용하여 API 요청을 실행합니다.

    • 엔드포인트: POST https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations

    curl 명령어:

    curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -d '{
    "compilationResult": "projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/compilationResults/COMPILATION_ID"
  }' \
  "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations"

    다음을 바꿉니다.

    • COMPILATION_ID: 컴파일 결과의 고유 식별자입니다.
    • LOCATION: 저장소의 Google Cloud 리전(예: europe-west4)
    • PROJECT_ID: Dataform 저장소가 있는 고유한 Google Cloud 프로젝트 ID입니다.
    • REPOSITORY_ID: Dataform 저장소의 고유 식별자입니다(예: quickstart-repository).

Dataform 워크플로를 만들고 BigQuery에서 워크플로를 실행했습니다.

Dataform에서 실행 로그 확인

실행 로그를 보려면 다음 옵션 중 하나를 선택합니다.

콘솔

  1. Google Cloud 콘솔에서 BigQuery Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. quickstart-repository을 클릭한 후 quickstart-workspace을 클릭합니다.

  3. 워크플로 실행 로그를 클릭합니다.

  4. 실행 세부정보를 보려면 최신 실행을 클릭합니다.

API

  1. 실행 기록을 보려면 projects.locations.repositories.workflowInvocations.list 메서드를 사용합니다.

    다음 정보를 사용하여 API 요청을 실행합니다.

    • 엔드포인트: GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations
    • 쿼리 매개변수: 최신 실행이 결과 상단에 표시되도록 하려면 ?orderBy=create_time desc를 사용하세요.

    curl 명령어:

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations?orderBy=create_time%20desc"

    다음을 바꿉니다.

    • LOCATION: 저장소의 Google Cloud 리전(예: europe-west4)
    • PROJECT_ID: Dataform 저장소가 있는 고유한 Google Cloud 프로젝트 ID입니다.
    • REPOSITORY_ID: Dataform 저장소의 고유 식별자입니다(예: quickstart-repository).

  2. 특정 실행의 세부 로그와 상태를 보려면 projects.locations.repositories.workflowInvocations.query 메서드를 사용합니다.

    다음 정보를 사용하여 API 요청을 실행합니다.

    • 엔드포인트: GET https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations/WORKFLOW_INVOCATION_ID:query

    curl 명령어:

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/repositories/REPOSITORY_ID/workflowInvocations/WORKFLOW_INVOCATION_ID:query"

    다음을 바꿉니다.

    • LOCATION: 저장소의 Google Cloud 리전(예: europe-west4)
    • PROJECT_ID: Dataform 저장소가 있는 고유한 Google Cloud 프로젝트 ID입니다.
    • REPOSITORY_ID: Dataform 저장소의 고유 식별자입니다(예: quickstart-repository).
    • WORKFLOW_INVOCATION_ID: 특정 워크플로 실행의 고유 식별자입니다. 이 식별자는 workflowInvocations.list 요청의 결과에서 또는 workflowInvocations.create 응답의 name 필드에서 가져올 수 있습니다.

삭제

이 페이지에서 사용한 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 수행합니다.

BigQuery에서 만든 데이터 세트 삭제

BigQuery 애셋에 대한 요금이 청구되지 않도록 dataform이라는 데이터 세트를 삭제합니다.

  1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

    BigQuery로 이동

  2. 탐색기 패널에서 프로젝트를 확장하고 dataform을 선택합니다.

  3. 작업 메뉴를 클릭한 후 삭제를 클릭합니다.

  4. 데이터 세트 삭제 대화상자의 필드에 delete를 입력한 후 삭제를 클릭합니다.

Dataform 개발 작업공간 삭제

Dataform 개발 작업공간을 만드는 데 비용은 발생하지 않지만 개발 작업공간을 삭제하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 BigQuery Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. quickstart-repository을(를) 클릭합니다.

  3. 개발 작업공간 탭에서 quickstart-workspace 옆에 있는 더보기 메뉴를 클릭한 후 삭제를 선택합니다.

  4. 삭제를 클릭하여 확인합니다.

Dataform 저장소 삭제

Dataform 저장소를 만드는 데 비용은 발생하지 않지만 저장소를 삭제하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 BigQuery Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. quickstart-repository에서 더보기 메뉴를 클릭한 후 삭제를 선택합니다.

  3. 저장소 삭제 창에서 저장소 이름을 입력하여 삭제를 확인합니다.

  4. 삭제를 클릭하여 확인합니다.

다음 단계