Google은 AI 기술을 사용하여 콘텐츠를 사용자의 기본 언어로 번역합니다. AI 번역에는 오류가 있을 수 있습니다.

데이터 준비 관리

이 문서에서는 액세스, 버전 관리, 성능, 메타데이터 관리를 비롯하여 BigQuery 데이터 준비를 관리하는 방법을 설명합니다. 또한 데이터 준비 보기 및 다운로드와 같은 기본 작업을 수행하는 방법도 설명합니다.

데이터 준비는 Dataform으로 구동되는 BigQuery 리소스입니다. 자세한 내용은 BigQuery 데이터 준비 개요를 참고하세요.

시작하기 전에

Gemini for Google Cloud API를 사용 설정했는지 확인합니다.
Knowledge Catalog에서 데이터 준비 메타데이터를 관리하려면 Google Cloud 프로젝트에서 Dataplex API가 사용 설정되어 있어야 합니다.

필요한 역할

데이터를 준비하는 사용자와 작업을 실행하는 Dataform 서비스 계정에는 다음 Identity and Access Management (IAM) 역할에서 부여하는 권한이 필요합니다.

데이터 준비를 위한 사용자 액세스 권한 가져오기

BigQuery에서 데이터를 준비하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

프로젝트에 대한 BigQuery Studio 사용자 (roles/bigquery.studioUser)
프로젝트에 대한 Google Cloud를 위한 Gemini 사용자 (roles/cloudaicompanion.user)
소스 테이블 액세스: 테이블, 데이터 세트 또는 프로젝트에 대한 BigQuery 데이터 뷰어 (roles/bigquery.dataViewer)
데이터 준비 공유: 테이블, 데이터 세트 또는 프로젝트의 Dataform 코드 소유자 (roles/dataform.codeOwner)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

BigQuery의 데이터 세트용 IAM에 대한 자세한 내용은 데이터 세트에 대한 액세스 권한 부여를 참고하세요.

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

메타데이터 관리 액세스 권한 얻기

Knowledge Catalog에서 데이터 준비 메타데이터를 관리하는 데 필요한 권한을 얻으려면 필요한 Knowledge Catalog 역할과 dataform.repositories.get 권한이 있는지 확인합니다.

Dataform 서비스 계정에 대한 액세스 권한 부여

Dataform 서비스 계정에 BigQuery에서 데이터 준비를 실행하는 데 필요한 권한이 있는지 확인하려면 관리자에게 Dataform 서비스 계정에 다음 IAM 역할을 부여해 달라고 요청하세요.

소스 테이블 액세스: 테이블, 데이터 세트 또는 프로젝트에 대한 BigQuery 데이터 뷰어 (roles/bigquery.dataViewer)
대상 테이블 액세스: 테이블, 데이터 세트 또는 프로젝트에 대한 BigQuery 데이터 편집자 (roles/bigquery.dataEditor)

데이터 준비 파이프라인에 따라 Dataform 서비스 계정에 추가 권한이 필요할 수 있습니다. 자세한 내용은 Dataform에 필요한 액세스 권한 부여를 참고하세요.

데이터 준비의 보안 고려사항

BigQuery의 코드 애셋은 Dataform으로 구동되므로 이러한 애셋에 액세스할 수 있는 사용자의 경우 다음 보안 영향을 고려해야 합니다.

코드 애셋의 공개 상태는 프로젝트 수준 Dataform 권한에 따라 관리됩니다. dataform.repositories.list 권한이 있는 사용자(BigQuery 작업 사용자, BigQuery Studio 사용자, BigQuery 사용자와 같은 표준 BigQuery 역할에 포함됨)는 이러한 애셋을 만들었는지 또는 이러한 애셋이 공유되었는지와 관계없이 Google Cloud 프로젝트의 탐색기 패널에서 모든 코드 애셋을 볼 수 있습니다. 표시 여부를 제한하려면 dataform.repositories.list 권한이 제외된 맞춤 역할을 만드세요.
Dataform 서비스 에이전트와 공유된 모든 보안 비밀은 이러한 애셋을 수정할 수 있는 사용자가 액세스할 수 있습니다. 인증 정보를 보호하려면 신뢰할 수 있는 사용자의 생성 및 수정 액세스를 제한하고 Dataform 서비스 에이전트가 액세스할 수 있는 보안 비밀을 제한하세요. 자세한 내용은 패키지 설치 중 보안 비밀 액세스를 참고하세요.

자세한 내용은 Dataform 권한의 보안 고려사항을 참고하세요.

기존 데이터 준비 보기

기존 데이터 준비 목록을 보려면 다음 단계를 따르세요.

BigQuery 페이지로 이동합니다.

BigQuery로 이동
왼쪽 창에서 탐색기를 클릭합니다.

왼쪽 창이 표시되지 않으면 왼쪽 창 펼치기를 클릭하여 창을 엽니다.
탐색기 창에서 내 프로젝트 ID를 펼칩니다.
데이터 준비를 클릭합니다.

데이터를 점진적으로 처리하여 데이터 준비 최적화

준비된 데이터를 대상 테이블에 쓰는 방식을 구성하려면 다음 단계를 따르세요.

Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

BigQuery로 이동
왼쪽 창에서 탐색기를 클릭합니다.
탐색기 창에서 데이터 준비를 클릭한 다음 데이터 준비를 선택합니다.
데이터 준비의 툴바에서 더보기 > 쓰기 모드를 선택합니다.
옵션 중 하나를 선택합니다. 자세한 내용은 쓰기 모드를 참조하세요.
저장을 클릭합니다.

데이터 준비 버전

저장소 내부 또는 외부에서 데이터 준비를 만들 수 있습니다. 데이터 준비 버전 관리는 데이터 준비가 있는 위치에 따라 다르게 처리됩니다.

저장소의 데이터 준비 버전 관리

저장소는 BigQuery 또는 서드 파티 제공업체에 있는 Git 저장소입니다. 저장소의 작업공간을 사용하여 데이터 준비에 대한 버전 제어를 실행할 수 있습니다. 자세한 내용은 파일에 버전 제어 사용을 참고하세요.

저장소 외부의 데이터 준비 버전 관리

저장소에 없는 BigQuery 데이터 준비는 데이터 준비 버전의 보기, 비교, 복원을 지원하지 않습니다.

데이터 준비 버전을 시간순으로 나열하려면 다음 단계를 따르세요.

BigQuery 페이지로 이동합니다.

BigQuery로 이동
왼쪽 창에서 탐색기를 클릭합니다.
탐색기 창에서 데이터 준비를 클릭한 다음 데이터 준비를 선택합니다.
버전 기록을 클릭합니다.

데이터 준비 다운로드

SQLX 파일에서 데이터 준비를 다운로드하려면 다음 단계를 따르세요.

Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

BigQuery로 이동
왼쪽 창에서 탐색기를 클릭합니다.
탐색기 창에서 프로젝트를 펼치고 데이터 준비를 클릭합니다.
다운로드할 데이터 준비의 이름을 클릭합니다.
다운로드를 클릭합니다. 데이터 준비는 SQLX 파일 형식(예: NAME data preparation.dp.sqlx)으로 저장됩니다.

데이터 준비 업로드

SQLX 파일에서 데이터 준비를 업로드하려면 다음 단계를 따르세요.

Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

BigQuery로 이동
왼쪽 창에서 탐색기를 클릭합니다.
탐색기 창에서 내 프로젝트 ID를 펼칩니다.
데이터 준비를 클릭하고 more_vert 작업 보기 > 데이터 준비에 업로드를 클릭합니다.
데이터 준비 업로드 대화상자에서 업로드할 파일을 선택하거나 데이터 준비의 URL을 입력합니다.
데이터 준비의 이름을 입력합니다.
리소스가 관리되고 저장되는 데이터 준비 위치를 선택합니다.
업로드를 클릭합니다.

Knowledge Catalog에서 메타데이터 관리

Knowledge Catalog를 사용하면 데이터 준비의 메타데이터를 저장하고 관리할 수 있습니다. Knowledge Catalog에서는 기본적으로 추가 구성 없이 데이터 준비를 사용할 수 있습니다.

Knowledge Catalog를 사용하여 모든 BigQuery 위치에서 데이터 준비를 관리할 수 있습니다. Knowledge Catalog에서 데이터 준비를 관리하는 경우 Knowledge Catalog 할당량 및 한도와 Knowledge Catalog 가격 책정이 적용됩니다.

Knowledge Catalog는 데이터 준비에서 다음 메타데이터를 자동으로 검색합니다.

데이터 애셋 이름
데이터 애셋 상위 항목
데이터 애셋 위치
데이터 애셋 유형
해당 Google Cloud 프로젝트

Knowledge Catalog는 데이터 준비를 다음과 같은 항목 값을 사용해 항목으로 로깅합니다.

시스템 항목 그룹: 데이터 준비의 시스템 항목 그룹은 @dataform입니다. Knowledge Catalog에서 데이터 준비 항목의 세부정보를 보려면 dataform 시스템 항목 그룹을 확인해야 합니다. 항목 그룹의 모든 항목 목록을 보는 방법에 관한 안내는 Knowledge Catalog 문서의 항목 그룹 세부정보 보기를 참고하세요.
시스템 항목 유형: 데이터 준비의 시스템 항목 유형은 dataform-code-asset입니다. 데이터 준비의 세부정보를 보려면 dataform-code-asset 시스템 항목 유형을 확인하고, 관점 기반 필터로 결과를 필터링하고, dataform-code-asset 관점 내의 type 필드를 DATA_PREPARATION로 설정해야 합니다. 그런 다음 선택한 데이터 준비의 항목을 선택합니다. 선택한 항목 유형의 세부정보를 보는 방법에 관한 안내는 Knowledge Catalog 문서의 항목 유형의 세부정보 보기를 참고하세요. 선택한 항목의 세부정보를 보는 방법에 관한 안내는 Knowledge Catalog 문서의 항목 세부정보 보기를 참고하세요.
시스템 관점 유형: 데이터 준비의 시스템 관점 유형은 dataform-code-asset입니다. 관점으로 데이터 준비 항목에 주석을 추가하여 Knowledge Catalog의 데이터 준비에 추가 컨텍스트를 제공하려면 dataform-code-asset 관점 유형을 확인하고 관점 기반 필터로 결과를 필터링한 다음 dataform-code-asset 관점 내의 type 필드를 DATA_PREPARATION로 설정합니다. 관점으로 항목에 주석을 추가하는 방법에 관한 안내는 Knowledge Catalog 문서의 관점 관리 및 메타데이터 보강을 참고하세요.
유형: 데이터 캔버스의 유형은 DATA_PREPARATION입니다. 이 유형을 사용하면 관점 기반 필터에서 aspect:dataplex-types.global.dataform-code-asset.type=DATA_PREPARATION 쿼리를 사용하여 dataform-code-asset 시스템 항목 유형 및 dataform-code-asset 관점 유형의 데이터 준비를 필터링할 수 있습니다.

애셋을 검색하는 방법에 관한 안내는 Knowledge Catalog 문서의 Knowledge Catalog에서 데이터 애셋 검색을 참고하세요.