Apache Iceberg 뷰를 사용하면 SQL을 사용하여 구체화되지 않은 개방형 논리 테이블을 정의하고 Apache Spark, Trino, Apache Flink, PyIceberg, dbt와 같은 Iceberg 호환 엔진에서 사용할 수 있습니다. Iceberg 뷰를 사용하여 모듈식 SQL 파이프라인을 빌드하고 Iceberg 테이블에 선별된 제로 카피 프로젝션을 노출할 수 있습니다. Iceberg 뷰는 Apache Iceberg REST 카탈로그 엔드포인트를 통해 Lakehouse 런타임 카탈로그에서 관리되며 Apache Iceberg 뷰 사양 및 Iceberg REST OpenAPI 사양을 따릅니다.
이 문서에서는 이러한 뷰를 Iceberg 뷰라고 합니다.
BigQuery 승인된 뷰와 달리 Iceberg 뷰는 컴퓨팅 엔진에 의해 클라이언트 측에서 평가됩니다. Iceberg 뷰는 오픈소스 엔진에서 만들고, 관리하고, 쿼리하는 카탈로그 객체입니다.
기능
지원되는 기능은 다음과 같습니다.
- 전체 뷰 수명 주기: Apache Spark 및 Trino와 같은 Iceberg 호환 오픈소스 엔진에서 Iceberg 뷰를 만들고, 바꾸고, 속성을 변경하고, 나열하고, 검사하고, 삭제합니다.
- 풍부한 뷰 정의: 열 별칭, 열 수준 및 뷰 수준 주석, 맞춤 속성, 조인, 집계, 공통 테이블 표현식(CTE),
UNION ALL, 하위 쿼리, 중첩 뷰, 기본 테이블의 시간 이동을 사용하여 뷰를 정의합니다. - 유연한 인증: 표준 Cloud Storage 버킷 및 계층적 네임스페이스 버킷과 함께 최종 사용자 인증 정보 또는 인증 정보 자동 판매를 사용합니다.
- 카탈로그 지원: 다중 버킷 카탈로그 및 단일 버킷 카탈로그에서 뷰를 만듭니다.
Apache Iceberg REST 카탈로그 엔드포인트에 연결되는 Iceberg 호환 오픈소스 엔진을 통해서만 Iceberg 뷰를 만들고, 관리하고, 쿼리할 수 있습니다. 자세한 내용은 제한사항을 참조하세요.
Spark의 경우 Spark 3.5 이상을 Iceberg 런타임 1.6.0 이상과 함께 사용합니다. Spark가 카탈로그의 GET /v1/config 응답을 통해 지원되는 뷰 엔드포인트를 검색할 수 있도록 Iceberg 런타임 1.10.0 이상을 사용합니다. Spark가 뷰 DDL 및 확인을 Apache Iceberg REST 카탈로그 엔드포인트에 위임하도록 spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions를 설정합니다.
Trino의 경우 Trino 482 이상을 사용합니다. 자세한 내용은 Trino 지원을 참조하세요.
Iceberg 뷰 작동 방식
Iceberg 뷰는 SQL 정의, 스키마, 속성을 Cloud Storage의 버전이 지정된 metadata.json 파일에 VIEW_LOCATION/metadata/ 아래에 저장합니다. Lakehouse 런타임 카탈로그는 각 뷰의 현재 메타데이터 위치를 추적하고 Apache Iceberg REST 카탈로그 엔드포인트의 뷰 엔드포인트를 통해 뷰를 노출합니다.
Compute Engine은 클라이언트 측에서 Iceberg 뷰를 평가합니다. SELECT * FROM my_view를 실행하면 엔진이 카탈로그에서 뷰 정의를 로드하고, 참조된 모든 테이블과 중첩된 뷰를 확인한 후 기본 Iceberg 테이블에 대해 쿼리를 실행합니다. 카탈로그는 사용자를 대신하여 쿼리를 실행하지 않습니다.
CREATE OR REPLACE VIEW로 뷰를 바꿀 때마다 카탈로그는 새 metadata.json 파일을 작성하고, 뷰 메타데이터에 새 버전과 스키마를 추가하고, 뷰의 view-uuid를 보존합니다. version.history.num-entries 속성은 보관된 버전 수를 제한합니다.
자세한 내용은 속성 보기를 참고하세요.
테이블과 뷰는 카탈로그 네임스페이스 내에서 동일한 식별자 네임스페이스를 공유합니다. 기존 테이블과 동일한 이름으로 뷰를 만들거나 테이블을 뷰로 바꿀 수 없습니다.
필수 역할 및 권한
Compute Engine은 클라이언트 측에서 뷰를 평가하므로 뷰를 쿼리하려면 뷰와 뷰가 참조하는 모든 테이블 및 중첩된 뷰에 대한 권한이 필요합니다.
Iceberg 뷰를 만들고 관리하고 쿼리하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트 및 스토리지 버킷에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.
-
뷰 만들기, 바꾸기, 변경, 삭제: BigLake 편집자(
roles/biglake.editor) - 프로젝트 -
뷰 정의 나열 및 검사: BigLake 뷰어(
roles/biglake.viewer) - 프로젝트 -
사용자 인증 정보 자동 판매 모드의 쿼리 뷰: BigLake 뷰어(
roles/biglake.viewer) - 프로젝트 -
최종 사용자 인증 정보 모드에서 뷰를 쿼리합니다.
- BigLake 뷰어(
roles/biglake.viewer) - 프로젝트 - 스토리지 객체 뷰어(
roles/storage.objectViewer) - Cloud Storage 버킷
- BigLake 뷰어(
-
최종 사용자 인증 정보 모드에서 뷰 메타데이터 파일 작성: 스토리지 객체 사용자(
roles/storage.objectUser) - Cloud Storage 버킷
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
이러한 사전 정의된 역할에는 Iceberg 뷰를 만들고 관리하고 쿼리하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.
필수 권한
Iceberg 뷰를 만들고 관리하고 쿼리하려면 다음 권한이 필요합니다.
-
뷰를 만듭니다.
-
네임스페이스에 대한
biglake.views.create -
뷰에서 참조하는 각 Iceberg 테이블에 대한
biglake.tables.get권한
-
네임스페이스에 대한
-
목록 보기: 네임스페이스에 대한
biglake.views.list -
뷰 세부정보 가져오기: 뷰에 대한
biglake.views.get권한 -
뷰 변경:
-
뷰에 대한
biglake.views.update권한 -
새 뷰 정의가 참조하는 각 Iceberg 테이블에 대한
biglake.tables.get권한
-
뷰에 대한
-
뷰 삭제: 뷰에 대한
biglake.views.delete권한 -
뷰 쿼리:
-
뷰 및 중첩된 뷰에 대한
biglake.views.get권한 -
뷰에서 참조하는 각 Iceberg 테이블에 대한
biglake.tables.get권한
-
뷰 및 중첩된 뷰에 대한
-
사용자 인증 정보 자동 판매 모드에서 테이블 데이터 읽기: 뷰가 참조하는 각 Iceberg 테이블에 대한
biglake.tables.getData -
최종 사용자 인증 정보 모드에서 뷰 메타데이터 및 테이블 데이터 읽기: Cloud Storage 버킷에 대한
storage.objects.get -
최종 사용자 인증 정보 모드에서 뷰 메타데이터 파일 쓰기: Cloud Storage 버킷의
storage.objects.create
커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.
다음 표는 각 보기 권한을 승인하는 Apache Iceberg REST 카탈로그 엔드포인트 작업에 매핑합니다.
| 권한 | 리소스 | 엔드포인트 작업 | 사전 정의된 역할에 포함됨 |
|---|---|---|---|
biglake.views.create |
네임스페이스 | CreateIcebergView |
roles/biglake.admin, roles/biglake.editor |
biglake.views.get |
보기 | GetIcebergView, CheckIcebergViewExists |
roles/biglake.admin, roles/biglake.editor,
roles/biglake.viewer,
roles/biglake.metadataViewer |
biglake.views.update |
보기 | UpdateIcebergView |
roles/biglake.admin, roles/biglake.editor |
biglake.views.delete |
보기 | DeleteIcebergView |
roles/biglake.admin, roles/biglake.editor |
biglake.views.list |
네임스페이스 | ListIcebergViewIdentifiers |
roles/biglake.admin, roles/biglake.editor,
roles/biglake.viewer,
roles/biglake.metadataViewer |
자세한 내용은 레이크하우스 IAM 역할을 참조하세요.
지원되는 뷰 엔드포인트
엔진이 GET /v1/config?warehouse=WAREHOUSE_URI로 카탈로그 세션을 초기화하면 Apache Iceberg REST 카탈로그 엔드포인트가 endpoints 목록에 다음 뷰 엔드포인트를 알립니다. 다음 표에서 {prefix}은 projects/PROJECT_ID/catalogs/CATALOG_ID입니다.
| 메서드 및 경로 | 작업 | 설명 | 필요한 권한 |
|---|---|---|---|
GET /v1/{prefix}/namespaces/{namespace}/views |
ListIcebergViewIdentifiers |
네임스페이스의 뷰 식별자를 나열합니다. pageToken 및 pageSize를 지원합니다. 표는 포함되지 않습니다. |
네임스페이스에 대한 biglake.views.list |
POST /v1/{prefix}/namespaces/{namespace}/views |
CreateIcebergView |
뷰를 만들고 초기 00000-UUID.metadata.json 파일을 Cloud Storage에 쓰고 뷰를 등록합니다. |
네임스페이스에 대한 biglake.views.create |
GET /v1/{prefix}/namespaces/{namespace}/views/{view} |
GetIcebergView |
현재 뷰 메타데이터 및 메타데이터 위치를 로드합니다. | 뷰에 대한 biglake.views.get 권한 |
POST /v1/{prefix}/namespaces/{namespace}/views/{view} |
UpdateIcebergView |
낙관적 동시 실행 요구사항을 검증하고 업데이트를 새 metadata.json 파일에 커밋합니다. |
뷰에 대한 biglake.views.update 권한 |
DELETE /v1/{prefix}/namespaces/{namespace}/views/{view} |
DeleteIcebergView |
카탈로그에서 뷰를 삭제하고 뷰 수준 Identity and Access Management(IAM) 정책을 삭제합니다. | 뷰에 대한 biglake.views.delete 권한 |
HEAD /v1/{prefix}/namespaces/{namespace}/views/{view} |
CheckIcebergViewExists |
뷰가 있는지 확인합니다. | 뷰에 대한 biglake.views.get 권한 |
관리 작업
Iceberg 뷰에서 다음 관리 작업을 수행할 수 있습니다.
- 뷰 만들기: Spark 또는 Apache Iceberg REST 카탈로그 엔드포인트(
CreateIcebergView)를 사용하여 하나 이상의 Iceberg 테이블에 대한 뷰를 정의합니다. - 목록 보기: Spark 또는 Apache Iceberg REST 카탈로그 엔드포인트(
ListIcebergViewIdentifiers)를 사용하여 네임스페이스의 뷰 식별자를 나열합니다. - 뷰 세부정보 가져오기: Spark 또는 Apache Iceberg REST 카탈로그 엔드포인트(
GetIcebergView)를 사용하여 뷰의 스키마, SQL 정의, 속성을 검사합니다. - 뷰 쿼리: Spark와 같은 Iceberg 호환 오픈소스 엔진에서 뷰에 대한 쿼리를 실행합니다.
- 뷰 변경: Spark 또는 Apache Iceberg REST 카탈로그 엔드포인트(
UpdateIcebergView)를 사용하여 뷰 정의를 바꾸거나 뷰 속성을 업데이트합니다. - 뷰 삭제: Spark 또는 Apache Iceberg REST 카탈로그 엔드포인트(
DeleteIcebergView)를 사용하여 카탈로그에서 뷰를 삭제합니다.
제한사항
Iceberg 뷰에는 다음과 같은 제한사항이 있습니다.
- 오픈소스 엔진만 해당됩니다. Apache Iceberg REST 카탈로그 엔드포인트를 통해 Iceberg 호환 오픈소스 엔진에서만 Iceberg 뷰를 만들고 관리하고 쿼리할 수 있습니다. BigQuery SQL, bq 명령줄 도구, Google Cloud 콘솔, gcloud CLI, Terraform은 Iceberg 뷰를 지원하지 않습니다.
- 지원되는 카탈로그 유형 Iceberg 뷰는 멀티 버킷 카탈로그 및 단일 버킷 카탈로그에서만 지원됩니다. 카탈로그는
400 Bad Request(FAILED_PRECONDITION) 오류와 함께 BigQuery 카탈로그 및 페더레이션 카탈로그에 대한 뷰 작업을 거부합니다. - 지원되지 않는 REST 뷰 작업
- 뷰(
POST /v1/{prefix}/views/rename또는ALTER VIEW ... RENAME TO) 이름 바꾸기는 지원되지 않습니다. 뷰 이름을 바꾸려면 새 이름으로 뷰를 만든 후 원래 뷰를 삭제합니다. - 기존 뷰
metadata.json파일(registerView) 등록은 지원되지 않습니다. - 구체화된 뷰는 지원되지 않습니다. 논리적 Iceberg 뷰만 지원됩니다.
- 뷰(
- 뷰의 시간 이동. 뷰 식별자에는
TIMESTAMP AS OF또는VERSION AS OF를 적용할 수 없습니다. 뷰 정의는 쿼리하는 기본 테이블에 시간 이동을 적용할 수 있습니다. 자세한 내용은 기본 테이블에서 시간 이동을 사용하여 뷰 만들기를 참조하세요. - 저장 위치 보기
- 단일 버킷 카탈로그에서는 커스텀 뷰 위치가 지원되지 않습니다. 뷰 위치는 기본 경로
NAMESPACE_LOCATION/VIEW_NAME와 일치해야 합니다. - 여러 버킷 카탈로그에서 커스텀 뷰 위치는 네임스페이스의 스토리지 URI 프리픽스와 카탈로그의 허용된 스토리지 위치 내에 있어야 합니다.
- 뷰를 만든 후에는 스토리지 위치를 변경할 수 없습니다.
다른 위치를 설정하려고 하면
400 Bad Request오류가 발생하며 실패합니다.
- 단일 버킷 카탈로그에서는 커스텀 뷰 위치가 지원되지 않습니다. 뷰 위치는 기본 경로
속성 보기
Iceberg 뷰는 Apache Iceberg에서 정의한 뷰 속성을 지원합니다. 다음 표에서는 카탈로그가 이러한 속성을 처리하는 방법을 설명합니다.
| 속성 | 기본값 | 동작 |
|---|---|---|
write.metadata.compression-codec |
gzip |
기본적으로 카탈로그는 gzip으로 압축된 .gz.metadata.json 파일을 작성합니다. 압축되지 않은 .metadata.json 파일을 작성하려면 none로 설정합니다. 값은 대소문자를 구분합니다. 생성 시 또는 ALTER VIEW ... SET TBLPROPERTIES를 사용하여 이 속성을 설정할 수 있습니다. |
write.metadata.path |
VIEW_LOCATION/metadata |
조회수에서 제외됩니다. 카탈로그는 항상 VIEW_LOCATION/metadata/VERSION-UUID.metadata.json 아래에 뷰 메타데이터 파일을 작성합니다. |
version.history.num-entries |
10 |
양의 정수를 입력해야 합니다. 카탈로그가 뷰의 versions 목록 및 version-log에 보관하는 항목 수를 제한합니다. 커밋이 이 한도를 초과하면 카탈로그는 가장 오래된 항목을 삭제하고 항상 현재 버전과 커밋에 의해 추가된 버전을 유지합니다. 버전 로그는 감사 및 관리 롤백을 위한 것입니다. Compute Engine은 SQL을 사용한 이전 뷰 버전 쿼리를 지원하지 않습니다. |
다음 단계
- 뷰를 만드는 방법 알아보기
- 뷰를 쿼리하는 방법 알아보기
- Iceberg 뷰 문제 해결 방법 알아보기