Lakehouse for Apache Iceberg 는 Cloud Storage에 저장된 Lakehouse Iceberg REST 카탈로그 테이블 의 생성, 관리, 쿼리를 지원합니다.
Lakehouse 런타임 카탈로그를 통해 관리되는 이러한 테이블은 BigQuery 및 연결된 오픈소스 엔진에서 읽을 수 있습니다. 쓰기 작업은 테이블을 원래 만든 특정 엔진으로 제한됩니다. 쿼리 엔진 통합 외에도 Lakehouse 런타임 카탈로그는 오픈소스 Iceberg REST 카탈로그 API 사양을 구현하여 호환되는 REST 클라이언트가 테이블 리소스와 직접 상호작용할 수 있도록 합니다.
시작하기 전에
테이블 개요를 참조하여 다양한 테이블 유형과 테이블 사용의 영향을 파악하세요.
-
BigLake API를 사용 설정합니다.
API 사용 설정에 필요한 역할
API를 사용 설정하려면
serviceusage.services.enable권한이 포함된 서비스 사용량 관리자 IAM 역할(roles/serviceusage.serviceUsageAdmin)이 필요합니다. 역할 부여 방법 알아보기
필요한 역할
Lakehouse Iceberg REST 카탈로그 테이블을 관리하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트 및 스토리지 버킷에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.
-
테이블 만들기 및 삭제:
- BigLake 관리자 (
roles/biglake.admin) - 프로젝트 - 스토리지 관리자 (
roles/storage.admin) - Cloud Storage 버킷
- BigLake 관리자 (
-
사용자 인증 정보 제공 모드에서 테이블 데이터 읽기: BigLake 뷰어 (
roles/biglake.viewer) - 프로젝트 -
사용자 인증 정보 제공 모드에서 테이블 데이터 쓰기: BigLake 편집자 (
roles/biglake.editor) - 프로젝트 -
사용자 인증 정보 제공 모드가 아닌 경우 테이블 데이터 읽기:
- BigLake 뷰어 (
roles/biglake.viewer) - 프로젝트 - 스토리지 객체 뷰어 (
roles/storage.objectViewer) - Cloud Storage 버킷
- BigLake 뷰어 (
-
사용자 인증 정보 제공 모드가 아닌 경우 테이블 데이터 쓰기:
- BigLake 편집자 (
roles/biglake.editor) - 프로젝트 - 스토리지 객체 사용자 (
roles/storage.objectUser) - Cloud Storage 버킷
- BigLake 편집자 (
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
관리 작업
Lakehouse Iceberg REST 카탈로그 테이블에서 다음 관리 작업을 실행할 수 있습니다.
- 테이블 만들기: 콘솔, Spark, Trino 또는 Iceberg REST 카탈로그 API (
CreateIcebergTable)를 사용하여 카탈로그 네임스페이스 내에 Apache Iceberg 테이블을 만듭니다. Google Cloud - 테이블 나열: 콘솔, Spark, Trino 또는 Iceberg REST 카탈로그 API (
ListIcebergTableIdentifiers)를 사용하여 네임스페이스 내에서 테이블 식별자를 봅니다. Google Cloud - 테이블 세부정보 가져오기: 콘솔, Spark, Trino 또는 Iceberg REST 카탈로그 API (
GetIcebergTable,LoadIcebergTableCredentials)를 사용하여 테이블 스키마, 속성, 사용자 인증 정보를 검사합니다. Google Cloud - 데이터 삽입: Spark 또는 Trino를 사용하여 Iceberg 테이블에 데이터 행을 추가합니다.
- 테이블 쿼리: 4부 테이블 이름을 사용하여 Spark, Trino 또는 BigQuery에서 Iceberg 테이블에 대해 쿼리를 실행합니다.
- 테이블 변경: 콘솔, Spark, Trino 또는 Iceberg REST 카탈로그 API (
UpdateIcebergTable)를 사용하여 테이블 스키마를 발전시키고 메타데이터 속성을 업데이트합니다. Google Cloud - 테이블 삭제: 콘솔, Spark, Trino 또는 Iceberg REST 카탈로그 API (
DeleteIcebergTable)를 사용하여 기본 스토리지 파일을 소거하지 않고 카탈로그에서 테이블 등록을 삭제합니다. Google Cloud
다음 단계
- Apache Iceberg REST 카탈로그를 참조하세요.