뷰 만들기

Apache Iceberg 뷰를 만들면 SQL로 정의된 비구체화 논리 테이블을 Lakehouse 런타임 카탈로그의 네임스페이스에 등록하여 Spark 및 Trino와 같은 Iceberg 호환 엔진에서 쿼리할 수 있습니다. 카탈로그는 뷰 정의를 뷰 위치 아래의 Cloud Storage에 있는 버전이 지정된 metadata.json 파일에 작성합니다.

뷰를 만들 때 카탈로그가 참조된 테이블의 스키마를 검증하므로 뷰가 참조하는 네임스페이스와 모든 테이블이 이미 존재해야 합니다. 자세한 내용은 Apache Iceberg 뷰 개요를 참조하세요.

시작하기 전에

  1. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  2. BigLake API가 아직 사용 설정되지 않았으면 사용 설정합니다.

    API 사용 설정에 필요한 역할

    API를 사용 설정하려면 serviceusage.services.enable 권한이 필요합니다. 프로젝트를 만든 경우 소유자 역할(roles/owner)을 통해 이 권한이 이미 있을 수 있습니다. 그렇지 않으면 서비스 사용량 관리자 역할(roles/serviceusage.serviceUsageAdmin)을 통해 이 권한을 얻을 수 있습니다. 역할 부여 방법 알아보기

    API 사용 설정하기

  3. 멀티 버킷 카탈로그 또는 단일 버킷 카탈로그를 사용하여 Lakehouse 런타임 카탈로그를 설정합니다. Iceberg 뷰는 BigQuery 카탈로그 또는 페더레이션 카탈로그에서 지원되지 않습니다.
  4. Iceberg 뷰의 제한사항을 검토합니다.
  5. 오픈소스 엔진을 Apache Iceberg REST 카탈로그 엔드포인트에 연결합니다.

    • Spark: Iceberg 런타임 1.6.0 이상에서 Spark 3.5 이상을 사용합니다. Spark가 카탈로그의 GET /v1/config 응답을 통해 지원되는 뷰 엔드포인트를 검색할 수 있도록 Iceberg 런타임 1.10.0 이상을 사용합니다. Spark가 뷰 DDL 및 확인을 Apache Iceberg REST 카탈로그 엔드포인트에 위임하도록 spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions를 설정합니다.
    • Trino: Trino 482 이상을 사용하고 Apache Iceberg REST 카탈로그 엔드포인트를 사용하도록 Trino Iceberg 커넥터를 구성합니다. 자세한 내용은 Trino 지원을 참조하세요.

필요한 역할

뷰를 만드는 데 필요한 권한을 얻으려면 관리자에게 프로젝트 및 스토리지 버킷에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

  • 뷰 만들기: BigLake 편집자(roles/biglake.editor) - 프로젝트
  • 최종 사용자 인증 정보 모드에서 뷰 메타데이터 파일 작성: 스토리지 객체 사용자(roles/storage.objectUser) - Cloud Storage 버킷

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이러한 사전 정의된 역할에는 뷰를 만드는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

뷰를 만들려면 다음 권한이 필요합니다.

  • 뷰를 만듭니다.
    • 네임스페이스에 대한 biglake.views.create
    • 뷰에서 참조하는 각 Iceberg 테이블에 대한 biglake.tables.get 권한
  • 최종 사용자 인증 정보 모드에서 뷰 메타데이터 파일 쓰기: Cloud Storage 버킷의 storage.objects.create

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

전체 보기 권한 목록은 필수 역할 및 권한을 참조하세요.

기본 테이블 만들기

이 문서의 예시에서는 다음 네임스페이스와 테이블을 참조합니다. 아직 없는 경우 만듭니다.

CREATE NAMESPACE IF NOT EXISTS my_ns;
USE my_ns;

CREATE TABLE IF NOT EXISTS employees (
  id INT,
  name STRING,
  dept STRING,
  salary DOUBLE
) USING iceberg;

CREATE TABLE IF NOT EXISTS departments (
  dept_code STRING,
  dept_name STRING,
  building STRING
) USING iceberg;

선택사항: 만든 뷰를 쿼리할 수 있도록 샘플 데이터를 삽입합니다.

INSERT INTO my_ns.employees VALUES
  (1, 'Alice', 'Engineering', 150000.0),
  (2, 'Bob', 'Marketing', 120000.0),
  (3, 'Charlie', 'Engineering', 135000.0);

INSERT INTO my_ns.departments VALUES
  ('Engineering', 'Eng Org', 'Building A'),
  ('Marketing', 'Growth Org', 'Building B');

뷰 만들기

하나 이상의 Iceberg 테이블에 Iceberg 뷰를 만듭니다.

Spark

명시적 열 별칭, 열 수준 주석, 뷰 수준 주석, 맞춤 속성이 있는 뷰를 만듭니다. 엔진은 뷰의 default-catalog 및 default-namespace를 사용하여 뷰 정의에서 정규화되지 않은 테이블 이름을 확인합니다.

CREATE VIEW eng_employees (
  emp_id COMMENT 'Unique employee ID',
  emp_name COMMENT 'Full name of employee',
  salary COMMENT 'Annual compensation'
)
COMMENT 'Curated view of Engineering department employees'
TBLPROPERTIES ('tier' = 'silver')
AS SELECT id, name, salary
FROM employees
WHERE dept = 'Engineering';

뷰가 아직 없는 경우에만 뷰를 만들려면 CREATE VIEW IF NOT EXISTS를 사용합니다. 뷰가 있으면 수정하지 않고 문이 성공합니다.

CREATE VIEW IF NOT EXISTS eng_employees AS
SELECT id, name, salary FROM employees;

기본적으로 카탈로그는 gzip으로 압축된 메타데이터 파일(.gz.metadata.json)을 작성합니다. 압축되지 않은 메타데이터 파일(.metadata.json)을 작성하려면 write.metadata.compression-codec 속성을 none로 설정합니다.

CREATE VIEW uncompressed_eng_view
TBLPROPERTIES ('write.metadata.compression-codec' = 'none')
AS SELECT id, name FROM employees WHERE dept = 'Engineering';

REST

REST API를 사용하여 Iceberg 뷰를 만들려면 CreateIcebergView 엔드포인트에 POST 요청을 보냅니다.

POST /iceberg/v1/restcatalog/v1/projects/PROJECT_ID/catalogs/CATALOG_ID/namespaces/NAMESPACE_NAME/views

요청 본문에는 뷰 이름, 스키마, 뷰 버전, 초기 속성을 정의하는 유효한 Iceberg CreateViewRequest JSON 페이로드가 포함되어야 합니다. 커스텀 location를 설정하는 경우 카탈로그 유형의 뷰 스토리지 위치 규칙을 따라야 합니다. 위치는 생성 후 변경할 수 없습니다.

다음을 바꿉니다.

  • PROJECT_ID: Google Cloud프로젝트 ID
  • CATALOG_ID: 카탈로그의 ID입니다.
  • NAMESPACE_NAME: 카탈로그 네임스페이스의 이름입니다.

조인, 집계, 하위 쿼리로 뷰 만들기

뷰 정의에는 조인, 집계, CASE 표현식, 공통 테이블 표현식(CTE), UNION ALL, 서브 쿼리가 포함될 수 있습니다.

두 테이블을 조인하는 뷰를 만듭니다.

CREATE VIEW employee_directory AS
SELECT e.id, e.name, d.dept_name, d.building
FROM my_ns.employees e
JOIN my_ns.departments d
  ON e.dept = d.dept_code;

데이터를 집계하고 CASE 표현식을 사용하는 뷰를 만듭니다.

CREATE VIEW dept_summary AS
SELECT
  dept,
  CASE WHEN dept = 'Engineering' THEN 'TECH' ELSE 'NON-TECH' END AS category,
  COUNT(*) AS headcount,
  AVG(salary) AS avg_salary
FROM my_ns.employees
GROUP BY dept;

CTE, UNION ALL, 서브 쿼리를 사용하는 뷰를 만듭니다.

CREATE VIEW high_earners_cte AS
WITH eng AS (
  SELECT id, name, salary FROM my_ns.employees WHERE dept = 'Engineering'
)
SELECT id, name FROM eng WHERE salary >= 140000.0
UNION ALL
SELECT id, name FROM my_ns.employees
WHERE id IN (SELECT id FROM my_ns.employees WHERE dept = 'Marketing');

중첩된 뷰 만들기

뷰는 다른 뷰를 쿼리할 수 있습니다. 외부 뷰를 쿼리하려면 두 뷰 모두에 대한 biglake.views.get 권한과 두 뷰 중 하나가 참조하는 모든 테이블에 대한 읽기 액세스 권한이 필요합니다.

CREATE VIEW top_eng_employees AS
SELECT emp_id, emp_name
FROM my_ns.eng_employees
WHERE salary >= 140000.0;

기본 테이블에서 시간 이동을 사용하여 뷰 만들기

뷰는 자체 데이터 스냅샷을 유지하지 않지만 뷰 정의는 특정 타임스탬프 또는 스냅샷 ID에서 기본 Iceberg 테이블을 쿼리할 수 있습니다. 이 패턴을 사용하여 규정 준수, 보고 또는 모델 학습을 위한 재현 가능한 이전 기준을 만듭니다.

  1. 레코드를 삽입하여 기본 테이블의 새 버전을 만듭니다.

    INSERT INTO my_ns.employees VALUES (4, 'Diana', 'Engineering', 160000.0);
    
  2. 삽입 전 테이블 상태에 고정된 뷰를 만듭니다. 타임스탬프를 삽입 전 시간으로 바꿉니다.

    CREATE VIEW eng_employees_baseline AS
    SELECT id, name, salary
    FROM my_ns.employees TIMESTAMP AS OF 'TIMESTAMP'
    WHERE dept = 'Engineering';
    

    또는 뷰를 특정 테이블 스냅샷 ID에 고정합니다.

    CREATE VIEW eng_employees_snapshot_audit AS
    SELECT id, name, salary
    FROM my_ns.employees VERSION AS OF SNAPSHOT_ID
    WHERE dept = 'Engineering';
    
  3. 이전 뷰를 쿼리합니다. 결과에는 새로 삽입된 레코드가 제외됩니다.

    SELECT * FROM eng_employees_baseline;
    

TIMESTAMP AS OF 또는 VERSION AS OF를 뷰 식별자에 직접 적용할 수 없습니다. 기본 테이블에 대해 뷰 정의 내에서 시간 이동을 표현합니다. 자세한 내용은 Iceberg 뷰 문제 해결을 참조하세요.

다음 단계