레이크하우스 테이블 개요

Lakehouse for Apache Iceberg는 여러 테이블 유형을 지원하며Google Cloud의 레이크하우스에 다양한 수준의 관리, 성능, 상호 운용성을 제공합니다. 데이터 출처, 쓰기 엔진 요구사항, 제어 요구사항에 따라 레이크하우스 런타임 카탈로그 또는 BigQuery에서 지원하는 테이블 형식을 선택할 수 있습니다.

Lakehouse 런타임 카탈로그에서 지원

권장

Lakehouse 런타임 카탈로그는 Apache Iceberg 테이블을 지원합니다.

  • Apache Iceberg 테이블: 오픈소스 엔진에서 만들고 Cloud Storage에 저장하는 Apache Iceberg 테이블입니다. Lakehouse 런타임 카탈로그는 Lakehouse 런타임 카탈로그 Iceberg REST 엔드포인트를 통해 테이블을 관리하며, BigQuery 또는 기타 Iceberg 호환 엔진을 사용할 수도 있습니다. ETL 워크플로를 오픈소스 엔진에서 관리하도록 하려면 이 옵션을 선택하는 것이 좋습니다.

    Lakehouse 런타임 카탈로그 Iceberg REST 엔드포인트는 Apache Spark, Apache Flink, Trino와 같은 오픈소스 엔진과의 광범위한 호환성을 위한 표준 REST 인터페이스를 제공합니다.

이러한 Apache Iceberg 테이블의 주요 기능은 다음과 같습니다.

  • Metastore: Lakehouse 런타임 카탈로그입니다.
  • 스토리지: Cloud Storage
  • 스토리지 최적화: 사용자가 관리하거나 서드 파티가 관리합니다.
  • 읽기 및 쓰기 액세스:
    • 오픈소스 엔진: 읽기 및 쓰기
    • BigQuery: 읽기 전용입니다.
  • 사용 사례: 고급 분석, 스트리밍, AI를 위한 고성능 엔터프라이즈급 스토리지가 있는 개방형 레이크하우스

BigQuery에서 지원

BigQuery는 Apache Iceberg 테이블, 기본 테이블, 외부 테이블을 지원합니다.

  • Apache Iceberg 테이블: BigQuery에서 만들고 관리하며 Cloud Storage에 저장하는 Apache Iceberg 테이블입니다. 오픈소스 엔진에서 읽을 수 있지만 BigQuery는 메타데이터를 관리하고 메타데이터에 쓰는 엔진입니다. 워크플로를 BigQuery에서 완전히 관리하도록 하려면 이 옵션을 선택하는 것이 좋습니다.

  • 기본 테이블: 기본 BigQuery 테이블입니다. 완전 관리형이며 가장 고급 분석 및 관리 기능을 제공합니다. 이 옵션은 Iceberg가 아닌 워크로드에 가장 적합합니다.

  • 외부 테이블: Cloud Storage, Amazon S3 또는 Azure Blob Storage에 저장된 데이터를 위한 BigQuery 전용 구조입니다. 데이터와 메타데이터는 자체 관리되며 BigQuery에는 읽기 액세스 권한만 있습니다. 서드 파티 카탈로그 또는 스토리지에서 직접 관리하려는 데이터에 이 옵션을 선택합니다.

표 유형 비교

다음 차트를 사용하여 표 유형을 비교하세요.

Apache Iceberg 테이블 외부 테이블 표준 BigQuery 테이블
metastore Lakehouse 런타임 카탈로그 BigQuery 외부 또는 자체 호스팅 metastore BigQuery
스토리지 Cloud Storage Cloud Storage Cloud Storage / Amazon S3 / Azure BigQuery
스토리지 최적화 고객 또는 서드 파티 관리 Google 관리 고객 또는 서드 파티 관리 Google 관리
읽기/쓰기 오픈소스 엔진(읽기/쓰기)

BigQuery(읽기 전용) 		오픈소스 엔진(Iceberg 라이브러리를 사용한 읽기 전용, BigQuery Storage API와의 읽기/쓰기 상호 운용성)

BigQuery(읽기/쓰기)

 오픈소스 엔진(읽기/쓰기)

BigQuery(읽기 전용) 		오픈소스 엔진(BigQuery Storage API와의 읽기/쓰기 상호 운용성)

BigQuery(읽기/쓰기)
사용 사례 개방형 레이크하우스 고급 분석, 스트리밍, AI를 위한 고성능 엔터프라이즈급 스토리지를 갖춘 개방형 레이크하우스 BigQuery 로드를 위한 스테이징 테이블, 기존 쿼리 전용 테이블 고급 분석, 스트리밍, AI를 위한 엔터프라이즈급 스토리지

다음 단계