올바른 테이블 아키텍처를 선택하는 것은 성능을 극대화하고 비용을 절감하며 분석 도구 전반에서 데이터 액세스를 보장하는 데 중요합니다. 이 페이지에서는 Lakehouse for Apache Iceberg에서 사용할 수 있는 다양한 테이블 유형과 제공 엔드포인트를 설명하여 쓰기 엔진, 읽기 요구사항, 관리 제어 요구사항에 따라 최적의 옵션을 선택할 수 있도록 지원합니다.
카탈로그 또는 엔진별 테이블 형식
카탈로그 또는 엔진을 선택하여 지원되는 테이블 형식, metastore 구성, 스토리지 최적화 기능, 엔진 상호 운용성에 대해 알아보세요.
Lakehouse 런타임 카탈로그
Lakehouse 런타임 카탈로그는 Iceberg REST 카탈로그 엔드포인트를 통해 Apache Iceberg 테이블을 관리하고 업계 표준 Iceberg REST 카탈로그 인터페이스를 지원하면서 Iceberg 호환 엔진 (Spark, Flink, Trino)과 BigQuery 간에 원활한 읽기-쓰기 상호 운용성을 제공합니다.
지원되는 테이블 형식
Apache Iceberg V2 테이블 (정식 버전) 및 V3 테이블 (프리뷰)이 지원됩니다. Iceberg V1 테이블은 지원되지 않습니다. Lakehouse for Apache Iceberg에서 기존 V1 테이블을 사용하기 전에 지원되는 버전으로 업그레이드해야 합니다. 자세한 내용은 Iceberg V1 테이블을 V2로 업그레이드를 참조하세요.
주요 기능은 다음과 같습니다.
- Metastore: Lakehouse 런타임 카탈로그
- 스토리지: Cloud Storage.
- 스토리지 최적화: 사용자 또는 선택적으로 Google (프리뷰)에서 관리
- 읽기 및 쓰기 액세스:
- 오픈소스 엔진: 읽기 및 쓰기 (정식 버전)
- BigQuery: 읽기/쓰기 (프리뷰)
- 사용 사례: 고급 분석, 스트리밍, AI를 위한 고성능 엔터프라이즈급 스토리지가 포함된 개방형 레이크하우스
Hive metastore
Lakehouse 런타임 카탈로그 는 Apache Spark ExternalCatalog 호환성에 최적화된 Apache Hive metastore (HMS) 엔드포인트를 통해 Apache Hive 테이블을 관리하므로 Apache Spark, Apache Hive, BigQuery 간에 데이터를 원활하게 공유할 수 있습니다. 오픈소스 엔진에서 이러한 테이블을 만들고 Cloud Storage에 저장합니다. 이 옵션은 별도의 자체 호스팅 Hive metastore가 필요하지 않고 BigQuery에서 읽기 액세스만 필요한 경우 ETL 워크플로를 오픈소스 엔진에서 관리하도록 하려는 경우에 가장 적합합니다.
Hive metastore 엔드포인트에서 관리하는 테이블은 Apache Iceberg 테이블이 아닌 표준 Apache Hive 및 Spark 테이블 (Hive SerDes 또는 Spark 데이터 소스 사용)입니다. Lakehouse 런타임 카탈로그에서 Apache Iceberg 테이블을 만들고 관리하려면 대신 Iceberg REST 카탈로그 엔드포인트를 사용하세요.
주요 기능은 다음과 같습니다.
- Metastore: Lakehouse 런타임 카탈로그 (커스텀
IMetastoreClient를 통해) - 스토리지: Cloud Storage (Parquet, ORC, Avro와 같은 형식 지원)
- 스토리지 최적화: 사용자 또는 서드 파티에서 관리
- 읽기 및 쓰기 액세스:
- 오픈소스 엔진 (Spark 및 Hive): 읽기 및 쓰기
- BigQuery: 읽기 전용
- 사용 사례: 기존 Spark 및 Hive 워크로드를 완전 관리형 서버리스 metastore로 마이그레이션 Google Cloud
BigQuery
BigQuery는 Apache Iceberg 관리 테이블, 기본 테이블, 외부 테이블을 지원합니다.
Apache Iceberg 관리 테이블: BigQuery에서 만들고 관리하며 Cloud Storage에 저장하는 Apache Iceberg 테이블입니다. 오픈소스 엔진에서 읽을 수 있지만 BigQuery는 메타데이터를 관리하고 메타데이터를 쓰는 엔진입니다. 이 옵션은 워크플로를 BigQuery에서 완전히 관리하도록 하려는 경우에 가장 적합합니다.
기본 테이블: 기본 BigQuery 테이블입니다. 완전 관리형이며 가장 고급 분석 및 관리 기능을 제공합니다. 이 옵션은 Iceberg가 아닌 워크로드에 가장 적합합니다.
외부 테이블: 이러한 테이블은 Cloud Storage, Amazon S3 또는 Azure Blob Storage에 저장된 데이터의 BigQuery 전용 구조입니다. 데이터와 메타데이터는 자체 관리되며 BigQuery에는 읽기 액세스 권한만 있습니다. 서드 파티 카탈로그 또는 스토리지에서 직접 관리하려는 데이터에 대해 이 옵션을 선택하세요.
제품별 테이블 형식
다음 차트를 사용하여 Lakehouse 런타임 카탈로그와 BigQuery 간의 테이블 유형을 비교하세요.
Lakehouse
| Apache Iceberg (정식 버전) | Apache Hive (프리뷰) | |
|---|---|---|
| Metastore | Lakehouse 런타임 카탈로그 | Lakehouse 런타임 카탈로그 |
| 스토리지 | Cloud Storage | Cloud Storage |
| 스토리지 최적화 | 고객, 서드 파티 관리 또는 Google 관리 (프리뷰) | 고객 또는 서드 파티 관리 |
| 읽기/쓰기 |
오픈소스 엔진 (읽기/쓰기) BigQuery (읽기/쓰기) 미리보기 |
오픈소스 엔진 (읽기/쓰기) BigQuery (읽기 전용) |
| 고급 작업 | 없음 | 없음 |
| 사용 사례 | 개방형 레이크하우스 | 기존 Spark 및 Hive 워크로드를 완전 관리형, 서버리스 metastore로 마이그레이션 |
BigQuery
| Apache Iceberg 관리 테이블 | 외부 테이블 | 표준 테이블 | |
|---|---|---|---|
| Metastore | BigQuery | 외부 또는 자체 호스팅 metastore | BigQuery |
| 스토리지 | Cloud Storage | Cloud Storage / Amazon S3 / Azure | BigQuery |
| 스토리지 최적화 | Google 관리 | 고객 또는 서드 파티 관리 | Google 관리 |
| 읽기/쓰기 |
오픈소스 엔진 (Iceberg
라이브러리를 사용한 읽기 전용, BigQuery Storage API와의 읽기/쓰기 상호 운용성)
BigQuery (읽기/쓰기) |
오픈소스 엔진 (읽기/쓰기) BigQuery (읽기 전용) |
오픈소스 엔진 (BigQuery Storage API와의 읽기/쓰기 상호 운용성) BigQuery (읽기/쓰기) |
| 고급 작업 | BigQuery Storage Write API, 변경사항 데이터 캡처 (CDC), 다중 문 트랜잭션을 사용한 고처리량 스트리밍 | 없음 | BigQuery Storage Write API, 변경사항 데이터 캡처 (CDC), 다중 문 트랜잭션을 사용한 고처리량 스트리밍 |
| 사용 사례 | 고급 분석, 스트리밍, AI를 위한 고성능 엔터프라이즈급 스토리지가 포함된 개방형 레이크하우스 | BigQuery 로드를 위한 스테이징 테이블, 레거시 쿼리 전용 테이블 | 고급 분석, 스트리밍, AI를 위한 엔터프라이즈급 스토리지 |
다음 단계
Apache Iceberg 테이블을 관리하는 방법을 알아보세요.
Dataflow를 사용하여 외부 Iceberg 테이블을 가져오는 방법을 알아보세요.
BigQuery에서 카탈로그 페더레이션을 사용하는 방법을 알아보세요.