이 문서에서는 BigLake에서 레이크하우스를 빌드할 때 사용할 수 있는 다양한 테이블 형식을 설명하고 필요에 맞는 형식을 선택하는 데 도움을 줍니다.
BigLake에서 레이크하우스를 빌드할 때 다양한 수준의 관리, 성능, 상호 운용성을 제공하는 여러 테이블 형식 중에서 선택할 수 있습니다. 선택은 데이터가 어디에서 시작되는지, 쓰기 및 변환에 사용할 엔진, 스토리지 및 메타데이터에 필요한 제어 수준에 따라 달라집니다.
테이블 형식
BigLake에서 레이크하우스를 빌드할 때 테이블 형식에 대해 다음 옵션을 선택할 수 있습니다.
- BigLake Iceberg 테이블은 오픈소스 엔진에서 만들고 Cloud Storage에 저장하는 Iceberg 테이블입니다. BigLake metastore를 사용하는 모든 테이블과 마찬가지로 오픈소스 엔진과 BigQuery에서 읽을 수 있습니다. 하지만 오픈소스 엔진만 여기에 쓸 수 있습니다. ETL 워크플로를 오픈소스 엔진에서 관리하도록 하려면 이 옵션을 선택하세요.
- BigQuery의 BigLake Iceberg 테이블은 BigQuery에서 만들고 Cloud Storage에 저장하는 Iceberg 테이블입니다. BigLake metastore를 사용하는 모든 테이블과 마찬가지로 오픈소스 엔진과 BigQuery에서 읽을 수 있습니다. 하지만 BigQuery는 직접 쓰기가 가능한 유일한 엔진입니다. 추출, 변환, 로드 (ETL) 워크플로를 BigQuery에서 완전 관리하도록 하려면 이 옵션을 선택하세요.
- 표준 BigQuery 테이블은 BigQuery에서 완전히 관리하며 가장 고급 데이터 분석 및 관리 기능을 제공합니다. 이러한 테이블을 BigLake Metastore에 연결할 수 있습니다. 이 옵션은 Iceberg가 아닌 테이블에 가장 적합합니다.
- 외부 테이블은 BigLake metastore 외부에 있는 테이블입니다. 이러한 테이블의 데이터와 메타데이터는 완전히 자체 관리되며, 개방형 테이블 형식 (예: Iceberg, Apache Hudi, Delta Lake)의 기능을 완전히 신뢰합니다. BigQuery는 이러한 테이블에서 읽기만 할 수 있습니다. 서드 파티 카탈로그에서 직접 관리하려는 데이터 및 메타데이터의 경우 이 옵션을 선택합니다.
다음 차트를 사용하여 표 형식 옵션을 비교하세요.
| 외부 테이블 | BigLake Iceberg 테이블 | BigQuery의 BigLake Iceberg 테이블 | 표준 BigQuery 테이블 | |
|---|---|---|---|---|
| metastore | 외부 또는 자체 호스팅 metastore | BigLake metastore | BigLake metastore | BigQuery |
| 스토리지 | Cloud Storage / Amazon S3 / Azure | Cloud Storage | Cloud Storage | BigQuery |
| 스토리지 최적화 | 고객 또는 서드 파티 관리 | 고객 또는 서드 파티 관리 | Google 관리 | Google 관리 |
| 읽기/쓰기 |
오픈소스 엔진(읽기/쓰기) BigQuery(읽기 전용) |
오픈소스 엔진(읽기/쓰기) BigQuery(읽기 전용) |
오픈소스 엔진(Iceberg 라이브러리를 사용한 읽기 전용, BigQuery Storage API와의 읽기/쓰기 상호 운용성) BigQuery(읽기/쓰기) |
오픈소스 엔진(BigQuery Storage API와의 읽기/쓰기 상호 운용성) BigQuery(읽기/쓰기) |
| 사용 사례 | BigQuery 로드를 위한 스테이징 테이블, 기존 쿼리 전용 테이블 | 개방형 레이크하우스 | 고성능의 엔터프라이즈급 스토리지를 갖춘 개방형 레이크하우스로 고급 분석, 스트리밍, AI 지원 | 고급 분석, 스트리밍, AI를 위한 엔터프라이즈급 스토리지 |