BigQuery에서 경계 없는 레이크하우스 데이터와 상호작용
경계 없는 레이크하우스는 Google Cloud 및 오픈소스 서비스를 통합하여 고급 분석 및 AI를 위한 통합 인터페이스를 만드는 스토리지 엔진입니다. Apache Iceberg를 사용하여 자동화된 데이터 관리 및 기본 제공 거버넌스를 통해 개방형 관리형 고성능 레이크하우스를 빌드할 수 있는 기반을 제공합니다.
Lakehouse에서 테이블을 만들면 BigQuery에서 자동으로 쿼리할 수 있으며 Google Cloud 콘솔의 BigQuery 페이지에 표시됩니다. 레이크하우스 네임스페이스와 스키마도 BigQuery 데이터 세트에 자동으로 매핑됩니다. 또한 BigQuery Studio에서 직접 Lakehouse 카탈로그, 네임스페이스, 테이블을 만들고 업데이트할 수 있습니다.
레이크하우스 리소스와 다른 BigQuery 리소스의 차이점
다음은 Lakehouse와 표준 BigQuery 리소스의 주요 차이점입니다.
- 레이크하우스 데이터 세트는 Google Cloud 콘솔의 BigQuery 페이지에서 물 아이콘 옆에 표시됩니다.
- 레이크하우스 리소스에는 각 세부정보 섹션에 추가 메타데이터가 있습니다.
BigQuery Studio에서 레이크하우스 테이블 만들기
BigQuery 페이지로 이동합니다.
탐색기 창에서 데이터 추가를 클릭합니다.
Google Cloud Storage 데이터 소스 카드를 클릭합니다.
외부 데이터에 액세스에서 GCS 데이터 파일 카드를 클릭합니다.
GCS 버킷 소스 또는 파일 경로에서 Cloud Storage 버킷을 선택합니다.
파일 형식으로 Parquet를 선택합니다.
테이블 이름에 테이블 이름을 입력합니다.
프로젝트에서 사용자 프로젝트를 선택합니다.
카탈로그 ID에서 버킷의 기존 Lakehouse 카탈로그를 선택하거나 아직 없는 경우 새로 만듭니다.
네임스페이스 ID에서 기존 Lakehouse 네임스페이스를 선택하거나 새로 만듭니다. 네임스페이스 ID에는 소문자, 숫자, 밑줄만 포함할 수 있습니다.
(선택사항) 스키마에서 새 테이블의 필드 이름과 데이터 유형을 정의합니다.
테이블 만들기를 클릭합니다.
이제 Lakehouse 테이블이 BigQuery에 표시되며 표준 BigQuery 테이블처럼 쿼리하고 수정할 수 있습니다.
데이터가 포함된 테이블을 만드는 대신 표준 BigQuery 테이블과 동일한 방식으로 빈 레이크하우스 테이블을 만들 수 있습니다. 유일한 차이점은 Lakehouse 네임스페이스를 대상 데이터 세트로 선택한다는 것입니다.
다른 카탈로그를 Lakehouse로 마이그레이션 또는 제휴
BigQuery 페이지로 이동합니다.
탐색기 창에서 데이터 추가를 클릭합니다.
Google Cloud Storage 데이터 소스 카드를 클릭합니다.
외부 데이터에 액세스에서 외부 또는 기존 카탈로그 카드를 클릭합니다.
카탈로그 소스 선택에서 카탈로그 소스를 선택합니다.
- Hive Metastore를 선택한 경우 다음을 수행합니다.
- 리전에서 새 Lakehouse 카탈로그의 리전을 선택합니다.
- 마이그레이션 표시 이름에 마이그레이션의 새 이름을 입력합니다.
- 계속을 클릭합니다.
- 소스 시스템 구성에 URL, 서비스 계정, 네트워크 연결을 입력합니다.
- 다른 카탈로그 소스를 선택한 경우 다음을 수행합니다.
- 카탈로그 이름 (레이크하우스)에 카탈로그 이름을 입력합니다.
- 데이터 위치에서 새 Lakehouse 카탈로그의 리전을 선택합니다.
- 계속을 클릭합니다.
- 카탈로그 구성에 원격 카탈로그 세부정보, 인증 방법, 새로고침 간격을 입력합니다.
- Hive Metastore를 선택한 경우 다음을 수행합니다.
만들기를 클릭합니다.
크로스 클라우드 데이터 액세스
Lakehouse의 크로스 클라우드 데이터 액세스 기능을 사용하면 파일을 마이그레이션하거나 복잡한 ETL 파이프라인을 빌드하지 않고도 BigQuery에서 직접 다른 클라우드 제공업체에 저장된 데이터를 쿼리할 수 있습니다. 구성 정보는 원격 데이터 쿼리를 참조하세요.
Iceberg 테이블 기능 비교
다음 표를 사용하여 Lakehouse 런타임 카탈로그에서 관리하는 Apache Iceberg 테이블과 BigQuery에서 관리하는 Apache Iceberg 테이블의 기능을 비교하세요.
| 기능 | Lakehouse 런타임 카탈로그에서 관리하는 Apache Iceberg 테이블 | BigQuery에서 관리하는 Apache Iceberg 테이블 |
|---|---|---|
| 카탈로그 | Lakehouse 런타임 카탈로그 (Iceberg REST 카탈로그 호환) | BigQuery |
| 스토리지 | Cloud Storage | Cloud Storage |
| Iceberg REST 카탈로그 엔드포인트를 통해 액세스 가능 | 예 | 예, BigQuery 카탈로그 제휴 사용 |
| 읽기/쓰기 상호 운용성 | ||
| BigQuery 읽기 쿼리 (SELECT, BQML, AI 함수) | 지원됨 | 지원됨 |
| BigQuery DML (INSERT, UPDATE, DELETE, MERGE) | 지원됨 (프리뷰) | 지원됨 (정식 버전) |
| OSS 엔진 읽기 | 지원됨 (정식 버전) | 지원됨 (정식 버전) (BigQuery 카탈로그 제휴 사용) |
| OSS 엔진 쓰기 | 지원됨 (GA) | 지원되지 않음 |
| OSS 엔진 스트리밍 쓰기 (Kafka, Spark, Iceberg I/O 싱크를 사용하는 Dataflow) | 지원됨 (정식 버전) | 지원되지 않음 |
| 관리형 및 고급 기능 | ||
| 테이블 관리 (압축, 가비지 컬렉션) | 지원됨 (프리뷰) | 지원됨 (정식 버전) |
| BigQuery 스트리밍 쓰기 (Storage Write API) | 지원되지 않음 | 지원됨 (GA) |
| Pub/Sub 스트리밍/구독, BigQuery I/O 싱크를 사용한 Dataflow 스트리밍 | 지원되지 않음 | 지원됨 (정식 버전) |
| BigQuery 변경 데이터 캡처 (CDC) | 지원됨 (프리뷰) | 지원됨 |
| BigQuery 멀티 문 트랜잭션 | 지원되지 않음 | 지원됨 (프리뷰) |
| 관리형 재해 복구 | 지원되지 않음 | 지원되지 않음 |
| 검색 색인 | 지원되지 않음 | 지원되지 않음 |
| 벡터 색인 (자동 임베딩 생성 포함) | 지원되지 않음 | 지원되지 않음 |
| 시간 이동 | ||
| 시간 이동 (OSS 엔진 사용) | 유연함 (테이블 속성을 통해 구성됨) | 지원되지 않음 |
| 시간 이동 (BigQuery 사용) | 7일로 제한 | 7일로 제한 |
| 스냅샷 기록 및 이전 스냅샷으로 롤백 | 지원됨 | 지원되지 않음 |
| 거버넌스, 보안, 공유 | ||
| BigQuery 승인된 뷰 | 지원되지 않음 | 지원되지 않음 |
| BigQuery 열 수준 보안 | 지원되지 않음 | 지원됨 (GA) |
| BigQuery 데이터 마스킹 및 정책 태그 | 지원되지 않음 | 지원됨 (GA) |
| BigQuery 행 수준 보안 | 지원되지 않음 | 지원됨 (GA) |
| Analytics Hub 통합 | 지원되지 않음 | 지원됨 |
| Knowledge Catalog 기능 | ||
| 메타데이터 카탈로그 작성, 검색 및 탐색 | 지원됨 | 지원됨 |
| 계보 | 지원됨 | 지원됨 |
| 데이터 품질/프로파일링 | 지원됨 | 지원됨 |
| 통계 | 지원됨 | 지원됨 |
| AI 기반 열 및 테이블 설명 생성 | 지원됨 | 지원됨 |
다음 단계
- 경계 없는 레이크하우스 자세히 알아보기