일반적인 Lakehouse for Apache Iceberg 문제 해결

이 페이지에서는 Apache Iceberg용 Lakehouse 및 관련 리소스의 일반적인 문제를 해결하는 방법을 보여줍니다.

메타데이터 테이블을 쿼리할 수 없음

이 문제는 BigQuery의 Lakehouse 런타임 카탈로그에서 지원하는 Apache Iceberg 테이블의 메타데이터 테이블(예: .snapshots 또는 .files)을 5부 이름 식별자를 사용하여 쿼리할 때 발생합니다.

이 문제를 해결하려면 Apache Spark를 사용하여 이러한 테이블을 쿼리하세요.

metadata.json 파일 크기 한도

Apache Iceberg metadata.json 파일 크기는 1MB로 제한됩니다. 이 한도는 테이블 스냅샷, 스키마, 파티션 사양을 추적하는 메타데이터 파일에 적용됩니다. 메타데이터 파일이 이 크기를 초과하면 Apache Iceberg REST 카탈로그 엔드포인트를 통해 테이블 작업을 실행할 때 오류가 발생할 수 있습니다.

이 문제를 해결하려면 Google 계정팀에 문의하여 한도 상향을 요청하세요.

멀티 리전 카탈로그를 쿼리할 때 NOT_FOUND 오류

이 문제는 기본 위치를 지정하지 않고 멀티 리전 Cloud Storage 버킷을 사용하여 Lakehouse 런타임 카탈로그에서 카탈로그를 만든 후 BigQuery 가상 리전 (예: US 또는 EU)을 지정하여 카탈로그를 쿼리하려고 할 때 발생합니다.

카탈로그가 멀티 리전 버킷으로 생성되면 메타데이터는 해당 BigQuery 가상 리전이 아닌 멀티 리전의 지리적 범위 내에 있는 특정 리전 위치에 저장됩니다. 메타데이터가 없는 가상 리전에서 쿼리를 강제로 실행하면 쿼리가 NOT_FOUND 오류와 함께 실패합니다.

이 문제를 해결하려면 카탈로그를 만들 때 기본 위치 (예: US 또는 EU)를 지정하세요. 자세한 내용은 미국 및 EU 멀티 리전의 기본 리전 지정 을 참고하세요.