Apache Spark는 Lakehouse 런타임 카탈로그를 통해 경계 없는 Lakehouse에 연결됩니다. 이 통합은 Apache Iceberg REST 카탈로그 엔드포인트를 사용하여 Apache Iceberg 테이블을 검색하고 관리하기 위한 표준 인터페이스를 제공합니다.
시작하려면 다음 가이드를 참고하세요.
Spark 구성 속성
다음 속성을 사용하여 Spark 세션 또는 작업 제출을 구성하여 Apache Iceberg REST 카탈로그 엔드포인트에 연결합니다.
| 속성 | 값 | 설명 |
|---|---|---|
spark.sql.catalog.CATALOG_NAME |
org.apache.iceberg.spark.SparkCatalog |
Apache Iceberg Spark 카탈로그 구현을 등록합니다. |
spark.sql.catalog.CATALOG_NAME.type |
rest |
REST 카탈로그 유형을 지정합니다. |
spark.sql.catalog.CATALOG_NAME.uri |
https://biglake.googleapis.com/iceberg/v1/restcatalog |
Lakehouse 런타임 카탈로그의 Apache Iceberg REST 카탈로그 엔드포인트 URI를 지정합니다. 리전 엔드포인트로 요청을 라우팅하려면 https://biglake.LOCATION.rep.googleapis.com/iceberg/v1/restcatalog를 사용합니다. |
spark.sql.catalog.CATALOG_NAME.warehouse |
bl://projects/PROJECT_ID/catalogs/CATALOG_ID |
Lakehouse 런타임 카탈로그에서 멀티 버킷 카탈로그의 웨어하우스 경로를 지정합니다. 단일 버킷 카탈로그의 경우 gs://CLOUD_STORAGE_BUCKET_NAME를 사용합니다. |
spark.sql.catalog.CATALOG_NAME.header.x-goog-user-project |
PROJECT_ID |
Lakehouse 런타임 카탈로그 요청에 대한 결제 및 할당량의 Google Cloud 프로젝트 ID를 지정합니다. |
spark.sql.catalog.CATALOG_NAME.rest.auth.type |
org.apache.iceberg.gcp.auth.GoogleAuthManager |
Apache Iceberg REST 카탈로그 엔드포인트에 대한 Google Cloud 인증을 구성합니다. |
spark.sql.catalog.CATALOG_NAME.io-impl |
org.apache.iceberg.gcp.gcs.GCSFileIO |
Apache Iceberg의 Cloud Storage FileIO 구현을 지정합니다. 사용자 인증 정보 벤더 제공 모드를 사용할 때 필요합니다. |
spark.sql.catalog.CATALOG_NAME.header.X-Iceberg-Access-Delegation |
vended-credentials |
사용자 인증 정보 제공 모드를 사용할 때 테이블 로드 중에 Lakehouse 런타임 카탈로그에서 범위가 축소된 단기 스토리지 사용자 인증 정보를 요청합니다. |
spark.sql.extensions |
org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions |
Spark에서 Apache Iceberg SQL 확장 프로그램 및 최적화를 사용 설정합니다. |
spark.sql.defaultCatalog |
CATALOG_NAME |
선택사항: Spark 세션의 기본 카탈로그를 설정합니다. |
다음을 바꿉니다.
CATALOG_NAME: Spark 세션에 구성된 카탈로그 이름 식별자입니다 (예:my_catalog).LOCATION: 리전 엔드포인트를 사용할 때 카탈로그가 있는 Google Cloud 리전 (예:us-central1)PROJECT_ID: Google Cloud 프로젝트 ID입니다.CATALOG_ID: Lakehouse 런타임 카탈로그에 있는 카탈로그의 ID입니다.CLOUD_STORAGE_BUCKET_NAME: 단일 버킷 카탈로그와 연결된 Cloud Storage 버킷의 이름입니다.
자세한 구성은 클라이언트 애플리케이션 구성 및 공식 Apache Iceberg Spark 문서를 참조하세요.