Apache Spark stellt über den Lakehouse-Laufzeitkatalog eine Verbindung zum grenzenlosen Lakehouse her. Diese Integration verwendet den Apache Iceberg REST-Katalogendpunkt, um eine Standardschnittstelle zum Erkennen und Verwalten von Apache Iceberg-Tabellen bereitzustellen.
Die folgenden Anleitungen erleichtern Ihnen den Einstieg:
Spark-Konfigurationsattribute
Konfigurieren Sie Ihre Spark-Sitzung oder Jobübermittlung mit den folgenden Attributen, um eine Verbindung zum Apache Iceberg REST-Katalogendpunkt herzustellen:
| Attribut | Wert | Beschreibung |
|---|---|---|
spark.sql.catalog.CATALOG_NAME |
org.apache.iceberg.spark.SparkCatalog |
Registriert die Apache Iceberg Spark-Katalogimplementierung. |
spark.sql.catalog.CATALOG_NAME.type |
rest |
Gibt den REST-Katalogtyp an. |
spark.sql.catalog.CATALOG_NAME.uri |
https://biglake.googleapis.com/iceberg/v1/restcatalog |
Gibt den URI des Apache Iceberg REST-Katalogendpunkts im Lakehouse-Laufzeitkatalog an. Verwenden Sie https://biglake.LOCATION.rep.googleapis.com/iceberg/v1/restcatalog, um Anfragen an einen regionalen Endpunkt weiterzuleiten. |
spark.sql.catalog.CATALOG_NAME.warehouse |
bl://projects/PROJECT_ID/catalogs/CATALOG_ID |
Gibt den Warehouse-Pfad für einen Katalog mit mehreren Buckets im Lakehouse-Laufzeitkatalog an. Verwenden Sie für einen Katalog mit einem Bucket gs://CLOUD_STORAGE_BUCKET_NAME. |
spark.sql.catalog.CATALOG_NAME.header.x-goog-user-project |
PROJECT_ID |
Gibt die Google Cloud -Projekt-ID für die Abrechnung und das Kontingent für Lakehouse-Laufzeitkataloganfragen an. |
spark.sql.catalog.CATALOG_NAME.rest.auth.type |
org.apache.iceberg.gcp.auth.GoogleAuthManager |
Konfiguriert die Google Cloud -Authentifizierung für den Apache Iceberg REST-Katalogendpunkt. |
spark.sql.catalog.CATALOG_NAME.io-impl |
org.apache.iceberg.gcp.gcs.GCSFileIO |
Gibt die Cloud Storage-FileIO-Implementierung für Apache Iceberg an. Erforderlich, wenn der Modus für die Bereitstellung von Anmeldedaten verwendet wird. |
spark.sql.catalog.CATALOG_NAME.header.X-Iceberg-Access-Delegation |
vended-credentials |
Fordert beim Laden von Tabellen im Modus für die Bereitstellung von Anmeldedaten kurzlebige, eingeschränkte Speicheranmeldedaten vom Lakehouse-Laufzeitkatalog an. |
spark.sql.extensions |
org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions |
Aktiviert Apache Iceberg SQL-Erweiterungen und -Optimierungen in Spark. |
spark.sql.defaultCatalog |
CATALOG_NAME |
Optional: Legt den Standardkatalog für die Spark-Sitzung fest. |
Ersetzen Sie Folgendes:
CATALOG_NAME: die in Ihrer Spark-Sitzung konfigurierte Katalogname-ID (z. B.my_catalog).LOCATION: die Google Cloud -Region, in der sich Ihr Katalog befindet, wenn Sie einen regionalen Endpunkt verwenden (z. B.us-central1).PROJECT_ID: Projekt-ID in Google Cloud .CATALOG_ID: die ID Ihres Katalogs im Lakehouse-Laufzeitkatalog.CLOUD_STORAGE_BUCKET_NAME: der Name des Cloud Storage-Bucket, der mit einem Katalog mit einem einzelnen Bucket verknüpft ist.
Weitere Informationen zur Konfiguration finden Sie unter Clientanwendung konfigurieren und in der offiziellen Apache Iceberg Spark-Dokumentation.