Les vues Apache Iceberg vous permettent de définir des tables logiques ouvertes et non matérialisées avec SQL et de les utiliser à partir de moteurs compatibles avec Iceberg tels qu'Apache Spark, Trino, Apache Flink, PyIceberg et dbt. Vous pouvez utiliser les vues Iceberg pour créer des pipelines SQL modulaires et exposer des projections organisées sans copie sur les tables Iceberg. Les vues Iceberg sont gérées par le catalogue d'environnements d'exécution Lakehouse via le point de terminaison du catalogue REST Apache Iceberg. Elles respectent la spécification de vue Apache Iceberg et la spécification OpenAPI REST Iceberg.
Ce document désigne ces vues sous le nom de vues Iceberg.
Contrairement aux vues autorisées BigQuery, les vues Iceberg sont évaluées côté client par votre moteur de calcul. Les vues Iceberg sont des objets de catalogue que vous créez, gérez et interrogez à partir de moteurs Open Source.
Capacités
Les fonctionnalités suivantes sont compatibles :
- Cycle de vie complet des vues : créez, remplacez, modifiez les propriétés, listez, inspectez et supprimez des vues Iceberg à partir de moteurs Open Source compatibles avec Iceberg, tels qu'Apache Spark et Trino.
- Définitions de vues enrichies : définissez des vues avec des alias de colonne, des commentaires au niveau de la colonne et de la vue, des propriétés personnalisées, des jointures, des agrégations, des expressions de table courantes (CTE),
UNION ALL, des sous-requêtes, des vues imbriquées et un voyage temporel sur les tables sous-jacentes. - Authentification flexible : utilisez les identifiants de l'utilisateur final ou la distribution d'identifiants avec des buckets Cloud Storage standards et des buckets avec espace de noms hiérarchique.
- Compatibilité avec les catalogues : créez des vues dans des catalogues à buckets multiples et à bucket unique.
Vous ne pouvez créer, gérer et interroger des vues Iceberg qu'à l'aide de moteurs Open Source compatibles avec Iceberg qui se connectent au point de terminaison du catalogue REST Apache Iceberg. Pour en savoir plus, consultez la section Limites.
Pour Spark, utilisez Spark 3.5 ou version ultérieure avec l'environnement d'exécution Iceberg 1.6.0 ou version ultérieure. Utilisez l'environnement d'exécution Iceberg 1.10.0 ou version ultérieure pour que Spark découvre les points de terminaison de vue compatibles via la réponse GET /v1/config du catalogue. Définissez spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions pour que Spark délègue la résolution et le LDD de la vue au point de terminaison du catalogue REST Apache Iceberg.
Pour Trino, utilisez Trino 482 ou une version ultérieure. Pour en savoir plus, consultez Compatibilité avec Trino.
Fonctionnement des vues Iceberg
Une vue Iceberg stocke sa définition SQL, son schéma et ses propriétés dans un fichier metadata.json versionné dans Cloud Storage, sous VIEW_LOCATION/metadata/. Le catalogue d'exécution Lakehouse suit l'emplacement actuel des métadonnées pour chaque vue et expose la vue via les points de terminaison de vue du point de terminaison du catalogue REST Apache Iceberg.
Votre moteur de calcul évalue les vues Iceberg côté client. Lorsque vous exécutez SELECT * FROM my_view, le moteur charge la définition de la vue à partir du catalogue, résout chaque table et vue imbriquée référencée, puis exécute la requête sur les tables Iceberg sous-jacentes. Le catalogue n'exécute pas la requête en votre nom.
Chaque fois que vous remplacez une vue par CREATE OR REPLACE VIEW, le catalogue écrit un nouveau fichier metadata.json, ajoute une nouvelle version et un nouveau schéma aux métadonnées de la vue, et conserve l'view-uuid de la vue. La propriété version.history.num-entries limite le nombre de versions conservées.
Pour en savoir plus, consultez Afficher les propriétés.
Les tables et les vues partagent le même espace de noms d'identifiant dans un espace de noms de catalogue. Vous ne pouvez pas créer une vue portant le même nom qu'une table existante, ni remplacer une table par une vue.
Rôles et autorisations nécessaires
Étant donné que votre moteur Compute Engine évalue les vues côté client, l'interrogation d'une vue nécessite des autorisations sur la vue, ainsi que sur chaque table et vue imbriquée auxquelles la vue fait référence.
Pour obtenir les autorisations nécessaires pour créer, gérer et interroger des vues Iceberg, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet et votre bucket de stockage :
-
Créer, remplacer, modifier et supprimer des vues : Éditeur BigLake (
roles/biglake.editor) - votre projet -
Lister et inspecter les définitions de vue : Lecteur BigLake (
roles/biglake.viewer) - votre projet -
Interroger des vues en mode de distribution des identifiants : Lecteur BigLake (
roles/biglake.viewer) - votre projet -
Interrogez les vues en mode d'identifiants de l'utilisateur final :
- Lecteur BigLake (
roles/biglake.viewer) - votre projet - Lecteur des objets Storage (
roles/storage.objectViewer) : le bucket Cloud Storage
- Lecteur BigLake (
-
Écrire des fichiers de métadonnées de vue en mode d'identifiants de l'utilisateur final : Utilisateur d'objets Storage (
roles/storage.objectUser) – bucket Cloud Storage
Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.
Ces rôles prédéfinis contiennent les autorisations requises pour créer, gérer et interroger des vues Iceberg. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :
Autorisations requises
Vous devez disposer des autorisations suivantes pour créer, gérer et interroger des vues Iceberg :
-
Créez une vue :
-
biglake.views.createsur l'espace de noms -
biglake.tables.getsur chaque table Iceberg référencée par la vue
-
-
Vues sous forme de liste :
biglake.views.listsur l'espace de noms -
Obtenir les détails de la vue :
biglake.views.getsur la vue -
Modifier une vue :
-
biglake.views.updatesur la vue -
biglake.tables.getsur chaque table Iceberg référencée par la définition de la nouvelle vue
-
-
Supprimer une vue :
biglake.views.deletesur la vue -
Interroger une vue :
-
biglake.views.getsur la vue et toutes les vues imbriquées -
biglake.tables.getsur chaque table Iceberg référencée par la vue
-
-
Lire les données de la table en mode de distribution des identifiants :
biglake.tables.getDatasur chaque table Iceberg référencée par la vue -
Lire les métadonnées de la vue et les données de la table en mode d'identifiants de l'utilisateur final :
storage.objects.getsur le bucket Cloud Storage -
Écrire des fichiers de métadonnées de vue en mode d'identifiants de l'utilisateur final :
storage.objects.createsur le bucket Cloud Storage
Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.
Le tableau suivant met en correspondance chaque droit d'affichage avec les opérations de point de terminaison du catalogue REST Apache Iceberg qu'il autorise :
| Autorisation | Ressource | Opérations sur les points de terminaison | Inclus dans les rôles prédéfinis |
|---|---|---|---|
biglake.views.create |
Espace de noms | CreateIcebergView |
roles/biglake.admin, roles/biglake.editor |
biglake.views.get |
Afficher | GetIcebergView, CheckIcebergViewExists |
roles/biglake.admin, roles/biglake.editor,
roles/biglake.viewer,
roles/biglake.metadataViewer |
biglake.views.update |
Afficher | UpdateIcebergView |
roles/biglake.admin, roles/biglake.editor |
biglake.views.delete |
Afficher | DeleteIcebergView |
roles/biglake.admin, roles/biglake.editor |
biglake.views.list |
Espace de noms | ListIcebergViewIdentifiers |
roles/biglake.admin, roles/biglake.editor,
roles/biglake.viewer,
roles/biglake.metadataViewer |
Pour en savoir plus, consultez Rôles IAM Lakehouse.
Points de terminaison de vue compatibles
Lorsqu'un moteur initialise une session de catalogue avec GET /v1/config?warehouse=WAREHOUSE_URI, le point de terminaison du catalogue REST Apache Iceberg annonce les points de terminaison de vue suivants dans la liste endpoints. Dans le tableau suivant, {prefix} correspond à projects/PROJECT_ID/catalogs/CATALOG_ID.
| Méthode et chemin d'accès | Opération | Description | Autorisation requise |
|---|---|---|---|
GET /v1/{prefix}/namespaces/{namespace}/views |
ListIcebergViewIdentifiers |
Répertorie les identifiants de vue dans l'espace de noms. Compatible avec pageToken et pageSize. N'inclut pas les tables. |
biglake.views.list sur l'espace de noms |
POST /v1/{prefix}/namespaces/{namespace}/views |
CreateIcebergView |
Crée une vue, écrit le fichier 00000-UUID.metadata.json initial dans Cloud Storage et enregistre la vue. |
biglake.views.create sur l'espace de noms |
GET /v1/{prefix}/namespaces/{namespace}/views/{view} |
GetIcebergView |
Charge les métadonnées de la vue actuelle et l'emplacement des métadonnées. | biglake.views.get sur la vue |
POST /v1/{prefix}/namespaces/{namespace}/views/{view} |
UpdateIcebergView |
Valide les exigences de simultanéité optimiste et valide les mises à jour dans un nouveau fichier metadata.json. |
biglake.views.update sur la vue |
DELETE /v1/{prefix}/namespaces/{namespace}/views/{view} |
DeleteIcebergView |
Supprime la vue du catalogue et purge sa stratégie IAM (Identity and Access Management) au niveau de la vue. | biglake.views.delete sur la vue |
HEAD /v1/{prefix}/namespaces/{namespace}/views/{view} |
CheckIcebergViewExists |
Vérifie si une vue existe. | biglake.views.get sur la vue |
Actions de gestion
Vous pouvez effectuer les actions de gestion suivantes sur vos vues Iceberg :
- Créer une vue : définissez une vue sur une ou plusieurs tables Iceberg à l'aide de Spark ou du point de terminaison du catalogue REST Apache Iceberg (
CreateIcebergView). - Répertorier les vues : répertoriez les identifiants de vue dans un espace de noms à l'aide de Spark ou du point de terminaison du catalogue REST Apache Iceberg (
ListIcebergViewIdentifiers). - Obtenir les détails d'une vue : inspectez le schéma, la définition SQL et les propriétés d'une vue à l'aide de Spark ou du point de terminaison du catalogue REST Apache Iceberg (
GetIcebergView). - Interroger une vue : exécutez des requêtes sur une vue à partir d'un moteur Open Source compatible avec Iceberg, tel que Spark.
- Modifier une vue : remplacez la définition de la vue ou mettez à jour ses propriétés à l'aide de Spark ou du point de terminaison du catalogue REST Apache Iceberg (
UpdateIcebergView). - Supprimer une vue : supprimez une vue du catalogue à l'aide de Spark ou du point de terminaison du catalogue REST Apache Iceberg (
DeleteIcebergView).
Limites
Les vues Iceberg présentent les limites suivantes :
- Moteurs Open Source uniquement. Vous ne pouvez créer, gérer et interroger des vues Iceberg qu'à partir de moteurs Open Source compatibles avec Iceberg via le point de terminaison du catalogue REST Apache Iceberg. BigQuery SQL, l'outil de ligne de commande bq, la console Google Cloud , la gcloud CLI et Terraform ne sont pas compatibles avec les vues Iceberg.
- Types de catalogues compatibles Les vues Iceberg ne sont compatibles qu'avec les catalogues à buckets multiples et les catalogues à bucket unique. Le catalogue rejette les opérations d'affichage sur les catalogues BigQuery et les catalogues fédérés avec une erreur
400 Bad Request(FAILED_PRECONDITION). - Opérations de vue REST non compatibles
- Il n'est pas possible de renommer une vue (
POST /v1/{prefix}/views/renameouALTER VIEW ... RENAME TO). Pour renommer une vue, créez une vue avec le nouveau nom, puis supprimez la vue d'origine. - L'enregistrement d'un fichier de vue
metadata.jsonexistant (registerView) n'est pas possible. - Les vues matérialisées ne sont pas acceptées. Seules les vues Iceberg logiques sont acceptées.
- Il n'est pas possible de renommer une vue (
- Fonctionnalité temporelle sur les vues Vous ne pouvez pas appliquer
TIMESTAMP AS OFouVERSION AS OFà un identifiant de vue. Une définition de vue peut appliquer la fonctionnalité de voyage temporel aux tables sous-jacentes qu'elle interroge. Pour en savoir plus, consultez Créer une vue avec la fonctionnalité temporelle sur les tables sous-jacentes. - Afficher l'emplacement de stockage
- Dans les catalogues à bucket unique, les emplacements de vues personnalisées ne sont pas acceptés. L'emplacement de la vue doit correspondre au chemin d'accès par défaut
NAMESPACE_LOCATION/VIEW_NAME. - Dans les catalogues à plusieurs buckets, l'emplacement d'une vue personnalisée doit se trouver dans le préfixe d'URI de stockage de l'espace de noms et dans les emplacements de stockage autorisés du catalogue.
- Une fois que vous avez créé une vue, son emplacement de stockage est immuable.
Toute tentative de définition d'un autre emplacement échoue avec une erreur
400 Bad Request.
- Dans les catalogues à bucket unique, les emplacements de vues personnalisées ne sont pas acceptés. L'emplacement de la vue doit correspondre au chemin d'accès par défaut
Afficher les propriétés
Les vues Iceberg sont compatibles avec les propriétés de vue définies par Apache Iceberg. Le tableau suivant décrit comment le catalogue gère ces propriétés :
| Propriété | Valeur par défaut | Comportement |
|---|---|---|
write.metadata.compression-codec |
gzip |
Par défaut, le catalogue écrit des fichiers .gz.metadata.json compressés au format gzip. Définissez la valeur sur none pour écrire des fichiers .metadata.json non compressés. La valeur est sensible à la casse. Vous pouvez définir cette propriété au moment de la création ou avec ALTER VIEW ... SET TBLPROPERTIES. |
write.metadata.path |
VIEW_LOCATION/metadata |
Ignoré pour les vues. Le catalogue écrit toujours les fichiers de métadonnées de vue sous VIEW_LOCATION/metadata/VERSION-UUID.metadata.json. |
version.history.num-entries |
10 |
Vous devez saisir un entier positif. Limite le nombre d'entrées que le catalogue conserve dans la liste versions et version-log de la vue. Lorsqu'un commit dépasse cette limite, le catalogue supprime les entrées les plus anciennes et conserve toujours la version actuelle et les versions ajoutées par le commit. Le journal des versions est destiné à l'audit et au rollback administratif. Les Compute Engine ne permettent pas d'interroger les versions historiques des vues avec SQL. |
Étapes suivantes
- Découvrez comment créer une vue.
- Découvrez comment interroger une vue.
- Découvrez comment résoudre les problèmes liés aux vues Iceberg.