Présentation des vues Apache Iceberg

Les vues Apache Iceberg vous permettent de définir des tables logiques ouvertes et non matérialisées avec SQL et de les utiliser à partir de moteurs compatibles avec Iceberg tels qu'Apache Spark, Trino, Apache Flink, PyIceberg et dbt. Vous pouvez utiliser les vues Iceberg pour créer des pipelines SQL modulaires et exposer des projections organisées sans copie sur les tables Iceberg. Les vues Iceberg sont gérées par le catalogue d'environnements d'exécution Lakehouse via le point de terminaison du catalogue REST Apache Iceberg. Elles respectent la spécification de vue Apache Iceberg et la spécification OpenAPI REST Iceberg.

Ce document désigne ces vues sous le nom de vues Iceberg.

Contrairement aux vues autorisées BigQuery, les vues Iceberg sont évaluées côté client par votre moteur de calcul. Les vues Iceberg sont des objets de catalogue que vous créez, gérez et interrogez à partir de moteurs Open Source.

Capacités

Les fonctionnalités suivantes sont compatibles :

  • Cycle de vie complet des vues : créez, remplacez, modifiez les propriétés, listez, inspectez et supprimez des vues Iceberg à partir de moteurs Open Source compatibles avec Iceberg, tels qu'Apache Spark et Trino.
  • Définitions de vues enrichies : définissez des vues avec des alias de colonne, des commentaires au niveau de la colonne et de la vue, des propriétés personnalisées, des jointures, des agrégations, des expressions de table courantes (CTE), UNION ALL, des sous-requêtes, des vues imbriquées et un voyage temporel sur les tables sous-jacentes.
  • Authentification flexible : utilisez les identifiants de l'utilisateur final ou la distribution d'identifiants avec des buckets Cloud Storage standards et des buckets avec espace de noms hiérarchique.
  • Compatibilité avec les catalogues : créez des vues dans des catalogues à buckets multiples et à bucket unique.

Vous ne pouvez créer, gérer et interroger des vues Iceberg qu'à l'aide de moteurs Open Source compatibles avec Iceberg qui se connectent au point de terminaison du catalogue REST Apache Iceberg. Pour en savoir plus, consultez la section Limites.

Pour Spark, utilisez Spark 3.5 ou version ultérieure avec l'environnement d'exécution Iceberg 1.6.0 ou version ultérieure. Utilisez l'environnement d'exécution Iceberg 1.10.0 ou version ultérieure pour que Spark découvre les points de terminaison de vue compatibles via la réponse GET /v1/config du catalogue. Définissez spark.sql.extensions=org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions pour que Spark délègue la résolution et le LDD de la vue au point de terminaison du catalogue REST Apache Iceberg.

Pour Trino, utilisez Trino 482 ou une version ultérieure. Pour en savoir plus, consultez Compatibilité avec Trino.

Fonctionnement des vues Iceberg

Une vue Iceberg stocke sa définition SQL, son schéma et ses propriétés dans un fichier metadata.json versionné dans Cloud Storage, sous VIEW_LOCATION/metadata/. Le catalogue d'exécution Lakehouse suit l'emplacement actuel des métadonnées pour chaque vue et expose la vue via les points de terminaison de vue du point de terminaison du catalogue REST Apache Iceberg.

Votre moteur de calcul évalue les vues Iceberg côté client. Lorsque vous exécutez SELECT * FROM my_view, le moteur charge la définition de la vue à partir du catalogue, résout chaque table et vue imbriquée référencée, puis exécute la requête sur les tables Iceberg sous-jacentes. Le catalogue n'exécute pas la requête en votre nom.

Chaque fois que vous remplacez une vue par CREATE OR REPLACE VIEW, le catalogue écrit un nouveau fichier metadata.json, ajoute une nouvelle version et un nouveau schéma aux métadonnées de la vue, et conserve l'view-uuid de la vue. La propriété version.history.num-entries limite le nombre de versions conservées. Pour en savoir plus, consultez Afficher les propriétés.

Les tables et les vues partagent le même espace de noms d'identifiant dans un espace de noms de catalogue. Vous ne pouvez pas créer une vue portant le même nom qu'une table existante, ni remplacer une table par une vue.

Rôles et autorisations nécessaires

Étant donné que votre moteur Compute Engine évalue les vues côté client, l'interrogation d'une vue nécessite des autorisations sur la vue, ainsi que sur chaque table et vue imbriquée auxquelles la vue fait référence.

Pour obtenir les autorisations nécessaires pour créer, gérer et interroger des vues Iceberg, demandez à votre administrateur de vous accorder les rôles IAM suivants sur votre projet et votre bucket de stockage :

  • Créer, remplacer, modifier et supprimer des vues : Éditeur BigLake (roles/biglake.editor) - votre projet
  • Lister et inspecter les définitions de vue : Lecteur BigLake (roles/biglake.viewer) - votre projet
  • Interroger des vues en mode de distribution des identifiants : Lecteur BigLake (roles/biglake.viewer) - votre projet
  • Interrogez les vues en mode d'identifiants de l'utilisateur final :
    • Lecteur BigLake (roles/biglake.viewer) - votre projet
    • Lecteur des objets Storage (roles/storage.objectViewer) : le bucket Cloud Storage
  • Écrire des fichiers de métadonnées de vue en mode d'identifiants de l'utilisateur final : Utilisateur d'objets Storage (roles/storage.objectUser) – bucket Cloud Storage

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour créer, gérer et interroger des vues Iceberg. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour créer, gérer et interroger des vues Iceberg :

  • Créez une vue :
    • biglake.views.create sur l'espace de noms
    • biglake.tables.get sur chaque table Iceberg référencée par la vue
  • Vues sous forme de liste : biglake.views.list sur l'espace de noms
  • Obtenir les détails de la vue : biglake.views.get sur la vue
  • Modifier une vue :
    • biglake.views.update sur la vue
    • biglake.tables.get sur chaque table Iceberg référencée par la définition de la nouvelle vue
  • Supprimer une vue : biglake.views.delete sur la vue
  • Interroger une vue :
    • biglake.views.get sur la vue et toutes les vues imbriquées
    • biglake.tables.get sur chaque table Iceberg référencée par la vue
  • Lire les données de la table en mode de distribution des identifiants : biglake.tables.getData sur chaque table Iceberg référencée par la vue
  • Lire les métadonnées de la vue et les données de la table en mode d'identifiants de l'utilisateur final : storage.objects.get sur le bucket Cloud Storage
  • Écrire des fichiers de métadonnées de vue en mode d'identifiants de l'utilisateur final : storage.objects.create sur le bucket Cloud Storage

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Le tableau suivant met en correspondance chaque droit d'affichage avec les opérations de point de terminaison du catalogue REST Apache Iceberg qu'il autorise :

Autorisation Ressource Opérations sur les points de terminaison Inclus dans les rôles prédéfinis
biglake.views.create Espace de noms CreateIcebergView roles/biglake.admin, roles/biglake.editor
biglake.views.get Afficher GetIcebergView, CheckIcebergViewExists roles/biglake.admin, roles/biglake.editor, roles/biglake.viewer, roles/biglake.metadataViewer
biglake.views.update Afficher UpdateIcebergView roles/biglake.admin, roles/biglake.editor
biglake.views.delete Afficher DeleteIcebergView roles/biglake.admin, roles/biglake.editor
biglake.views.list Espace de noms ListIcebergViewIdentifiers roles/biglake.admin, roles/biglake.editor, roles/biglake.viewer, roles/biglake.metadataViewer

Pour en savoir plus, consultez Rôles IAM Lakehouse.

Points de terminaison de vue compatibles

Lorsqu'un moteur initialise une session de catalogue avec GET /v1/config?warehouse=WAREHOUSE_URI, le point de terminaison du catalogue REST Apache Iceberg annonce les points de terminaison de vue suivants dans la liste endpoints. Dans le tableau suivant, {prefix} correspond à projects/PROJECT_ID/catalogs/CATALOG_ID.

Méthode et chemin d'accès Opération Description Autorisation requise
GET /v1/{prefix}/namespaces/{namespace}/views ListIcebergViewIdentifiers Répertorie les identifiants de vue dans l'espace de noms. Compatible avec pageToken et pageSize. N'inclut pas les tables. biglake.views.list sur l'espace de noms
POST /v1/{prefix}/namespaces/{namespace}/views CreateIcebergView Crée une vue, écrit le fichier 00000-UUID.metadata.json initial dans Cloud Storage et enregistre la vue. biglake.views.create sur l'espace de noms
GET /v1/{prefix}/namespaces/{namespace}/views/{view} GetIcebergView Charge les métadonnées de la vue actuelle et l'emplacement des métadonnées. biglake.views.get sur la vue
POST /v1/{prefix}/namespaces/{namespace}/views/{view} UpdateIcebergView Valide les exigences de simultanéité optimiste et valide les mises à jour dans un nouveau fichier metadata.json. biglake.views.update sur la vue
DELETE /v1/{prefix}/namespaces/{namespace}/views/{view} DeleteIcebergView Supprime la vue du catalogue et purge sa stratégie IAM (Identity and Access Management) au niveau de la vue. biglake.views.delete sur la vue
HEAD /v1/{prefix}/namespaces/{namespace}/views/{view} CheckIcebergViewExists Vérifie si une vue existe. biglake.views.get sur la vue

Actions de gestion

Vous pouvez effectuer les actions de gestion suivantes sur vos vues Iceberg :

  • Créer une vue : définissez une vue sur une ou plusieurs tables Iceberg à l'aide de Spark ou du point de terminaison du catalogue REST Apache Iceberg (CreateIcebergView).
  • Répertorier les vues : répertoriez les identifiants de vue dans un espace de noms à l'aide de Spark ou du point de terminaison du catalogue REST Apache Iceberg (ListIcebergViewIdentifiers).
  • Obtenir les détails d'une vue : inspectez le schéma, la définition SQL et les propriétés d'une vue à l'aide de Spark ou du point de terminaison du catalogue REST Apache Iceberg (GetIcebergView).
  • Interroger une vue : exécutez des requêtes sur une vue à partir d'un moteur Open Source compatible avec Iceberg, tel que Spark.
  • Modifier une vue : remplacez la définition de la vue ou mettez à jour ses propriétés à l'aide de Spark ou du point de terminaison du catalogue REST Apache Iceberg (UpdateIcebergView).
  • Supprimer une vue : supprimez une vue du catalogue à l'aide de Spark ou du point de terminaison du catalogue REST Apache Iceberg (DeleteIcebergView).

Limites

Les vues Iceberg présentent les limites suivantes :

  • Moteurs Open Source uniquement. Vous ne pouvez créer, gérer et interroger des vues Iceberg qu'à partir de moteurs Open Source compatibles avec Iceberg via le point de terminaison du catalogue REST Apache Iceberg. BigQuery SQL, l'outil de ligne de commande bq, la console Google Cloud , la gcloud CLI et Terraform ne sont pas compatibles avec les vues Iceberg.
  • Types de catalogues compatibles Les vues Iceberg ne sont compatibles qu'avec les catalogues à buckets multiples et les catalogues à bucket unique. Le catalogue rejette les opérations d'affichage sur les catalogues BigQuery et les catalogues fédérés avec une erreur 400 Bad Request (FAILED_PRECONDITION).
  • Opérations de vue REST non compatibles
    • Il n'est pas possible de renommer une vue (POST /v1/{prefix}/views/rename ou ALTER VIEW ... RENAME TO). Pour renommer une vue, créez une vue avec le nouveau nom, puis supprimez la vue d'origine.
    • L'enregistrement d'un fichier de vue metadata.json existant (registerView) n'est pas possible.
    • Les vues matérialisées ne sont pas acceptées. Seules les vues Iceberg logiques sont acceptées.
  • Fonctionnalité temporelle sur les vues Vous ne pouvez pas appliquer TIMESTAMP AS OF ou VERSION AS OF à un identifiant de vue. Une définition de vue peut appliquer la fonctionnalité de voyage temporel aux tables sous-jacentes qu'elle interroge. Pour en savoir plus, consultez Créer une vue avec la fonctionnalité temporelle sur les tables sous-jacentes.
  • Afficher l'emplacement de stockage
    • Dans les catalogues à bucket unique, les emplacements de vues personnalisées ne sont pas acceptés. L'emplacement de la vue doit correspondre au chemin d'accès par défaut NAMESPACE_LOCATION/VIEW_NAME.
    • Dans les catalogues à plusieurs buckets, l'emplacement d'une vue personnalisée doit se trouver dans le préfixe d'URI de stockage de l'espace de noms et dans les emplacements de stockage autorisés du catalogue.
    • Une fois que vous avez créé une vue, son emplacement de stockage est immuable. Toute tentative de définition d'un autre emplacement échoue avec une erreur 400 Bad Request.

Afficher les propriétés

Les vues Iceberg sont compatibles avec les propriétés de vue définies par Apache Iceberg. Le tableau suivant décrit comment le catalogue gère ces propriétés :

Propriété Valeur par défaut Comportement
write.metadata.compression-codec gzip Par défaut, le catalogue écrit des fichiers .gz.metadata.json compressés au format gzip. Définissez la valeur sur none pour écrire des fichiers .metadata.json non compressés. La valeur est sensible à la casse. Vous pouvez définir cette propriété au moment de la création ou avec ALTER VIEW ... SET TBLPROPERTIES.
write.metadata.path VIEW_LOCATION/metadata Ignoré pour les vues. Le catalogue écrit toujours les fichiers de métadonnées de vue sous VIEW_LOCATION/metadata/VERSION-UUID.metadata.json.
version.history.num-entries 10 Vous devez saisir un entier positif. Limite le nombre d'entrées que le catalogue conserve dans la liste versions et version-log de la vue. Lorsqu'un commit dépasse cette limite, le catalogue supprime les entrées les plus anciennes et conserve toujours la version actuelle et les versions ajoutées par le commit. Le journal des versions est destiné à l'audit et au rollback administratif. Les Compute Engine ne permettent pas d'interroger les versions historiques des vues avec SQL.

Étapes suivantes