Présentation des tables Apache Iceberg

Les tables Apache Iceberg, gérées par le catalogue d'environnements d'exécution Lakehouse et le point de terminaison du catalogue REST Iceberg, sont des tables Iceberg ouvertes et interopérables qui respectent la spécification Open Source Apache Iceberg Table. Elles peuvent être lues et écrites à l'aide de n'importe quel moteur de traitement compatible avec Iceberg ou BigQuery.

Dans ce document, ces tables sont appelées "tables Lakehouse Iceberg" ou "tables Iceberg".

Vous pouvez activer les fonctionnalités suivantes en configurant les options du tableau :

  1. Interopérabilité en lecture/écriture (preview) : compatibilité en lecture et en écriture pour plusieurs moteurs, y compris BigQuery, Managed Service pour Apache Spark, les moteurs compatibles avec Iceberg tels que les moteurs Open Source (Apache Spark, Apache Flink et Trino) et les moteurs tiers (comme Snowflake).
  2. Gestion automatique des tables (preview) : gestion automatique des tables (optimisation du stockage) telle que le compactage et la récupération de mémoire.

En plus des fonctionnalités précédentes, les fonctionnalités suivantes sont également compatibles par défaut avec les tables Lakehouse Iceberg (aperçu).

  1. Langage de définition de données BigQuery (preview) : vous pouvez également créer ou mettre à jour des tables Iceberg à l'aide d'instructions LDD BigQuery (par exemple, CREATE TABLE, ALTER TABLE et DROP TABLE), en plus de créer ou de mettre à jour des tables à l'aide de moteurs compatibles avec Iceberg tels que Spark, Flink et Trino. Une fois les tables créées, elles sont disponibles en lecture et en écriture dans ces moteurs et dans BigQuery. Elles font partie de la même structure de catalogue et d'espace de noms, gérée par le catalogue d'exécution Lakehouse.
  2. Prise en charge de la distribution d'identifiants pour BigQuery (preview) : BigQuery permet d'utiliser la distribution d'identifiants pour l'authentification lors de la lecture ou de l'écriture de tables Iceberg dans le catalogue Lakehouse Runtime. Vous pouvez configurer la distribution d'identifiants au niveau du catalogue.

Actions de gestion

Vous pouvez effectuer les actions de gestion suivantes sur vos tables Apache Iceberg :

  • Créer une table : créez une table Apache Iceberg dans un espace de noms de catalogue à l'aide de la console Google Cloud , de Spark, de Trino, de gcloud, de BigQuery (Preview) ou de l'API Iceberg REST Catalog (CreateIcebergTable).
  • Lister les tables : affichez les identifiants de table dans un espace de noms à l'aide de la console Google Cloud , de Spark, de Trino, de gcloud, de BigQuery (Preview) ou de l'API Iceberg REST Catalog (ListIcebergTableIdentifiers).
  • Obtenir les détails de la table : inspectez le schéma, les propriétés et les identifiants de la table à l'aide de la console Google Cloud , de Spark, de Trino, de gcloud, de BigQuery (Preview) ou de l'API Iceberg REST Catalog (GetIcebergTable, LoadIcebergTableCredentials).
  • Insérer des données : ajoutez des lignes de données à vos tables Iceberg à l'aide de Spark, Trino ou BigQuery (aperçu).
  • Interroger une table : exécutez des requêtes sur vos tables Iceberg depuis Spark, Trino ou BigQuery (aperçu) à l'aide de noms de tables en quatre parties.
  • Modifier des données avec LMD : mettez à jour, supprimez ou fusionnez des lignes de données dans vos tables Iceberg à l'aide d'instructions LMD de BigQuery (Preview), Spark ou Trino.
  • Modifier une table : faites évoluer le schéma de table et mettez à jour les propriétés des métadonnées à l'aide de la console Google Cloud , de Spark, de Trino, de gcloud, de BigQuery (Preview) ou de l'API Iceberg REST Catalog (UpdateIcebergTable).
  • Configurer les options de table : configurez les propriétés pour activer le LMD BigQuery (Preview) et la gestion automatique des tables.
  • Gérer les LCA des tables : affichez et mettez à jour les règles IAM sur vos tables Iceberg pour contrôler l'accès de certains principaux (get-iam-policy, set-iam-policy).
  • Mettre à niveau les tables Iceberg V1 vers V2 : mettez à niveau vos tables Iceberg V1 existantes vers le format V2 compatible.
  • Utiliser des vecteurs de suppression binaires dans les tables Iceberg V3 : activez les vecteurs de suppression binaires pour optimiser les performances de suppression dans les tables Iceberg V3.
  • Supprimer une table : supprimez l'enregistrement d'une table du catalogue sans supprimer les fichiers de stockage sous-jacents à l'aide de la console Google Cloud , de Spark, de Trino, de gcloud, de BigQuery (Preview) ou de l'API Iceberg REST Catalog (DeleteIcebergTable).

Étapes suivantes