Comparer les types de tableaux

Choisir la bonne architecture de table vous permet d'optimiser les performances, de réduire les coûts et de maintenir l'accès aux données dans vos outils d'analyse. Borderless Lakehouse propose plusieurs types de tables et de points de terminaison de diffusion. Vous pouvez ainsi sélectionner l'option qui correspond à vos moteurs d'écriture, à vos exigences de lecture et à vos besoins de contrôle de gestion.

Formats de table par catalogue ou moteur

Sélectionnez un catalogue ou un moteur pour en savoir plus sur les formats de table compatibles, la configuration du metastore, les fonctionnalités d'optimisation du stockage et l'interopérabilité du moteur.

Catalogue d'environnements d'exécution Lakehouse

Le catalogue d'environnements d'exécution Lakehouse gère les tables Apache Iceberg via le point de terminaison du catalogue REST Apache Iceberg et offre une interopérabilité en lecture/écriture fluide entre les moteurs compatibles avec Iceberg (Apache Spark, Apache Flink et Trino) et BigQuery, tout en s'appuyant sur l'interface de catalogue REST Iceberg standard.

Formats de table compatibles

Les tables Apache Iceberg V2 (disponibilité générale) et V3 (preview) sont compatibles. Les tables Iceberg V1 ne sont pas compatibles. Avant d'utiliser des tables V1 existantes avec Lakehouse, vous devez les mettre à niveau vers une version compatible. Pour en savoir plus, consultez Mettre à niveau des tables Iceberg V1 vers la version V2.

Principales fonctionnalités :

  • Metastore : catalogue d'environnements d'exécution Lakehouse.
  • Stockage : Cloud Storage.
  • Optimisation du stockage : gérée par vous, un tiers ou (gérée par Google, aperçu).
  • Accès en lecture et en écriture :
    • Moteurs Open Source : lecture et écriture (DG)
    • BigQuery : lecture/écriture (preview)
  • Cas d'utilisation : lakehouse ouvert avec stockage hautes performances de niveau entreprise pour l'analyse avancée, le streaming et l'IA.

Metastore Hive

Le catalogue d'environnements d'exécution Lakehouse gère les tables Apache Hive via un point de terminaison de metastore Apache Hive (HMS) optimisé pour la compatibilité avec Spark ExternalCatalog, ce qui vous permet de partager facilement des données entre Spark, Apache Hive et BigQuery. Vous créez ces tables à partir de moteurs Open Source et les stockez dans Cloud Storage. Cette option fonctionne bien si vous souhaitez que votre workflow ETL soit géré par des moteurs Open Source sans avoir besoin d'un metastore Hive auto-hébergé distinct, et que vous n'avez besoin que d'un accès en lecture à partir de BigQuery.

Les tables gérées par le point de terminaison du metastore Hive sont des tables Apache Hive et Spark standards (utilisant des sources de données Hive SerDes ou Spark), et non des tables Apache Iceberg. Pour créer et gérer des tables Apache Iceberg dans le catalogue d'environnements d'exécution Lakehouse, utilisez plutôt le point de terminaison du catalogue REST Apache Iceberg.

Principales fonctionnalités :

  • Metastore : catalogue d'environnements d'exécution Lakehouse (via un IMetastoreClient personnalisé).
  • Stockage : Cloud Storage (compatible avec des formats tels que Parquet, ORC et Avro).
  • Optimisation du stockage : gérée par vous ou par un tiers.
  • Accès en lecture et en écriture :
    • Moteurs Open Source (Spark et Apache Hive) : lecture et écriture.
    • BigQuery : lecture seule.
  • Cas d'utilisation : migration de charges de travail Spark et Apache Hive existantes vers un métastore sans serveur entièrement géré sur Google Cloud.

Formats de table par produit

Utilisez le tableau suivant pour comparer les types de tables dans le catalogue d'environnements d'exécution Lakehouse.

Lakehouse

Apache Iceberg (DG) Accès aux données cross-cloud (preview) Apache Hive (DG)
Metastore Catalogue d'environnements d'exécution Lakehouse Catalogue d'environnements d'exécution Lakehouse Catalogue d'environnements d'exécution Lakehouse
Stockage Cloud Storage Cloud Storage / Amazon S3 Cloud Storage
Optimisation du stockage Gérées par le client, gérées par un tiers ou gérées par Google (preview) Gérée par le client ou par un tiers Gérée par le client ou par un tiers
Lecture/Écriture Moteurs Open Source (lecture/écriture)

BigQuery (lecture/écriture [Preview])		 Moteurs Open Source (lecture)

BigQuery (lecture)		 Moteurs Open Source (lecture/écriture)

BigQuery (lecture seule)
Opérations avancées Aucun Aucune Aucun
Access control (Contrôle des accès) Sécurité au niveau des tables avec IAM Sécurité au niveau des tables avec IAM Sécurité au niveau des tables avec IAM
Cas d'utilisation Lakehouse ouvert Interrogez des données chez d'autres fournisseurs de services cloud sans migrer de fichiers ni créer de pipelines ETL complexes Migrez des charges de travail Spark et Apache Hive existantes vers un métastore sans serveur entièrement géré

Fonctionnalités des tables Iceberg

Utilisez le tableau suivant pour en savoir plus sur les fonctionnalités proposées dans les tables Apache Iceberg du catalogue d'environnements d'exécution Lakehouse.

Pour comparer les fonctionnalités des tables Apache Iceberg gérées par le catalogue d'environnements d'exécution Lakehouse et des tables Apache Iceberg gérées par BigQuery, consultez Comparaison des fonctionnalités des tables Iceberg.

Capacité Assistance
Catalogue Catalogue d'environnements d'exécution Lakehouse (compatible avec le catalogue REST Iceberg)
Stockage Cloud Storage
Accessible via le point de terminaison du catalogue REST Iceberg Oui
Interopérabilité en lecture/écriture
Requêtes de lecture BigQuery (SELECT, BigQuery ML, fonctions d'IA) Compatible (DG)
BigQuery DML (INSERT, UPDATE, DELETE, MERGE) Compatible (preview)
Lectures du moteur Open Source Compatible (DG)
Écritures du moteur Open Source Compatible (DG)
Écritures en flux continu du moteur OSS (Kafka, Spark, Dataflow avec récepteur d'E/S Iceberg) Compatible (DG)
Fonctionnalités gérées et avancées
Gestion des tables (compactage, récupération de mémoire) Compatible (preview)
Capture de données modifiées (CDC) BigQuery Compatible (preview)
Fonctionnalité temporelle
Fonctionnalité temporelle (avec des moteurs OSS) Flexible (configuré via les propriétés de la table)
Fonctionnalité temporelle (avec BigQuery) Limitée à 7 jours
Historique des instantanés et rollback vers un instantané précédent Compatible (DG)
Fonctionnalités de Knowledge Catalog
Catalogage, recherche et découverte des métadonnées Compatible (DG)
Traçabilité Compatible (DG)
Qualité/profilage des données Compatible (DG)
Insights Compatible (DG)
Génération de descriptions de colonnes et de tables basée sur l'IA Compatible (DG)

Étapes suivantes