Comparer les types de tableaux

Le choix de la bonne architecture de table est essentiel pour maximiser les performances, réduire les coûts et garantir l'accès aux données dans vos outils d'analyse. Cette page explique les différents types de tables et points de terminaison de diffusion disponibles dans Lakehouse sans frontières, ce qui vous aide à choisir la meilleure option en fonction de vos moteurs d'écriture, de vos exigences de lecture et de vos besoins en matière de contrôle de gestion.

Formats de table par catalogue ou moteur

Sélectionnez un catalogue ou un moteur pour en savoir plus sur les formats de table compatibles, la configuration du metastore, les fonctionnalités d'optimisation du stockage et l'interopérabilité du moteur.

Catalogue d'environnements d'exécution Lakehouse

Le catalogue d'environnements d'exécution Lakehouse gère les tables Apache Iceberg via le point de terminaison du catalogue REST Iceberg et offre une interopérabilité en lecture/écriture fluide entre les moteurs compatibles Iceberg (Spark, Flink, Trino) et BigQuery, tout en s'appuyant sur l'interface de catalogue REST Iceberg standard.

Formats de table compatibles

Les tables Apache Iceberg V2 (disponibilité générale) et V3 (preview) sont compatibles. Les tables Iceberg V1 ne sont pas compatibles. Avant d'utiliser des tables V1 existantes avec Lakehouse, vous devez les mettre à niveau vers une version compatible. Pour en savoir plus, consultez Mettre à niveau des tables Iceberg V1 vers la version V2.

Principales fonctionnalités :

  • Metastore : catalogue d'environnements d'exécution Lakehouse.
  • Stockage : Cloud Storage.
  • Optimisation du stockage : gérée par vous ou, éventuellement, par Google (preview).
  • Accès en lecture et en écriture :
    • Moteurs Open Source : lecture et écriture (DG)
    • BigQuery : lecture/écriture (preview)
  • Cas d'utilisation : lakehouse ouvert avec stockage hautes performances de niveau entreprise pour l'analyse avancée, le streaming et l'IA.

Metastore Hive

Le catalogue d'environnements d'exécution Lakehouse gère les tables Apache Hive via un point de terminaison de metastore Apache Hive (HMS) optimisé pour la compatibilité avec Apache Spark ExternalCatalog, ce qui vous permet de partager facilement des données entre Apache Spark, Apache Hive et BigQuery. Vous créez ces tables à partir de moteurs Open Source et les stockez dans Cloud Storage. Cette option est idéale si vous souhaitez que votre workflow ETL soit géré par des moteurs Open Source sans avoir besoin d'un métastore Hive auto-hébergé distinct, et que vous n'avez besoin que d'un accès en lecture à partir de BigQuery.

Les tables gérées par le point de terminaison du metastore Hive sont des tables Apache Hive et Spark standards (qui utilisent des SerDes Hive ou des sources de données Spark), et non des tables Apache Iceberg. Pour créer et gérer des tables Apache Iceberg dans le catalogue d'exécution Lakehouse, utilisez plutôt le point de terminaison du catalogue REST Iceberg.

Principales fonctionnalités :

  • Metastore : catalogue d'environnements d'exécution Lakehouse (via un IMetastoreClient personnalisé).
  • Stockage : Cloud Storage (compatible avec des formats tels que Parquet, ORC et Avro).
  • Optimisation du stockage : gérée par vous ou par un tiers.
  • Accès en lecture et en écriture :
    • Moteurs Open Source (Spark et Hive) : lecture et écriture.
    • BigQuery : lecture seule.
  • Cas d'utilisation : migration de charges de travail Spark et Hive existantes vers un metastore sans serveur entièrement géré sur Google Cloud.

Formats de table par produit

Utilisez le tableau suivant pour comparer les types de tables dans le catalogue d'exécution Lakehouse.

Lakehouse

Apache Iceberg (DG) Accès aux données cross-cloud (preview) Apache Hive (preview)
Metastore Catalogue d'environnements d'exécution Lakehouse Catalogue d'environnements d'exécution Lakehouse Catalogue d'environnements d'exécution Lakehouse
Stockage Cloud Storage Cloud Storage / Amazon S3 Cloud Storage
Optimisation du stockage Gérée par le client, gérée par un tiers ou gérée par Google (preview) Gestion par le client ou un tiers Gestion par le client ou un tiers
Lecture/Écriture Moteurs Open Source (lecture/écriture)

BigQuery (lecture/écriture [Preview])		 Moteurs Open Source (lecture)

BigQuery (lecture)		 Moteurs Open Source (lecture/écriture)

BigQuery (lecture seule)
Opérations avancées Aucun Aucune Aucun
Access control (Contrôle des accès) Sécurité au niveau de la table avec IAM Sécurité au niveau de la table avec IAM Sécurité au niveau de la table avec IAM
Cas d'utilisation Lakehouse ouvert Interrogez des données dans d'autres fournisseurs de services cloud sans migrer de fichiers ni créer de pipelines ETL complexes. Migrez des charges de travail Spark et Hive existantes vers un metastore sans serveur entièrement géré.

Fonctionnalités des tables Iceberg

Utilisez le tableau suivant pour en savoir plus sur les fonctionnalités proposées dans les tables Apache Iceberg du catalogue d'environnements d'exécution Lakehouse.

Pour comparer les capacités des tables Apache Iceberg gérées par le catalogue d'environnements d'exécution Lakehouse et des tables Apache Iceberg gérées par BigQuery, consultez Comparaison des capacités des tables Iceberg.

Capacité Assistance
Catalogue Catalogue d'environnements d'exécution Lakehouse (compatible avec le catalogue REST Iceberg)
Stockage Cloud Storage
Accessible via le point de terminaison du catalogue REST Iceberg Oui
Interopérabilité en lecture/écriture
Requêtes de lecture BigQuery (SELECT, BQML, fonctions d'IA) Compatible (DG)
LMD BigQuery (INSERT, UPDATE, DELETE, MERGE) Compatible (preview)
Lectures du moteur Open Source Compatible (DG)
Écritures du moteur Open Source Compatible (DG)
Écritures en streaming du moteur OSS (Kafka, Spark, Dataflow avec récepteur d'E/S Iceberg) Compatible (DG)
Fonctionnalités gérées et avancées
Gestion des tables (compactage, récupération de mémoire) Compatible (preview)
Capture de données modifiées (CDC) BigQuery Compatible (preview)
Fonctionnalité temporelle
Fonctionnalité temporelle (avec des moteurs OSS) Flexible (configuré via les propriétés de la table)
Fonctionnalité temporelle (avec BigQuery) Limitée à 7 jours
Historique des instantanés et rollback vers un instantané précédent Compatible (DG)
Fonctionnalités de Knowledge Catalog
Catalogage, recherche et découverte des métadonnées Compatible (DG)
Traçabilité Compatible (DG)
Qualité/profilage des données Compatible (DG)
Insights Compatible (DG)
Génération de descriptions de colonnes et de tables basée sur l'IA Compatible (DG)

Étapes suivantes