Qu'est-ce qu'un lakehouse sans frontières ?

Borderless Lakehouse vous permet de créer des data lakehouses ouverts surGoogle Cloud en combinant le format de table ouvert Apache Iceberg avec un stockage géré. Cette architecture dissocie le stockage du calcul pour fournir une base unifiée pour les charges de travail d'analyse et d'IA.

Pour gérer les métadonnées des tables ouvertes, Lakehouse utilise le catalogue d'exécution Lakehouse, un service de métadonnées sans serveur qui centralise la découverte et élimine la synchronisation entre les dépôts. Cette conception permet à plusieurs moteurs, y compris Managed Service pour Apache Spark, Apache Flink, Apache Hive, Trino et BigQuery, d'accéder directement à une source unique de vérité sans duplication des données.

Principaux avantages

  • Architecture sans serveur : le lakehouse Google Cloud élimine le besoin de gérer des serveurs ou des clusters, ce qui réduit les frais généraux opérationnels et permet un scaling automatique en fonction de la demande. Pour les charges de travail de calcul, les sessions interactives et par lot sans serveur éliminent les conflits de ressources entre les jobs et automatisent la maintenance de l'infrastructure.
  • Gestion et gouvernance unifiées des données : l'intégration à Knowledge Catalog permet de définir et d'appliquer de manière centralisée des règles de gouvernance sur plusieurs moteurs, et d'activer la recherche sémantique, la traçabilité des données et les contrôles de qualité.
  • Extensions de stockage : le lakehouse de Google Cloud étend les fonctionnalités de gestion de Cloud Storage pour inclure des fonctionnalités telles que la hiérarchisation Autoclass et les clés de chiffrement gérées par le client (CMEK).
  • Expérience entièrement gérée : lorsqu'il est intégré à BigQuery, le lakehouse de Google Cloud offre une expérience d'analyse et d'IA entièrement gérée.
  • Haute disponibilité et reprise après sinistre : le lakehouse de Google Cloud propose des options de réplication interrégionale et de reprise après sinistre (preview) pour assurer la haute disponibilité de vos données.

Cas d'utilisation

  • Lakehouse ouvert : utilisez Cloud Storage comme couche de stockage. Le Lakehouse de Google Cloud fournit l'interface de gestion et de gouvernance pour les données Apache Iceberg.
  • Intégration analytique et transactionnelle : accédez aux tables Apache Iceberg analytiques directement dans AlloyDB pour PostgreSQL ([preview][4]) pour combiner les données analytiques aux charges de travail transactionnelles.
  • Accès unifié : permettez à différents moteurs (Apache Spark, Apache Flink, BigQuery) d'interagir avec les mêmes tables Apache Iceberg avec des métadonnées cohérentes.
  • Analyses et IA cross-cloud : accédez aux données cross-cloud (preview) pour synchroniser les métadonnées d'autres fournisseurs de services cloud, ce qui vous permet d'interroger les données avec BigQuery ou des moteurs Open Source externes via le point de terminaison du catalogue REST Apache Iceberg, sans migrer les données.
  • Exploration d'ensembles de données publics : interrogez facilement des ensembles de données publics de haute qualité à l'aide du point de terminaison du catalogue REST Apache Iceberg sans gérer d'infrastructure.
  • Hive Metastore : connectez des moteurs Open Source tels qu'Apache Spark et Apache Hive au catalogue d'environnements d'exécution Lakehouse à l'aide du catalogue Hive. Cela élimine la surcharge opérationnelle liée à la maintenance d'un metastore Hive (HMS) auto-hébergé, tout en permettant un partage de données fluide et des requêtes de table directes dans BigQuery.

Interfaces et outils

Vous pouvez interagir avec les ressources Lakehouse de Google Cloud à l'aide des outils suivants :

  • ConsoleGoogle Cloud  : utilisez la console pour créer des catalogues, afficher leurs propriétés, consulter les journaux d'audit et configurer les autorisations.
  • SQL BigQuery : utilisez le langage de définition de données (LDD) SQL standard pour créer et gérer des tables Apache Iceberg et des tables externes intégrées au catalogue d'environnements d'exécution Lakehouse.
  • Moteurs Open Source : utilisez des moteurs tels qu'Apache Spark, Apache Flink et Apache Hive avec le catalogue d'environnements d'exécution Lakehouse pour lire et écrire des données.
  • IDE et notebooks : utilisez des notebooks Apache Spark interactifs et des extensions d'IDE, telles que l'extension Data Agent Kit (DAK) pour VS Code, pour vous authentifier auprès de Google Cloud, créer du code de manière interactive et gérer des sessions de notebook directement dans votre environnement de développement.
  • Outils d'orchestration et de MLOps : intégrez des pipelines de traitement par lot sans serveur et des opérations de catalogue à des workflows d'orchestration à l'aide de Managed Service pour Apache Airflow (anciennement Cloud Composer) et de Kubeflow Pipelines dans Vertex AI.
  • API de catalogue REST Apache Iceberg : utilisez le point de terminaison du catalogue REST Apache Iceberg pour interagir avec le service à l'aide d'outils compatibles avec la spécification REST Apache Iceberg ouverte.
  • Compatibilité avec les tables Apache Iceberg : les tables Apache Iceberg V2 (disponibilité générale) et V3 (preview) sont compatibles. Les tables Iceberg V1 ne sont pas compatibles.

Étapes suivantes