Interagir avec les données d'un lakehouse sans frontières dans BigQuery

Borderless Lakehouse est un moteur de stockage qui unifie Google Cloud et les services Open Source pour créer une interface unifiée pour l'analyse avancée et l'IA. Il fournit les bases nécessaires pour créer un lakehouse ouvert, géré et hautes performances avec une gestion des données automatisée et une gouvernance intégrée à l'aide d'Apache Iceberg.

Lorsque vous créez une table dans Lakehouse, elle est automatiquement interrogeable depuis BigQuery et est visible sur la page BigQuery de la console Google Cloud . Vos espaces de noms et schémas Lakehouse sont également automatiquement mappés aux ensembles de données BigQuery. Vous pouvez également créer et mettre à jour des catalogues, des espaces de noms et des tables Lakehouse directement dans BigQuery Studio.

Différences entre les ressources Lakehouse et les autres ressources BigQuery

Voici les principales différences entre les ressources Lakehouse et les ressources BigQuery standards :

• Les ensembles de données Lakehouse s'affichent sur la page BigQuery de la console Google Cloud à côté de l'icône Eau.
• Les ressources Lakehouse disposent de métadonnées supplémentaires dans leur section Détails respective.

Créer une table Lakehouse dans BigQuery Studio

1. Accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet Explorateur, cliquez sur Ajouter des données.

3. Cliquez sur la fiche de la source de données Google Cloud Storage.

4. Sous Accéder aux données externes en place, cliquez sur la fiche Fichiers de données GCS.

5. Pour Source ou chemin d'accès au fichier du bucket GCS, sélectionnez votre bucket Cloud Storage.

6. Pour Format de fichier, sélectionnez Parquet.

7. Dans le champ Nom de la table, saisissez un nom pour votre table.

8. Pour Project (Projet), sélectionnez votre projet.

9. Pour ID du catalogue, sélectionnez votre catalogue Lakehouse existant pour le bucket ou créez-en un s'il n'existe pas encore.

10. Pour ID de l'espace de noms, sélectionnez un espace de noms Lakehouse existant ou créez-en un. Les ID d'espace de noms ne peuvent contenir que des lettres, des chiffres et des traits de soulignement.

11. (Facultatif) Pour Schéma, définissez les noms de champs et les types de données de votre nouvelle table.

12. Cliquez sur Créer une table.

Votre table Lakehouse est désormais visible dans BigQuery. Vous pouvez l'interroger et la modifier comme une table BigQuery standard.

Au lieu de créer une table contenant des données, vous pouvez créer une table Lakehouse vide, de la même manière que vous le feriez avec des tables BigQuery standards. La seule différence est que vous devez sélectionner un espace de noms Lakehouse comme ensemble de données cible.

Migrer ou fédérer d'autres catalogues vers Lakehouse

1. Accédez à la page BigQuery.

   Accéder à BigQuery

2. Dans le volet Explorateur, cliquez sur Ajouter des données.

3. Cliquez sur la fiche de la source de données Google Cloud Storage.

4. Sous Accéder aux données externes en place, cliquez sur la fiche Catalogues externes ou anciens.

5. Dans le champ Sélectionner une source de catalogue, sélectionnez la source de catalogue.

   • Si vous avez sélectionné Metastore Hive, procédez comme suit :
     1. Dans le champ Région, sélectionnez une région pour votre nouveau catalogue Lakehouse.
     2. Dans le champ Nom à afficher de la migration, saisissez un nouveau nom pour la migration.
     3. Cliquez sur Continuer.
     4. Dans le champ Configuration du système source, saisissez l'URL, le compte de service et un rattachement de réseau.
   • Si vous avez sélectionné une autre source de catalogue, procédez comme suit :
     1. Dans le champ Nom du catalogue (dans Lakehouse), saisissez un nom pour le catalogue.
     2. Pour Emplacement des données, sélectionnez une région pour votre nouveau catalogue Lakehouse.
     3. Cliquez sur Continuer.
     4. Pour Configuration du catalogue, saisissez les détails du catalogue distant, la méthode d'authentification et l'intervalle d'actualisation.

6. Cliquez sur Créer.

Accéder aux données cross-cloud

Aperçu

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" de la section "Conditions générales du service" des Conditions spécifiques du service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une prise en charge limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Remarque : Pour obtenir de l'aide pendant la version preview, envoyez un e-mail à l'adresse [e-mail].

La fonctionnalité d'accès aux données cross-cloud de Lakehouse vous permet d'interroger les données stockées chez d'autres fournisseurs cloud directement depuis BigQuery, sans migrer de fichiers ni créer de pipelines ETL complexes. Pour en savoir plus sur la configuration, consultez Interroger des données distantes.

Comparaison des fonctionnalités des tables Iceberg

Utilisez le tableau suivant pour comparer les capacités des tables Apache Iceberg gérées par le catalogue d'environnements d'exécution Lakehouse et des tables Apache Iceberg gérées par BigQuery.

Capacité	Tables Apache Iceberg gérées par le catalogue d'environnements d'exécution Lakehouse	Tables Apache Iceberg gérées par BigQuery
Catalogue	Catalogue d'environnements d'exécution Lakehouse (compatible avec le catalogue REST Iceberg)	BigQuery
Stockage	Cloud Storage	Cloud Storage
Accessible via le point de terminaison du catalogue REST Iceberg	Oui	Oui, en utilisant la fédération de catalogues BigQuery
Interopérabilité en lecture/écriture
Requêtes de lecture BigQuery (SELECT, BQML, fonctions d'IA)	Compatible	Compatible
LMD BigQuery (INSERT, UPDATE, DELETE, MERGE)	Compatible (preview)	Compatible (DG)
Lectures du moteur Open Source	Compatible (DG)	Compatible (DG) (à l'aide de la fédération de catalogues BigQuery)
Écritures du moteur Open Source	Compatible (DG)	Non compatible
Écritures en streaming du moteur OSS (Kafka, Spark, Dataflow avec récepteur d'E/S Iceberg)	Compatible (DG)	Non compatible
Fonctionnalités gérées et avancées
Gestion des tables (compactage, récupération de mémoire)	Compatible (preview)	Compatible (DG)
Écritures en flux continu BigQuery (API Storage Write)	Non compatible	Compatible (DG)
Streaming/abonnement Pub/Sub, streaming Dataflow avec récepteur d'E/S BigQuery	Non compatible	Compatible (DG)
Capture de données modifiées (CDC) BigQuery	Compatible (preview)	Compatible
Transactions multi-instructions BigQuery	Non compatible	Compatible (preview)
Reprise après sinistre gérée	Non compatible	Non compatible
index de recherche	Non compatible	Non compatible
Index vectoriel (y compris la génération automatique d'embeddings)	Non compatible	Non compatible
Fonctionnalité temporelle
Fonctionnalité temporelle (avec des moteurs OSS)	Flexible (configuré via les propriétés de la table)	Non compatible
Fonctionnalité temporelle (avec BigQuery)	Limitée à 7 jours	Limitée à 7 jours
Historique des instantanés et rollback vers un instantané précédent	Compatible	Non compatible
Gouvernance, sécurité et partage
Vues autorisées BigQuery	Non compatible	Non compatible
Sécurité au niveau des colonnes BigQuery	Non compatible	Compatible (DG)
Masquage de données BigQuery et tags avec stratégie	Non compatible	Compatible (DG)
Sécurité au niveau des lignes BigQuery	Non compatible	Compatible (DG)
Intégration d'Analytics Hub	Non compatible	Compatible
Fonctionnalités de Knowledge Catalog
Catalogage, recherche et découverte des métadonnées	Compatible	Compatible
Traçabilité	Compatible	Compatible
Qualité/profilage des données	Compatible	Compatible
Insights	Compatible	Compatible
Génération de descriptions de colonnes et de tables basée sur l'IA	Compatible	Compatible

Étapes suivantes

• En savoir plus sur le lakehouse sans limites