Présentation de la fédération Lakehouse dans AlloyDB

Cette page présente la fédération Lakehouse dans AlloyDB pour PostgreSQL, une solution unifiée de gestion des données qui étend les capacités de requête d'AlloyDB. Cette intégration vous permet d'interroger facilement un large éventail de ressources BigQuery, y compris les suivantes :

Avec la fédération Lakehouse, vous pouvez utiliser le moteur de requête d'AlloyDB pour alimenter les charges de travail transactionnelles et analytiques de votre application à partir de la même interface. Vous pouvez également matérialiser ou importer ces données dans AlloyDB pour y accéder plus rapidement dans vos applications, ce qui vous permet d'utiliser AlloyDB AI et le moteur de données en colonnes.

La fédération Lakehouse pour AlloyDB vous permet de charger et de transformer des données provenant de BigQuery ou d'Iceberg dans AlloyDB pour prendre en charge vos applications opérationnelles ou pour joindre des données historiques à des données transactionnelles en temps réel. Ce cas d'utilisation permet d'obtenir des analyses unifiées et une vue complète de votre activité dans le contexte de votre application.

Vous pouvez utiliser AlloyDB comme base de données transactionnelle et stocker de grandes quantités de données dans BigQuery ou BigLake. Vos applications s'intègrent généralement de manière indépendante à ces deux systèmes pour accéder aux données de ces différents services Google Cloud. La fédération Lakehouse vous permet d'utiliser la compatibilité des requêtes fédérées d'AlloyDB implémentée en tant que wrapper de données étrangères pour accéder aux données BigQuery et AlloyDB à l'aide d'une interface SQL dans AlloyDB.

Pushdown

Vous pouvez utiliser des techniques de transfert de filtres et d'agrégats, qui accélèrent les requêtes et réduisent les coûts en filtrant ou en résumant les données dans BigQuery avant qu'elles ne soient déplacées ou traitées par AlloyDB. Cette approche minimise le trafic réseau et l'utilisation de la mémoire, ce qui vous permet d'analyser de grands ensembles de données rapidement et efficacement sans dépasser les limites de ressources.

Transfert de filtres

Le pushdown de filtre, également appelé pushdown de prédicat, est une technique d'optimisation qui déplace le filtrage des données le plus près possible de la couche de stockage. Au lieu de lire une table volumineuse en mémoire, puis de supprimer les lignes dont vous n'avez pas besoin, la base de données "transfère" le filtre (à l'aide de la clause WHERE) dans l'analyse initiale des données.

Avec le transfert de filtres, vous pouvez utiliser des requêtes SQL avec une clause WHERE pour accéder à un sous-ensemble de données de la table distante. Ces données peuvent également être matérialisées dans une table locale ou jointes en tant que partition locale à une table PostgreSQL.

Filtres acceptés

Les opérations de comparaison et arithmétiques suivantes sont transférées à BigQuery à l'aide de l'API BigQuery si elles apparaissent dans des expressions de la clause de filtrage (WHERE) de la requête PostgreSQL :

Opérateurs de comparaison

=, >, <, >=, <=, <>, ~~, !~~

Opérateurs arithmétiques

+, -, *, /

Agrégation pushdown

L'agrégation pushdown est une optimisation avancée des bases de données qui effectue des calculs (par exemple, SUM, COUNT, AVG ou GROUP BY) aussi près que possible de la couche de stockage. Alors que le pushdown de filtre supprime les lignes inutiles, le pushdown d'agrégation résume les lignes nécessaires avant que le moteur de base de données ne les traite davantage.

Agrégats acceptés

Les fonctions d'agrégation suivantes sont transférées à BigQuery à l'aide de l'API BigQuery, lorsqu'elles s'appliquent aux types de données compatibles :

  • SUM
  • AVG
  • MIN
  • MAX
  • COUNT

Coûts et facturation BigQuery

Le wrapper de données étrangères BigQuery dépend des éléments suivants :

  • Tarifs du calcul BigQuery
  • Tarifs de l'API BigQuery Storage

Pour en savoir plus, consultez la page Tarifs de BigQuery.

Limites

  • AlloyDB et BigQuery peuvent utiliser des classements différents, ce qui peut entraîner un ordre de données différent entre les deux systèmes. Pour toute partie d'une requête exécutée à distance sur BigQuery, le classement suit les paramètres de BigQuery.
  • Les requêtes qui renvoient une très grande quantité de données depuis BigQuery, après le pushdown, ne sont pas optimisées.

Étapes suivantes