Cette page présente l'intégration de Spanner Agent Platform. L'intégration de Spanner Agent Platform fonctionne avec les bases de données GoogleSQL et PostgreSQL.
L'intégration de Spanner Agent Platform vous permet d'accéder aux modèles de ML de classification et de régression hébergés sur Agent Platform via l'interface GoogleSQL et l'interface PostgreSQL. Cela permet d'intégrer de manière transparente la fonctionnalité de diffusion des prédictions de ML aux opérations générales d'accès aux données Spanner effectuées à l'aide de requêtes DQL/LMD.
Avantages de l'intégration de Spanner Agent Platform
La génération de prédictions de ML à l'aide de l'intégration de Spanner Agent Platform offre plusieurs avantages par rapport à l'approche dans laquelle l'accès aux données Spanner et l'accès au point de terminaison de prédiction Agent Platform sont effectués séparément :
- Performances :
- Latence améliorée : l'intégration de Spanner Agent Platform qui communique directement avec le service Agent Platform élimine les allers-retours supplémentaires entre un nœud de calcul exécutant un client Spanner et le service Agent Platform.
- Débit/parallélisme améliorés : l'intégration de Spanner Agent Platform s'exécute sur l'infrastructure de traitement de requêtes distribuée de Spanner, qui prend en charge l'exécution de requêtes hautement parallélisables.
- Expérience utilisateur :
- La possibilité d'utiliser une interface SQL unique, simple, cohérente et familière pour faciliter les scénarios de transformation des données et de diffusion de ML à l'échelle de Spanner réduit la barrière à l'entrée du ML et offre une expérience utilisateur beaucoup plus fluide.
- Coûts :
Comment fonctionne l'intégration de Spanner Agent Platform ?
L'intégration de Spanner Agent Platform n'héberge pas de modèles de ML, mais s'appuie plutôt sur l'infrastructure de service Agent Platform. Vous n'avez pas besoin d'entraîner un modèle à l'aide d'Agent Platform pour l'utiliser avec l'intégration de Spanner Agent Platform, mais vous devez le déployer sur un point de terminaison Agent Platform.
Pour entraîner des modèles sur des données stockées dans Spanner, vous pouvez utiliser les éléments suivants :
Dataflow pour exporter des données de Spanner au format CSV et importer la source de données CSV dans Agent Platform.
L'intégration de Spanner Agent Platform étend les fonctions suivantes pour l'utilisation de modèles de ML :
Générez des prédictions de ML en appelant un modèle à l'aide de SQL sur vos données Spanner. Vous pouvez utiliser un modèle du Model Garden Agent Platform ou un modèle déployé sur votre point de terminaison Agent Platform.
Générez des embeddings de texte pour qu'un LLM traduise les requêtes textuelles en nombres. Pour en savoir plus sur les embeddings, consultez Obtenir des embeddings de texte.
Utiliser les fonctions d'intégration de Spanner Agent Platform
Un modèle dans l'intégration de Spanner Agent Platform peut être utilisé pour générer des prédictions ou des embeddings de texte dans votre code SQL à l'aide des fonctions ML Predict. Ces fonctions sont les suivantes :
GoogleSQL
Vous pouvez utiliser la fonction de prédiction de ML suivante pour GoogleSQL :
Vous devez enregistrer votre modèle à l'aide de l'instruction CREATE MODEL
LDD avant de l'utiliser avec la fonction ML.PREDICT.
Vous pouvez également utiliser SAFE.ML.PREDICT pour renvoyer null au lieu d'une erreur dans vos prédictions. Cela est utile lorsque vous exécutez des requêtes volumineuses où certaines prédictions ayant échoué sont tolérables.
PostgreSQL
Vous pouvez utiliser la fonction de prédiction de ML suivante pour PostgreSQL :
Pour utiliser les fonctions, vous pouvez sélectionner un modèle dans le Model Garden Agent Platform ou utiliser un modèle que vous avez déployé sur Agent Platform.
Pour en savoir plus sur le déploiement d'un modèle sur un point de terminaison dans Agent Platform, consultez Déployer un modèle sur un point de terminaison.
Pour en savoir plus sur l'utilisation de ces fonctions afin de générer une prédiction de ML, consultez Générer des prédictions de ML à l'aide de SQL.
Pour en savoir plus sur l'utilisation de ces fonctions afin de générer des embeddings de texte, consultez Obtenir des embeddings de texte.
Tarifs
Aucun frais supplémentaire n'est facturé par Spanner lorsque vous l'utilisez avec l'intégration de Spanner Agent Platform. Toutefois, d'autres frais potentiels sont associés à cette fonctionnalité :
Vous payez les tarifs standards pour la prédiction en ligne Agent Platform. Le coût total dépend du type de modèle que vous utilisez. Certains types de modèles ont un tarif forfaitaire par heure, en fonction du type de machine et du nombre de nœuds que vous utilisez. Certains types de modèles ont des tarifs par appel. Nous vous recommandons de déployer ces derniers dans un projet dédié où vous avez défini des quotas de prédiction explicites.
Vous payez les tarifs standards pour le transfert de données entre Spanner et Agent Platform. Le coût total dépend de la région qui héberge le serveur exécutant la requête et de la région qui héberge le point de terminaison appelé. Pour minimiser les frais, déployez vos points de terminaison Agent Platform dans la même région que votre instance Spanner. Lorsque vous utilisez des configurations d'instance multirégionales ou plusieurs points de terminaison Agent Platform, déployez vos points de terminaison sur le même continent.
Contrat de niveau de service
Étant donné que la disponibilité de la prédiction en ligne Agent Platform est inférieure, vous devez configurer correctement les modèles de ML Spanner pour maintenir la haute disponibilité de Spanner lorsque vous utilisez l'intégration de Spanner Agent Platform :
- Les modèles de ML Spanner doivent utiliser plusieurs points de terminaison Agent Platform sur le backend pour activer le basculement.
- Les points de terminaison Agent Platform doivent être conformes au contrat de niveau de service Agent Platform.
- Les points de terminaison Agent Platform doivent provisionner suffisamment de capacité pour gérer le trafic entrant.
- Les points de terminaison Agent Platform doivent utiliser des régions distinctes proches de la base de données Spanner pour éviter les pannes régionales.
- Les points de terminaison Agent Platform doivent utiliser des projets distincts pour éviter les problèmes liés aux quotas de prédiction par projet.
Le nombre de points de terminaison Agent Platform redondants dépend de leur contrat de niveau de service et du nombre de lignes dans les requêtes Spanner :
| Contrat de niveau de service Spanner | Contrat de niveau de service Agent Platform | 1 ligne | 10 lignes | 100 lignes | 1 000 lignes |
|---|---|---|---|---|---|
| 99,99 % | 99,9 % | 2 | 2 | 2 | 3 |
| 99,99 % | 99,5 % | 2 | 3 | 3 | 4 |
| 99,999 % | 99,9 % | 2 | 2 | 3 | 3 |
| 99,999 % | 99,5 % | 3 | 3 | 4 | 4 |
Les points de terminaison Agent Platform n'ont pas besoin d'héberger exactement le même modèle. Nous vous recommandons de configurer le modèle de ML Spanner de sorte qu'il dispose d'un modèle principal, complexe et nécessitant beaucoup de calculs comme premier point de terminaison. Les points de terminaison de basculement suivants peuvent pointer vers des modèles simplifiés qui nécessitent moins de calculs, qui sont plus évolutifs et qui peuvent absorber les pics de trafic.
Limites
- L'entrée et la sortie du modèle doivent être un objet JSON.
Conformité
Assured Workloads ne prend pas en charge l'API Agent Platform Prediction. L'activation d'une contrainte de restriction de l'utilisation des ressources désactive l'API Agent Platform et, par conséquent, la fonctionnalité d'intégration de Spanner Agent Platform.
De plus, nous vous recommandons de créer un périmètre VPC Service Controls pour vous assurer que vos bases de données de production ne peuvent pas se connecter aux points de terminaison Agent Platform dans vos projets hors production qui ne disposent peut-être pas de la configuration de conformité appropriée.