Ce document inclut les bonnes pratiques et les consignes pour Pub/Sub lors de l'exécution de charges de travail d'IA générative sur Google Cloud. Utilisez Pub/Sub avec Vertex AI pour permettre une communication et une automatisation efficaces dans vos workflows de machine learning.
Voici quelques exemples de cas d'utilisation de Pub/Sub avec Vertex AI :
- Architecture asynchrone basée sur des événements : Pub/Sub permet une communication basée sur des événements afin que vous puissiez déclencher des pipelines Vertex AI en fonction des événements publiés dans les sujets Pub/Sub. Ces événements peuvent inclure de nouvelles données et des mises à jour du modèle.
- Évolutivité et fiabilité : Pub/Sub est très évolutif et vous permet de gérer de nombreux événements sans impacter les performances. L'évolutivité est essentielle pour traiter de grands ensembles de données ou exécuter plusieurs jobs de ML simultanés. Pub/Sub assure également la fiabilité de la distribution et de l'ordre des messages dans un sujet, ce qui garantit la cohérence du traitement même en cas de charges de travail importantes.
- Flexibilité : vous pouvez intégrer Vertex AI à d'autres services tels que les fonctions Cloud Run ou Dataflow à l'aide de Pub/Sub, ce qui vous permet de créer des pipelines de ML flexibles et dynamiques.
- Surveillance et alertes en temps réel : Pub/Sub vous permet de vous abonner à des sujets spécifiques pour recevoir des notifications en temps réel sur les événements de vos pipelines Vertex AI. La surveillance en temps réel vous aide à suivre la progression de l'entraînement du modèle, les résultats du prétraitement des données et les résultats de prédiction. Vous pouvez configurer des alertes en fonction d'événements spécifiques, comme des échecs de jobs ou des anomalies détectées lors de la prédiction. Les alertes permettent une intervention proactive et un dépannage rapide.
Par exemple, vous pouvez utiliser Pub/Sub pour les activités suivantes :
- Déclenchez l'entraînement du modèle lorsque de nouvelles données arrivent dans un bucket Cloud Storage.
- Envoyez des prédictions en temps réel à partir d'un modèle déployé vers des systèmes en aval pour un traitement ultérieur.
- Surveillez les variations des métriques de performances du modèle et réagissez en conséquence.
- Déclenchez des alertes pour les événements critiques, comme les échecs de prédiction ou les problèmes de qualité des données.
Commandes Pub/Sub recommandées
En fonction de vos cas d'utilisation de l'IA générative, nous vous recommandons d'appliquer des contrôles supplémentaires. Ces contrôles incluent des contrôles de conservation des données et d'autres contrôles basés sur des règles qui sont basés sur les règles de votre entreprise.
Utiliser CMEK pour les messages Pub/Sub
| ID de contrôle Google | PS-CO-6.1 |
|---|---|
| Catégorie | Recommandé |
| Description | Lorsque vous activez les clés de chiffrement gérées par le client (CMEK) pour Pub/Sub, vous obtenez un meilleur contrôle sur les clés de chiffrement que Pub/Sub utilise pour protéger vos messages. Au niveau de la couche d'application, Pub/Sub chiffre individuellement les messages entrants dès leur réception. Avant que Pub/Sub ne publie les messages dans un abonnement, il les chiffre à l'aide de la clé de chiffrement des données (DEK) la plus récente ayant été générée pour le sujet. Pub/Sub déchiffre les messages peu de temps avant qu'ils ne soient distribués aux abonnés.
Pub/Sub utilise un compte de service Google Cloud pour accéder à Cloud Key Management Service. Le compte de service est géré en interne par Pub/Sub pour chaque projet. Il ne s'affiche pas dans votre liste de comptes de service. |
| Produits applicables |
|
| Contrôles NIST-800-53 associés |
|
| Contrôles associés du profil CRI |
|
| Informations connexes |
Commandes Pub/Sub facultatives
Ces contrôles sont facultatifs. Envisagez de les appliquer lorsqu'elles concernent vos cas d'utilisation spécifiques.
Configurer des règles de stockage des messages
| ID de contrôle Google | PS-CO-4.1 |
|---|---|
| Catégorie | Facultatif |
| Description | Si vous publiez des messages sur le point de terminaison mondial Pub/Sub, Pub/Sub les stocke automatiquement dans la région Google Cloud la plus proche. Pour contrôler les régions dans lesquelles vos messages sont stockés, configurez une règle de stockage des messages sur votre sujet.
Pour configurer des règles de stockage des messages pour les sujets, utilisez l'une des méthodes suivantes :
|
| Produits applicables |
|
| Contrôles NIST-800-53 associés |
|
| Contrôles associés du profil CRI |
|
| Informations connexes |
Étapes suivantes
Consultez les commandes Resource Manager.
Consultez les Google Cloud bonnes pratiques et consignes de sécurité pour les charges de travail d'IA générative.