Ce document inclut les bonnes pratiques et les consignes à suivre pour BigQuery lorsque vous exécutez des charges de travail d'IA générative sur Google Cloud. Utilisez BigQuery avec Vertex AI pour stocker les données. L'utilisation de BigQuery avec Vertex AI peut améliorer considérablement votre workflow de ML, car vous pouvez simplifier l'accès aux données, permettre une analyse évolutive et utiliser ses capacités de ML.
Voici quelques cas d'utilisation de BigQuery avec Vertex AI :
- Intégration parfaite : BigQuery et Vertex AI sont étroitement intégrés, ce qui vous permet d'accéder à vos données et de les analyser directement sur la plate-forme Vertex AI. Cette intégration élimine le besoin de déplacer les données, simplifie votre workflow de ML et réduit les frictions.
- Analyse de données évolutive : BigQuery propose un entrepôt de données à l'échelle du pétaoctet, ce qui vous permet d'analyser des ensembles de données volumineux sans vous soucier des limites d'infrastructure. Cette évolutivité est essentielle pour entraîner et déployer des modèles de ML qui nécessitent de grandes quantités de données.
- ML basé sur SQL : BigQuery ML vous permet d'utiliser des commandes SQL que vous connaissez bien pour entraîner et déployer des modèles directement dans BigQuery. Cette fonctionnalité permet aux analystes de données et aux utilisateurs de SQL d'utiliser les capacités de ML sans avoir besoin de compétences avancées en programmation.
- Prédictions en ligne et par lot : BigQuery ML accepte les prédictions en ligne et par lot. Vous pouvez exécuter des prédictions en temps réel sur des lignes individuelles ou générer des prédictions pour de grands ensembles de données en mode batch. Cette flexibilité permet divers cas d'utilisation avec des exigences de latence variables.
- Réduction des transferts de données : avec BigQuery ML, vous n'avez pas besoin de transférer vos données vers des ressources de stockage ou de calcul distinctes pour l'entraînement et le déploiement de modèles. Cette réduction des mouvements simplifie votre workflow, réduit la latence et minimise les coûts associés au transfert de données.
- Surveillance des modèles : Vertex AI offre des fonctionnalités complètes de surveillance des modèles, qui vous permettent de suivre les performances, l'équité et l'explicabilité de vos modèles BigQuery ML. La surveillance des modèles vous permet de vous assurer que vos modèles fonctionnent comme prévu et de résoudre les problèmes potentiels.
- Modèles pré-entraînés : Vertex AI donne accès à des modèles pré-entraînés, y compris ceux pour le traitement du langage naturel et la vision par ordinateur. Vous pouvez utiliser ces modèles dans BigQuery pour améliorer votre analyse et extraire des insights plus approfondis de vos données.
- Solution économique : BigQuery ML offre un moyen économique et flexible d'entraîner et de déployer des modèles de ML. Vous ne payez que les ressources que vous utilisez, ce qui en fait une option abordable pour les organisations de toutes tailles.
- Fonctionnalités d'analyse avancées : BigQuery fournit des outils d'analyse avancée, y compris l'analyse géospatiale et les prévisions. Ces outils vous permettent de combiner le ML avec d'autres techniques analytiques pour explorer plus en profondeur vos données et obtenir des insights plus riches.
- Collaboration améliorée : en utilisant BigQuery avec Vertex AI, les data scientists, les ingénieurs ML et les analystes peuvent collaborer de manière fluide sur les projets de ML. Cette collaboration permet de créer une approche plus intégrée et efficace pour résoudre les problèmes de données complexes.
Contrôles BigQuery requis
Les contrôles suivants sont vivement recommandés lorsque vous utilisez BigQuery.
Assurez-vous que les ensembles de données BigQuery ne sont pas lisibles publiquement ni définis sur "allAuthenticatedUsers"
| ID de contrôle Google | BQ-CO-6.1 |
|---|---|
| Catégorie | Obligatoire |
| Description | Restreignez l'accès aux informations d'un ensemble de données BigQuery à des utilisateurs spécifiques uniquement. Pour configurer cette protection, vous devez définir des rôles détaillés. |
| Produits applicables |
|
| Chemin d'accès | cloudasset.assets/assetType |
| Opérateur | == |
| Valeur |
|
| Type | Chaîne |
| Contrôles NIST-800-53 associés |
|
| Contrôles associés du profil CRI |
|
| Informations connexes |
Assurez-vous que les tables BigQuery ne sont pas lisibles publiquement ni définies sur "allAuthenticatedUsers"
| ID de contrôle Google | BQ-CO-6.2 |
|---|---|
| Catégorie | Obligatoire |
| Description | Limitez l'accès aux informations d'une table BigQuery à des utilisateurs spécifiques uniquement. Pour configurer cette protection, vous devez définir des rôles détaillés. |
| Produits applicables |
|
| Chemin d'accès | cloudasset.assets/iamPolicy.bindings.members |
| Opérateur | anyof |
| Valeur |
|
| Type | Chaîne |
| Contrôles NIST-800-53 associés |
|
| Contrôles associés du profil CRI |
|
| Informations connexes |
Commandes BigQuery facultatives
Ces contrôles sont facultatifs. Envisagez de les appliquer lorsqu'elles concernent vos cas d'utilisation spécifiques.
Chiffrer des valeurs individuelles dans une table BigQuery
| ID de contrôle Google | BQ-CO-6.3 |
|---|---|
| Catégorie | Facultatif |
| Description | Si votre organisation exige que vous chiffriez des valeurs individuelles dans une table BigQuery, utilisez les fonctions de chiffrement AEAD (Authenticated Encryption with Associated Data). |
| Produits applicables |
|
| Contrôles NIST-800-53 associés |
|
| Contrôles associés du profil CRI |
|
| Informations connexes |
Utiliser des vues autorisées pour les ensembles de données BigQuery
| ID de contrôle Google | BQ-CO-6.4 |
|---|---|
| Catégorie | Facultatif |
| Description | Les vues autorisées vous permettent de partager un sous-ensemble de données d'un ensemble de données avec des utilisateurs spécifiques. Par exemple, une vue autorisée vous permet de partager des résultats de requête avec des utilisateurs et des groupes particuliers sans leur donner accès aux données sources sous-jacentes. |
| Produits applicables |
|
| Contrôles NIST-800-53 associés |
|
| Contrôles associés du profil CRI |
|
| Informations connexes |
Utiliser la sécurité au niveau des colonnes dans BigQuery
| ID de contrôle Google | BQ-CO-6.5 |
|---|---|
| Catégorie | Facultatif |
| Description | Utilisez la sécurité au niveau des colonnes de BigQuery pour créer des stratégies qui vérifient, au moment de la requête, si un utilisateur dispose d'un accès approprié. BigQuery fournit un accès précis aux colonnes sensibles à l'aide de tags avec stratégie, ou une classification basée sur le type des données. |
| Produits applicables |
|
| Contrôles NIST-800-53 associés |
|
| Contrôles associés du profil CRI |
|
| Informations connexes |
Utiliser la sécurité au niveau des lignes de BigQuery
| ID de contrôle Google | BQ-CO-6.6 |
|---|---|
| Catégorie | Facultatif |
| Description | Utilisez la sécurité au niveau des lignes et les règles d'accès pour activer un contrôle d'accès précis à un sous-ensemble de données d'une table BigQuery. |
| Produits applicables |
|
| Contrôles NIST-800-53 associés |
|
| Contrôles associés du profil CRI |
|
| Informations connexes |
Utiliser les graphiques de ressources BigQuery
| ID de contrôle Google | BQ-CO-7.1 |
|---|---|
| Catégorie | Facultatif |
| Description | Les graphiques de ressources BigQuery permettent aux administrateurs BigQuery d'observer comment leur organisation, leur dossier ou leur réservation utilisent les emplacements BigQuery et les performances de leurs requêtes. |
| Produits applicables |
|
| Contrôles NIST-800-53 associés |
|
| Contrôles associés du profil CRI |
|
| Informations connexes |
Étapes suivantes
Consultez les commandes Cloud Billing.
Consultez les Google Cloud bonnes pratiques et consignes de sécurité pour les charges de travail d'IA générative.