Collecter les journaux d'audit de la console NetApp (anciennement BlueXP)
Ce document explique comment ingérer les journaux d'audit de la console NetApp (anciennement BlueXP) dans Google Security Operations à l'aide de Google Cloud Storage V2.
La console NetApp est un plan de contrôle unifié permettant de gérer les services de stockage et de données multicloud hybrides dans des environnements sur site et cloud. Le service d'audit enregistre les opérations effectuées par les services de la console, y compris les adresses IP d'origine, les espaces de travail, les agents de la console utilisés et d'autres données de télémétrie utiles pour l'analyse d'investigation et les exigences de conformité.
Avant de commencer
Assurez-vous de remplir les conditions préalables suivantes :
- Une instance Google SecOps
- Un projet GCP avec les API Cloud Storage, Cloud Run, Pub/Sub et Cloud Scheduler activées
- Autorisations de créer et de gérer des buckets GCS
- Autorisations permettant de gérer les stratégies IAM sur les buckets GCS
- Autorisations permettant de créer des services Cloud Run, des sujets Pub/Sub et des jobs Cloud Scheduler
- Accès administrateur à la console NetApp avec les autorisations nécessaires pour créer des comptes de service
- ID de votre compte NetApp Console
Configurer l'accès à l'API NetApp Console
Pour permettre à Google SecOps de récupérer les journaux d'audit, vous devez créer un compte de service avec les autorisations appropriées et générer des identifiants d'API.
Obtenir votre ID de compte
- Accédez à la console NetApp à l'aide d'un navigateur.
- Connectez-vous à l'aide de vos identifiants de la console NetApp ou du site d'assistance NetApp.
- Cliquez sur le menu déroulant Compte en haut de la page.
- Cliquez sur Gérer le compte pour le compte sélectionné.
Dans la section Présentation, copiez la valeur ID du compte.
Créer un compte de service
- Dans la console NetApp, accédez à Administration > Identité et accès.
- Sélectionnez Membres.
- Sélectionnez Ajouter un membre.
- Pour Type de membre, sélectionnez Compte de service.
- Saisissez un nom pour le compte de service (par exemple,
Google SecOps Integration). Décochez la case Utiliser l'authentification JWT avec clé privée pour utiliser l'authentification avec code secret du client.
Dans la section Sélectionner une organisation, un dossier ou un projet, sélectionnez votre organisation.
Dans Catégorie, sélectionnez Organisation.
Pour Rôle, sélectionnez Lecteur de l'organisation.
Cliquez sur Ajouter.
Enregistrer les identifiants de l'API
Une fois le compte de service créé, une boîte de dialogue affiche vos identifiants :
- ID client : votre identifiant client unique (par exemple,
TvPPs4SeM5smEElsGmdDUznljhN3YY8s) - Code secret client : votre clé secrète d'API
- Téléchargez ou copiez l'ID client et le code secret du client dans un emplacement sécurisé.
- Cliquez sur Fermer.
Vérifier les autorisations
Pour vérifier que le compte de service dispose des autorisations requises :
- Connectez-vous à la console NetApp.
- Accédez à Administration > Identité et accès.
- Sélectionnez Membres.
- Recherchez le compte de service que vous avez créé et vérifiez qu'il dispose du rôle Lecteur de l'organisation.
- Si le rôle n'est pas attribué, cliquez sur le nom du compte de service et remplacez le rôle par Lecteur de l'organisation.
Tester l'accès à l'API
Testez vos identifiants avant de procéder à l'intégration :
# Replace with your actual credentials CLIENT_ID="your-client-id" CLIENT_SECRET="your-client-secret" ACCOUNT_ID="your-account-id" # Obtain access token TOKEN=$(curl -s -X POST "https://netapp-cloud-account.auth0.com/oauth/token" \ -H "Content-Type: application/json" \ -d '{ "grant_type": "client_credentials", "client_id": "'"${CLIENT_ID}"'", "client_secret": "'"${CLIENT_SECRET}"'", "audience": "https://api.cloud.netapp.com" }' | python3 -c "import sys,json; print(json.load(sys.stdin)['access_token'])") # Test audit API access curl -s -H "Authorization: Bearer ${TOKEN}" \ "https://cloudmanager.cloud.netapp.com/audit/${ACCOUNT_ID}?offset=0" \ | python3 -m json.tool
Une réponse réussie renvoie un objet JSON contenant les enregistrements d'audit du compte spécifié.
Créer un bucket Google Cloud Storage
- Accédez à la console Google Cloud.
- Sélectionnez votre projet ou créez-en un.
- Dans le menu de navigation, accédez à Cloud Storage > Buckets.
- Cliquez sur Créer un bucket.
Fournissez les informations de configuration suivantes :
Paramètre Valeur Attribuez un nom au bucket Saisissez un nom unique (par exemple, netapp-bluexp-audit-logs).Type d'emplacement Choisissez celle qui correspond le mieux à vos besoins (régionale, birégionale ou multirégionale). Emplacement Sélectionnez l'emplacement (par exemple, us-central1).Classe de stockage Standard (recommandé pour les journaux auxquels vous accédez fréquemment) Access control (Contrôle des accès) Uniforme (recommandé) Outils de protection Facultatif : Activez la gestion des versions des objets ou la règle de conservation. Cliquez sur Créer.
Créer un compte de service pour la fonction Cloud Run
- Dans la console GCP, accédez à IAM et administration > Comptes de service.
- Cliquez sur Créer un compte de service.
- Fournissez les informations de configuration suivantes :
- Nom du compte de service : saisissez
netapp-bluexp-collector-sa. - Description du compte de service : saisissez
Service account for Cloud Run function to collect NetApp Console audit logs.
- Nom du compte de service : saisissez
- Cliquez sur Créer et continuer.
- Dans la section Autoriser ce compte de service à accéder au projet, ajoutez les rôles suivants :
- Cliquez sur Sélectionner un rôle.
- Recherchez et sélectionnez Administrateur des objets Storage.
- Cliquez sur + Ajouter un autre rôle.
- Recherchez et sélectionnez Demandeur Cloud Run.
- Cliquez sur + Ajouter un autre rôle.
- Recherchez et sélectionnez Demandeur Cloud Functions.
- Cliquez sur Continuer.
- Cliquez sur OK.
Accorder des autorisations IAM sur le bucket GCS
- Accédez à Cloud Storage > Buckets.
- Cliquez sur le nom de votre bucket (
netapp-bluexp-audit-logs). - Accédez à l'onglet Autorisations.
- Cliquez sur Accorder l'accès.
- Fournissez les informations de configuration suivantes :
- Ajouter des comptes principaux : saisissez l'adresse e-mail du compte de service (
netapp-bluexp-collector-sa@PROJECT_ID.iam.gserviceaccount.com). - Attribuer des rôles : sélectionnez Administrateur des objets Storage.
- Ajouter des comptes principaux : saisissez l'adresse e-mail du compte de service (
- Cliquez sur Enregistrer.
Créer un sujet Pub/Sub
- Dans la console GCP, accédez à Pub/Sub > Sujets.
- Cliquez sur Créer un sujet.
- Fournissez les informations de configuration suivantes :
- ID du sujet : saisissez
netapp-bluexp-audit-trigger. - Conservez les valeurs par défaut des autres paramètres.
- ID du sujet : saisissez
- Cliquez sur Créer.
Créer une fonction Cloud Run pour collecter les journaux
La fonction Cloud Run sera déclenchée par les messages Pub/Sub de Cloud Scheduler pour extraire les journaux d'audit de l'API NetApp Console Audit et les écrire dans GCS.
- Dans la console GCP, accédez à Cloud Run.
- Cliquez sur Créer un service.
- Sélectionnez Fonction (utilisez un éditeur intégré pour créer une fonction).
Dans la section Configurer, fournissez les informations de configuration suivantes :
Paramètre Valeur Nom du service netapp-bluexp-collectorRégion Sélectionnez la région correspondant à votre bucket GCS (par exemple, us-central1).Durée d'exécution Sélectionnez Python 3.12 ou une version ultérieure. Dans la section Déclencheur (facultatif) :
- Cliquez sur + Ajouter un déclencheur.
- Sélectionnez Cloud Pub/Sub.
- Dans Sélectionner un sujet Cloud Pub/Sub, choisissez
netapp-bluexp-audit-trigger. - Cliquez sur Enregistrer.
Dans la section Authentification :
- Sélectionnez Exiger l'authentification.
- Consultez Identity and Access Management (IAM).
Faites défiler la page vers le bas, puis développez Conteneurs, mise en réseau, sécurité.
Accédez à l'onglet Sécurité :
- Compte de service : sélectionnez
netapp-bluexp-collector-sa.
- Compte de service : sélectionnez
Accédez à l'onglet Conteneurs :
- Cliquez sur Variables et secrets.
- Cliquez sur + Ajouter une variable pour chaque variable d'environnement :
Nom de la variable Exemple de valeur Description GCS_BUCKETnetapp-bluexp-audit-logsNom du bucket GCS GCS_PREFIXnetapp-bluexp-auditPréfixe des fichiers journaux STATE_KEYnetapp-bluexp-audit/state.jsonChemin d'accès au fichier d'état NETAPP_CLIENT_IDyour-client-idID client du compte de service de la console NetApp NETAPP_CLIENT_SECRETyour-client-secretCode secret du client du compte de service de la console NetApp NETAPP_ACCOUNT_IDaccount-AbCdEfGhID de compte NetApp Console MAX_RECORDS5000Nombre maximal d'enregistrements par exécution LOOKBACK_HOURS24Période d'analyse initiale Dans la section Variables et secrets, faites défiler la page jusqu'à Requêtes :
- Délai avant expiration de la requête : saisissez
600secondes (10 minutes).
- Délai avant expiration de la requête : saisissez
Accédez à l'onglet Paramètres :
- Dans la section Ressources :
- Mémoire : sélectionnez 512 Mio ou plus.
- CPU : sélectionnez 1.
- Dans la section Ressources :
Dans la section Scaling de révision :
- Nombre minimal d'instances : saisissez
0. - Nombre maximal d'instances : saisissez
100.
- Nombre minimal d'instances : saisissez
Cliquez sur Créer.
Attendez que le service soit créé (une à deux minutes).
Une fois le service créé, l'éditeur de code intégré s'ouvre automatiquement.
Ajouter un code de fonction
- Saisissez main dans le champ Point d'entrée.
Dans l'éditeur de code intégré, créez deux fichiers :
- main.py:
import functions_framework from google.cloud import storage import json import os import urllib3 from datetime import datetime, timezone, timedelta import time http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) storage_client = storage.Client() GCS_BUCKET = os.environ.get('GCS_BUCKET') GCS_PREFIX = os.environ.get('GCS_PREFIX', 'netapp-bluexp-audit') STATE_KEY = os.environ.get('STATE_KEY', 'netapp-bluexp-audit/state.json') NETAPP_CLIENT_ID = os.environ.get('NETAPP_CLIENT_ID') NETAPP_CLIENT_SECRET = os.environ.get('NETAPP_CLIENT_SECRET') NETAPP_ACCOUNT_ID = os.environ.get('NETAPP_ACCOUNT_ID') MAX_RECORDS = int(os.environ.get('MAX_RECORDS', '5000')) LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24')) TOKEN_URL = 'https://netapp-cloud-account.auth0.com/oauth/token' API_BASE = 'https://cloudmanager.cloud.netapp.com' AUDIENCE = 'https://api.cloud.netapp.com' def to_unix_millis(dt): if dt.tzinfo is None: dt = dt.replace(tzinfo=timezone.utc) dt = dt.astimezone(timezone.utc) return int(dt.timestamp() * 1000) def parse_datetime(value): if value.endswith('Z'): value = value[:-1] + '+00:00' return datetime.fromisoformat(value) def get_access_token(): body = json.dumps({ 'grant_type': 'client_credentials', 'client_id': NETAPP_CLIENT_ID, 'client_secret': NETAPP_CLIENT_SECRET, 'audience': AUDIENCE, }).encode('utf-8') response = http.request( 'POST', TOKEN_URL, body=body, headers={'Content-Type': 'application/json'} ) if response.status != 200: raise Exception( f"Token request failed: {response.status} - " f"{response.data.decode('utf-8')}" ) data = json.loads(response.data.decode('utf-8')) token = data.get('access_token') if not token: raise Exception('No access_token in token response') print('Successfully obtained NetApp Console access token') return token @functions_framework.cloud_event def main(cloud_event): if not all([GCS_BUCKET, NETAPP_CLIENT_ID, NETAPP_CLIENT_SECRET, NETAPP_ACCOUNT_ID]): print('Error: Missing required environment variables') return try: bucket = storage_client.bucket(GCS_BUCKET) state = load_state(bucket) now = datetime.now(timezone.utc) if isinstance(state, dict) and state.get('last_event_time'): try: last_val = state['last_event_time'] if last_val.endswith('Z'): last_val = last_val[:-1] + '+00:00' last_time = datetime.fromisoformat(last_val) last_time = last_time - timedelta(minutes=2) except Exception as e: print(f'Warning: Could not parse last_event_time: {e}') last_time = now - timedelta(hours=LOOKBACK_HOURS) else: last_time = now - timedelta(hours=LOOKBACK_HOURS) print(f'Fetching audit logs from {last_time.isoformat()} to {now.isoformat()}') token = get_access_token() records, newest_time = fetch_audit_logs(token, last_time, now) if not records: print('No new audit records found.') save_state(bucket, now.isoformat()) return timestamp = now.strftime('%Y%m%d_%H%M%S') object_key = f'{GCS_PREFIX}/netapp_bluexp_audit_{timestamp}.ndjson' blob = bucket.blob(object_key) ndjson = '\n'.join( [json.dumps(r, ensure_ascii=False, default=str) for r in records] ) + '\n' blob.upload_from_string(ndjson, content_type='application/x-ndjson') print(f'Wrote {len(records)} records to gs://{GCS_BUCKET}/{object_key}') save_state(bucket, newest_time if newest_time else now.isoformat()) print(f'Successfully processed {len(records)} audit records') except Exception as e: print(f'Error processing audit logs: {str(e)}') raise def fetch_audit_logs(token, start_time, end_time): endpoint = f'{API_BASE}/audit/{NETAPP_ACCOUNT_ID}' headers = { 'Authorization': f'Bearer {token}', 'Accept': 'application/json', 'User-Agent': 'GoogleSecOps-NetAppBlueXPCollector/1.0', } start_millis = to_unix_millis(start_time) end_millis = to_unix_millis(end_time) records = [] newest_time = None offset = 0 page_num = 0 backoff = 1.0 while True: page_num += 1 if len(records) >= MAX_RECORDS: print(f'Reached max_records limit ({MAX_RECORDS})') break url = ( f'{endpoint}' f'?fromLastModified={start_millis}' f'&toLastModified={end_millis}' f'&offset={offset}' ) try: response = http.request('GET', url, headers=headers) if response.status == 429: retry_after = int(response.headers.get('Retry-After', str(int(backoff)))) print(f'Rate limited (429). Retrying after {retry_after}s...') time.sleep(retry_after) backoff = min(backoff * 2, 30.0) continue backoff = 1.0 if response.status != 200: print(f'HTTP Error: {response.status}') response_text = response.data.decode('utf-8') print(f'Response body: {response_text}') return [], None data = json.loads(response.data.decode('utf-8')) page_results = data.get('auditEntries', []) if not page_results: print('No more results (empty page)') break print(f'Page {page_num}: Retrieved {len(page_results)} audit records') records.extend(page_results) for entry in page_results: try: last_modified = entry.get('lastModified') if last_modified: entry_dt = datetime.fromtimestamp( last_modified / 1000, tz=timezone.utc ) entry_time = entry_dt.isoformat() if newest_time is None or parse_datetime(entry_time) > parse_datetime(newest_time): newest_time = entry_time except Exception as e: print(f'Warning: Could not parse entry time: {e}') count = data.get('count', len(page_results)) if count < 100: print(f'Reached last page (count={count})') break offset += count except Exception as e: print(f'Error fetching audit logs: {e}') return [], None print(f'Retrieved {len(records)} total audit records from {page_num} pages') return records, newest_time def load_state(bucket): try: blob = bucket.blob(STATE_KEY) if blob.exists(): return json.loads(blob.download_as_text()) except Exception as e: print(f'Warning: Could not load state: {e}') return {} def save_state(bucket, last_event_time_iso): try: state = { 'last_event_time': last_event_time_iso, 'last_run': datetime.now(timezone.utc).isoformat(), } blob = bucket.blob(STATE_KEY) blob.upload_from_string( json.dumps(state, indent=2), content_type='application/json' ) print(f'Saved state: last_event_time={last_event_time_iso}') except Exception as e: print(f'Warning: Could not save state: {e}')- requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0Cliquez sur Déployer pour enregistrer et déployer la fonction.
Attendez la fin du déploiement (deux à trois minutes).
Créer une tâche Cloud Scheduler
Cloud Scheduler publiera des messages dans le sujet Pub/Sub à intervalles réguliers, ce qui déclenchera la fonction Cloud Run.
- Dans la console GCP, accédez à Cloud Scheduler.
- Cliquez sur Créer une tâche.
Fournissez les informations de configuration suivantes :
Paramètre Valeur Nom netapp-bluexp-collector-hourlyRégion Sélectionnez la même région que la fonction Cloud Run. Fréquence 0 * * * *(toutes les heures, à l'heure pile)Fuseau horaire Sélectionnez un fuseau horaire (UTC recommandé). Type de cible Pub/Sub Sujet Sélectionner netapp-bluexp-audit-triggerCorps du message {}(objet JSON vide)Cliquez sur Créer.
Options de fréquence de programmation
Choisissez la fréquence en fonction du volume de journaux et des exigences de latence :
| Fréquence | Expression Cron | Cas d'utilisation |
|---|---|---|
| Toutes les 5 minutes | */5 * * * * |
Volume élevé, faible latence |
| Toutes les 15 minutes | */15 * * * * |
Volume moyen |
| Toutes les heures | 0 * * * * |
Standard (recommandé) |
| Toutes les 6 heures | 0 */6 * * * |
Traitement par lot de faible volume |
| Tous les jours | 0 0 * * * |
Collecte de données historiques |
Tester l'intégration
- Dans la console Cloud Scheduler, recherchez votre job (
netapp-bluexp-collector-hourly). - Cliquez sur Forcer l'exécution pour déclencher le job manuellement.
- Patientez pendant quelques secondes.
- Accédez à Cloud Run > Services.
- Cliquez sur
netapp-bluexp-collector. - Cliquez sur l'onglet Journaux.
Vérifiez que la fonction a bien été exécutée. Par exemple :
Fetching audit logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00 Successfully obtained NetApp Console access token Page 1: Retrieved X audit records Wrote X records to gs://netapp-bluexp-audit-logs/netapp-bluexp-audit/netapp_bluexp_audit_YYYYMMDD_HHMMSS.ndjson Successfully processed X audit recordsAccédez à Cloud Storage > Buckets.
Cliquez sur
netapp-bluexp-audit-logs.Accédez au dossier
netapp-bluexp-audit/.Vérifiez qu'un nouveau fichier
.ndjsona été créé avec l'horodatage actuel.
Si des erreurs s'affichent dans les journaux :
- HTTP 401 : vérifiez que les variables d'environnement
NETAPP_CLIENT_IDetNETAPP_CLIENT_SECRETsont correctes. - HTTP 403 : vérifiez que le compte de service dispose du rôle Lecteur de l'organisation dans la console NetApp.
- HTTP 429 : limitation du débit. La fonction effectue automatiquement une nouvelle tentative avec un intervalle exponentiel entre les tentatives.
- Variables d'environnement manquantes : vérifiez que toutes les variables requises sont définies dans la configuration de la fonction Cloud Run.
Récupérer le compte de service Google SecOps
- Accédez à Paramètres SIEM> Flux.
- Cliquez sur Ajouter un flux.
- Cliquez sur Configurer un flux unique.
- Dans le champ Nom du flux, saisissez un nom pour le flux (par exemple,
NetApp Console Audit Logs). - Sélectionnez Google Cloud Storage V2 comme Type de source.
- Sélectionnez Console NetApp (anciennement BlueXP) comme Type de journal.
Cliquez sur Obtenir un compte de service. Une adresse e-mail de compte de service unique s'affiche, par exemple :
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comCopiez cette adresse e-mail pour l'utiliser à l'étape suivante.
Cliquez sur Suivant.
Spécifiez les valeurs des paramètres d'entrée suivants :
URL du bucket de stockage : saisissez l'URI du bucket GCS avec le chemin d'accès au préfixe :
gs://netapp-bluexp-audit-logs/netapp-bluexp-audit/
Option de suppression de la source : sélectionnez l'option de suppression de votre choix :
- Jamais : ne supprime jamais aucun fichier après les transferts (recommandé pour les tests).
- Supprimer les fichiers transférés : supprime les fichiers une fois le transfert réussi.
Supprimer les fichiers transférés et les répertoires vides : supprime les fichiers et les répertoires vides après un transfert réussi.
Âge maximal du fichier : incluez les fichiers modifiés au cours d'un certain nombre de jours (180 jours par défaut).
Espace de noms de l'élément : espace de noms de l'élément
Libellés d'ingestion : libellé à appliquer aux événements de ce flux
Cliquez sur Suivant.
Vérifiez la configuration de votre nouveau flux sur l'écran Finaliser, puis cliquez sur Envoyer.
Accorder des autorisations IAM au compte de service Google SecOps
- Accédez à Cloud Storage > Buckets.
- Cliquez sur
netapp-bluexp-audit-logs. - Accédez à l'onglet Autorisations.
- Cliquez sur Accorder l'accès.
- Fournissez les informations de configuration suivantes :
- Ajouter des comptes principaux : collez l'adresse e-mail du compte de service Google SecOps.
- Attribuer des rôles : sélectionnez Lecteur d'objets Storage.
Cliquez sur Enregistrer.
Table de mappage UDM
| Champ du journal | Mappage UDM | Logique |
|---|---|---|
| endTime | additional.fields | Fusionnés avec les libellés de chacun, s'ils ne sont pas vides |
| responseData | additional.fields | |
| weHash | additional.fields | |
| wePublicId | additional.fields | |
| hasFailedRecord | additional.fields | |
| action | additional.fields | |
| service | additional.fields | |
| hasRecords | additional.fields | |
| workspaceId | additional.fields | |
| lastModified | additional.fields | |
| startTime | additional.fields | |
| agentName | metadata.event_type | Défini sur STATUS_UPDATE si agentName n'est pas vide, sinon GENERIC_EVENT |
| agentId | metadata.product_deployment_id | Valeur copiée directement si elle n'est pas vide |
| requestId | metadata.product_log_id | Valeur copiée directement si elle n'est pas vide |
| réseau | réseau | Renommé directement s'il n'est pas vide |
| agentName | principal.asset.hostname | Valeur copiée directement si elle n'est pas vide |
| fileName | principal.file.names | Fusionné s'il n'est pas vide |
| agentName | principal.hostname | Valeur copiée directement si elle n'est pas vide |
| accountId | principal.resource.id | Valeur copiée directement si elle n'est pas vide |
| resourceName | principal.resource.name | Valeur copiée directement si elle n'est pas vide |
| accountId | principal.resource.product_object_id | Valeur de accountId si elle n'est pas vide, sinon valeur de resourceId si elle n'est pas vide |
| resourceId | principal.resource.product_object_id | |
| principalId | principal.user.userid | Valeur copiée directement si elle n'est pas vide |
| état | security_result.action | Définissez la valeur sur ALLOW si l'état correspond à (?i)SUCCESS, sur BLOCK si l'état correspond à FAILURE ou UNSUCCESSFUL_ATTEMPT. |
| état | security_result.action_details | Valeur copiée directement si elle n'est pas vide |
| cible | cible | Renommé directement s'il n'est pas vide |
Journal des modifications
Afficher le journal des modifications de ce parseur
Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.