Collecter les journaux de téléphonie Duo
Version de l'analyseur : 1.0
Ce document explique comment ingérer des journaux Duo Telephony dans Google Security Operations à l'aide de Cloud Storage. L'analyseur extrait les champs des journaux, les transforme et les mappe au modèle de données unifié (UDM). Il gère différents formats de journaux Duo, convertit les codes temporels, extrait les informations utilisateur, les détails du réseau et les résultats de sécurité, et structure enfin la sortie au format UDM standardisé.
Avant de commencer
Assurez-vous de remplir les conditions suivantes :
- Une instance Google SecOps
- Un projet Google Cloud avec l'API Cloud Storage activée
- Autorisations de créer et de gérer des buckets Cloud Storage
- Autorisations de gérer les stratégies IAM (Identity and Access Management) sur les buckets Cloud Storage
- Autorisations permettant de créer des services Cloud Run, des sujets Pub/Sub et des jobs Cloud Scheduler
- Accès privilégié au panneau d'administration Duo avec le rôle Propriétaire
Réunir les conditions préalables pour Duo (identifiants d'API)
- Connectez-vous au panneau d'administration Duo en tant qu'administrateur avec le rôle de propriétaire.
- Accédez à Applications > Catalogue d'applications.
- Recherchez l'entrée API Admin dans le catalogue.
- Cliquez sur + Ajouter pour créer l'application.
- Copiez et enregistrez les informations suivantes dans un emplacement sécurisé :
- Clé d'intégration
- Clé secrète
- Nom d'hôte de l'API (par exemple,
api-yyyyyyyy.duosecurity.com)
- Dans la section Permissions (Autorisations), cochez uniquement la case Read Telephony (Lire la téléphonie) et décochez toutes les autres autorisations.
- Cliquez sur Enregistrer les modifications.
Vérifier les autorisations
Pour vérifier que l'application de l'API Admin dispose des autorisations requises :
- Connectez-vous au panneau d'administration Duo.
- Accédez à Applications > Protéger une application.
- Recherchez votre application API Admin.
- Cliquez sur le nom de l'application pour afficher les détails.
- Dans la section Autorisations, vérifiez que seule l'option Lire la téléphonie est cochée.
- Si d'autres autorisations sont cochées ou si l'autorisation "Lire la téléphonie" n'est pas cochée, modifiez les autorisations, puis cliquez sur Enregistrer les modifications.
Tester l'accès à l'API
Testez vos identifiants avant de procéder à l'intégration :
# Replace with your actual credentials DUO_IKEY="your-integration-key" DUO_SKEY="your-secret-key" DUO_HOST="api-yyyyyyyy.duosecurity.com" # Test API access (requires signing - use Duo's API test tool or Python script) # Visit https://duo.com/docs/adminapi#testing to test your credentials
Créer un bucket Cloud Storage
- Accédez à la consoleGoogle Cloud .
- Sélectionnez votre projet ou créez-en un.
- Dans le menu de navigation, accédez à Cloud Storage > Buckets.
- Cliquez sur Créer un bucket.
Fournissez les informations de configuration suivantes :
Paramètre Valeur Attribuez un nom au bucket Saisissez un nom unique (par exemple, duo-telephony-logs).Type d'emplacement Choisissez celle qui correspond le mieux à vos besoins (régionale, birégionale ou multirégionale). Emplacement Sélectionnez l'emplacement (par exemple, us-central1).Classe de stockage Standard (recommandé pour les journaux fréquemment consultés) Access control (Contrôle des accès) Uniforme (recommandé) Outils de protection Facultatif : Activez la gestion des versions d'objets ou la règle de conservation Cliquez sur Créer.
Créer un compte de service pour la fonction Cloud Run
La fonction Cloud Run a besoin d'un compte de service autorisé à écrire dans le bucket Cloud Storage et à être appelée par Pub/Sub.
Créer un compte de service
- Dans la console Google Cloud , accédez à IAM et administration > Comptes de service.
- Cliquez sur Créer un compte de service.
- Fournissez les informations de configuration suivantes :
- Nom du compte de service : saisissez
duo-telephony-collector-sa. - Description du compte de service : saisissez
Service account for Cloud Run function to collect Duo Telephony logs.
- Nom du compte de service : saisissez
- Cliquez sur Créer et continuer.
- Dans la section Autoriser ce compte de service à accéder au projet, ajoutez les rôles suivants :
- Cliquez sur Sélectionner un rôle.
- Recherchez et sélectionnez Administrateur des objets Storage.
- Cliquez sur + Ajouter un autre rôle.
- Recherchez et sélectionnez Demandeur Cloud Run.
- Cliquez sur + Ajouter un autre rôle.
- Recherchez et sélectionnez Demandeur Cloud Functions.
- Cliquez sur Continuer.
- Cliquez sur OK.
Ces rôles sont requis pour :
- Administrateur des objets de l'espace de stockage : écrire des journaux dans le bucket Cloud Storage et gérer les fichiers d'état
- Demandeur Cloud Run : autorisez Pub/Sub à appeler la fonction.
- Demandeur Cloud Functions : autorise l'appel de fonctions.
Accorder des autorisations IAM sur le bucket Cloud Storage
Accordez au compte de service des autorisations d'écriture sur le bucket Cloud Storage :
- Accédez à Cloud Storage > Buckets.
- Cliquez sur le nom de votre bucket (par exemple,
duo-telephony-logs). - Accédez à l'onglet Autorisations.
- Cliquez sur Accorder l'accès.
- Fournissez les informations de configuration suivantes :
- Ajouter des comptes principaux : saisissez l'adresse e-mail du compte de service (par exemple,
duo-telephony-collector-sa@PROJECT_ID.iam.gserviceaccount.com). - Attribuer des rôles : sélectionnez Administrateur des objets Storage.
- Ajouter des comptes principaux : saisissez l'adresse e-mail du compte de service (par exemple,
- Cliquez sur Enregistrer.
Créer un sujet Pub/Sub
Créez un sujet Pub/Sub dans lequel Cloud Scheduler publiera des messages et auquel la fonction Cloud Run s'abonnera.
- Dans la console Google Cloud , accédez à Pub/Sub > Sujets.
- Cliquez sur Créer un sujet.
- Fournissez les informations de configuration suivantes :
- ID du sujet : saisissez
duo-telephony-trigger. - Conservez les valeurs par défaut des autres paramètres.
- ID du sujet : saisissez
- Cliquez sur Créer.
Créer une fonction Cloud Run pour collecter les journaux
La fonction Cloud Run est déclenchée par des messages Pub/Sub provenant de Cloud Scheduler pour récupérer les journaux de l'API Duo Telephony et les écrire dans Cloud Storage.
- Dans la console Google Cloud , accédez à Cloud Run.
- Cliquez sur Créer un service.
- Sélectionnez Fonction (utilisez un éditeur de modification directe pour créer une fonction).
Dans la section Configurer, fournissez les informations de configuration suivantes :
Paramètre Valeur Nom du service duo-telephony-logs-collectorRégion Sélectionnez la région correspondant à votre bucket Cloud Storage (par exemple, us-central1).Durée d'exécution Sélectionnez Python 3.12 ou une version ultérieure. Dans la section Déclencheur (facultatif) :
- Cliquez sur + Ajouter un déclencheur.
- Sélectionnez Cloud Pub/Sub.
- Dans Sélectionner un sujet Cloud Pub/Sub, choisissez le sujet Pub/Sub (
duo-telephony-trigger). - Cliquez sur Enregistrer.
Dans la section Authentification :
- Sélectionnez Exiger l'authentification.
- Vérifiez Identity and Access Management (IAM).
Faites défiler la page vers le bas, puis développez Conteneurs, mise en réseau, sécurité.
Accédez à l'onglet Sécurité :
- Compte de service : sélectionnez le compte de service (
duo-telephony-collector-sa).
- Compte de service : sélectionnez le compte de service (
Accédez à l'onglet Conteneurs :
- Cliquez sur Variables et secrets.
- Cliquez sur + Ajouter une variable pour chaque variable d'environnement :
Nom de la variable Exemple de valeur GCS_BUCKETduo-telephony-logsGCS_PREFIXduo-telephonySTATE_KEYduo-telephony/state.jsonDUO_IKEY<your-integration-key>DUO_SKEY<your-secret-key>DUO_API_HOSTapi-yyyyyyyy.duosecurity.comMAX_ITERATIONS10Faites défiler l'onglet Variables et secrets jusqu'à Requêtes :
- Délai avant expiration de la requête : saisissez
600secondes (10 minutes).
- Délai avant expiration de la requête : saisissez
Accédez à l'onglet Paramètres dans Conteneurs :
- Dans la section Ressources :
- Mémoire : sélectionnez 512 Mio ou plus.
- Processeur : sélectionnez 1.
- Cliquez sur OK.
- Dans la section Ressources :
Faites défiler la page jusqu'à Environnement d'exécution :
- Sélectionnez Par défaut (recommandé).
Dans la section Scaling de révision :
- Nombre minimal d'instances : saisissez
0. - Nombre maximal d'instances : saisissez
100(ou ajustez en fonction de la charge attendue).
- Nombre minimal d'instances : saisissez
Cliquez sur Créer.
Attendez que le service soit créé (une à deux minutes).
Une fois le service créé, l'éditeur de code intégré s'ouvre automatiquement.
Ajouter un code de fonction
- Saisissez main dans le champ Point d'entrée.
Dans l'éditeur de code intégré, créez deux fichiers :
- Premier fichier : main.py:
import functions_framework from google.cloud import storage import json import os import hmac import hashlib import base64 import urllib.parse import urllib3 import email.utils from datetime import datetime, timedelta, timezone from typing import Dict, Any, List, Optional # Initialize HTTP client with timeouts http = urllib3.PoolManager( timeout=urllib3.Timeout(connect=5.0, read=30.0), retries=False, ) # Initialize Storage client storage_client = storage.Client() @functions_framework.cloud_event def main(cloud_event): """ Cloud Run function triggered by Pub/Sub to fetch Duo telephony logs and write to GCS. Args: cloud_event: CloudEvent object containing Pub/Sub message """ # Get environment variables bucket_name = os.environ.get('GCS_BUCKET') prefix = os.environ.get('GCS_PREFIX', 'duo-telephony').rstrip('/') state_key = os.environ.get('STATE_KEY', 'duo-telephony/state.json') integration_key = os.environ.get('DUO_IKEY') secret_key = os.environ.get('DUO_SKEY') api_hostname = os.environ.get('DUO_API_HOST') if not all([bucket_name, integration_key, secret_key, api_hostname]): print('Error: Missing required environment variables') return try: # Get GCS bucket bucket = storage_client.bucket(bucket_name) # Load state state = load_state(bucket, state_key) # Calculate time range now = datetime.now(timezone.utc) if state.get('last_offset'): # Continue from last offset next_offset = state['last_offset'] logs = [] has_more = True else: # Start from last timestamp or 24 hours ago mintime = state.get('last_timestamp_ms', int((now - timedelta(hours=24)).timestamp() * 1000)) # Apply 2-minute delay as recommended by Duo maxtime = int((now - timedelta(minutes=2)).timestamp() * 1000) next_offset = None logs = [] has_more = True # Fetch logs with pagination total_fetched = 0 max_iterations = int(os.environ.get('MAX_ITERATIONS', '10')) while has_more and total_fetched < max_iterations: page_num = total_fetched + 1 if next_offset: # Use offset for pagination params = { 'limit': '100', 'next_offset': next_offset } else: # Initial request with time range params = { 'mintime': str(mintime), 'maxtime': str(maxtime), 'limit': '100', 'sort': 'ts:asc' } # Make API request with retry logic response = duo_api_call_with_retry( 'GET', api_hostname, '/admin/v2/logs/telephony', params, integration_key, secret_key ) if 'items' in response: logs.extend(response['items']) total_fetched += 1 # Check for more data if 'metadata' in response and 'next_offset' in response['metadata']: next_offset = response['metadata']['next_offset'] state['last_offset'] = next_offset else: has_more = False state['last_offset'] = None # Update timestamp for next run if logs: # Get the latest timestamp from logs (ISO 8601 format) latest_ts = max([log.get('ts', '') for log in logs]) if latest_ts: # Convert ISO timestamp to milliseconds dt = datetime.fromisoformat(latest_ts.replace('Z', '+00:00')) state['last_timestamp_ms'] = int(dt.timestamp() * 1000) + 1 # Save logs to GCS if any were fetched if logs: timestamp = datetime.now(timezone.utc).strftime('%Y%m%d_%H%M%S') blob_name = f"{prefix}/telephony_{timestamp}.json" # Format logs as newline-delimited JSON log_data = '\n'.join(json.dumps(log) for log in logs) blob = bucket.blob(blob_name) blob.upload_from_string( log_data, content_type='application/x-ndjson' ) print(f"Saved {len(logs)} telephony logs to gs://{bucket_name}/{blob_name}") else: print("No new telephony logs found") # Save state save_state(bucket, state_key, state) except Exception as e: print(f'Error processing logs: {str(e)}') raise def duo_api_call_with_retry( method: str, host: str, path: str, params: Dict[str, str], ikey: str, skey: str, max_retries: int = 3 ) -> Dict[str, Any]: """Make an authenticated API call to Duo Admin API with retry logic.""" for attempt in range(max_retries): try: return duo_api_call(method, host, path, params, ikey, skey) except Exception as e: if '429' in str(e) or '5' in str(e)[:1]: if attempt < max_retries - 1: wait_time = (2 ** attempt) * 2 print(f"Retrying after {wait_time} seconds...") import time time.sleep(wait_time) continue raise def duo_api_call( method: str, host: str, path: str, params: Dict[str, str], ikey: str, skey: str ) -> Dict[str, Any]: """Make an authenticated API call to Duo Admin API.""" # Create canonical string for signing using RFC 2822 date format now = email.utils.formatdate() canon = [now, method.upper(), host.lower(), path] # Add parameters args = [] for key in sorted(params.keys()): val = params[key] args.append(f"{urllib.parse.quote(key, '~')}={urllib.parse.quote(val, '~')}") canon.append('&'.join(args)) canon_str = '\n'.join(canon) # Sign the request sig = hmac.new( skey.encode('utf-8'), canon_str.encode('utf-8'), hashlib.sha1 ).hexdigest() # Create authorization header auth = base64.b64encode(f"{ikey}:{sig}".encode('utf-8')).decode('utf-8') # Build URL url = f"https://{host}{path}" if params: url += '?' + '&'.join(args) # Make request headers = { 'Authorization': f'Basic {auth}', 'Date': now, 'Host': host, 'User-Agent': 'duo-telephony-gcs-ingestor/1.0' } try: response = http.request('GET', url, headers=headers) data = json.loads(response.data.decode('utf-8')) if data.get('stat') == 'OK': return data.get('response', {}) else: raise Exception(f"API error: {data.get('message', 'Unknown error')}") except urllib3.exceptions.HTTPError as e: raise Exception(f"HTTP error: {str(e)}") def load_state(bucket, key): """Load state from GCS.""" try: blob = bucket.blob(key) if blob.exists(): state_data = blob.download_as_text() return json.loads(state_data) except Exception as e: print(f'Warning: Could not load state: {str(e)}') return {} def save_state(bucket, key, state): """Save state to GCS.""" try: blob = bucket.blob(key) blob.upload_from_string( json.dumps(state), content_type='application/json' ) except Exception as e: print(f'Warning: Could not save state: {str(e)}')- Deuxième fichier : requirements.txt:
functions-framework==3.* google-cloud-storage==2.* urllib3>=2.0.0Cliquez sur Déployer pour enregistrer et déployer la fonction.
Attendez la fin du déploiement (deux à trois minutes).
Créer une tâche Cloud Scheduler
Cloud Scheduler publie des messages dans le sujet Pub/Sub à intervalles réguliers, ce qui déclenche la fonction Cloud Run.
- Dans la console Google Cloud , accédez à Cloud Scheduler.
- Cliquez sur Créer une tâche.
Fournissez les informations de configuration suivantes :
Paramètre Valeur Nom duo-telephony-logs-1hRégion Sélectionnez la même région que la fonction Cloud Run. Fréquence 0 * * * *(toutes les heures, à l'heure pile)Fuseau horaire Sélectionnez un fuseau horaire (UTC recommandé) Type de cible Pub/Sub Sujet Sélectionnez le sujet Pub/Sub ( duo-telephony-trigger).Corps du message {}(objet JSON vide)Cliquez sur Créer.
Options de fréquence de programmation
Choisissez la fréquence en fonction du volume de journaux et des exigences de latence :
Fréquence Expression Cron Cas d'utilisation Toutes les 5 minutes */5 * * * *Volume élevé, faible latence Toutes les 15 minutes */15 * * * *Volume moyen Toutes les heures 0 * * * *Standard (recommandé) Toutes les 6 heures 0 */6 * * *Traitement par lot de faible volume Tous les jours 0 0 * * *Collecte des données historiques
Tester le job planifié
- Dans la console Cloud Scheduler, recherchez votre job (
duo-telephony-logs-1h). - Cliquez sur Forcer l'exécution pour déclencher l'exécution manuellement.
- Patientez quelques secondes, puis accédez à Cloud Run > Services.
- Cliquez sur le nom de la fonction (
duo-telephony-logs-collector). - Cliquez sur l'onglet Journaux.
- Vérifiez que la fonction a bien été exécutée.
- Accédez à Cloud Storage > Buckets.
- Cliquez sur le nom de votre bucket (
duo-telephony-logs). - Accédez au dossier du préfixe (
duo-telephony/). - Vérifiez qu'un nouveau fichier
.jsona été créé avec des journaux.
Si des erreurs s'affichent dans les journaux :
- HTTP 401 : vérifiez les identifiants de l'API (DUO_IKEY, DUO_SKEY, DUO_API_HOST) dans les variables d'environnement.
- HTTP 403 : vérifiez que l'autorisation Read Telephony (Lire la téléphonie) est activée pour l'application API Admin.
- HTTP 429 : limitation du débit. La fonction réessaiera automatiquement avec un intervalle exponentiel entre les tentatives.
- Variables d'environnement manquantes : vérifiez que toutes les variables requises sont définies dans la configuration de la fonction Cloud Run.
Récupérer le compte de service Google SecOps
Google SecOps utilise un compte de service unique pour lire les données de votre bucket Cloud Storage. Vous devez accorder à ce compte de service l'accès à votre bucket.
Obtenir l'adresse e-mail du compte de service
- Accédez à Paramètres > Gestion des données > Flux. Si vous utilisez une plate-forme SIEM uniquement, accédez à Paramètres > Flux.
- Cliquez sur Ajouter un flux d'actualités.
- Cliquez sur Configurer un flux unique.
- Dans le champ Nom du flux, saisissez un nom pour le flux (par exemple,
Duo Telephony logs). - Sélectionnez Google Cloud Storage V2 comme Type de source.
- Sélectionnez Journaux de téléphonie Duo comme Type de journal.
Cliquez sur Get Service Account (Obtenir un compte de service). Une adresse e-mail de compte de service unique s'affiche, par exemple :
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comCopiez cette adresse e-mail pour l'utiliser à l'étape suivante.
Accorder des autorisations IAM au compte de service Google SecOps
Le compte de service Google SecOps doit disposer du rôle Lecteur des objets Storage sur votre bucket Cloud Storage.
- Accédez à Cloud Storage > Buckets.
- Cliquez sur le nom de votre bucket (par exemple,
duo-telephony-logs). - Accédez à l'onglet Autorisations.
- Cliquez sur Accorder l'accès.
- Fournissez les informations de configuration suivantes :
- Ajouter des comptes principaux : collez l'adresse e-mail du compte de service Google SecOps.
- Attribuer des rôles : sélectionnez Lecteur des objets Storage.
Cliquez sur Enregistrer.
Configurer un flux dans Google SecOps pour ingérer les journaux Duo Telephony
- Accédez à Paramètres > Gestion des données > Flux. Si vous utilisez une plate-forme SIEM uniquement, accédez à Paramètres > Flux.
- Cliquez sur Ajouter un flux d'actualités.
- Cliquez sur Configurer un flux unique.
- Dans le champ Nom du flux, saisissez un nom pour le flux (par exemple,
Duo Telephony logs). - Sélectionnez Google Cloud Storage V2 comme Type de source.
- Sélectionnez Journaux de téléphonie Duo comme Type de journal.
- Cliquez sur Suivant.
Spécifiez les valeurs des paramètres d'entrée suivants :
URL du bucket de stockage : saisissez l'URI du bucket Cloud Storage avec le chemin d'accès du préfixe :
gs://duo-telephony-logs/duo-telephony/Remplacez :
duo-telephony-logs: nom de votre bucket Cloud Storage.duo-telephony: préfixe/chemin d'accès au dossier facultatif où les journaux sont stockés (laisser vide pour la racine).
Exemples :
- Bucket racine :
gs://duo-telephony-logs/ - Avec le préfixe :
gs://duo-telephony-logs/duo-telephony/
- Bucket racine :
Option de suppression de la source : sélectionnez l'option de suppression de votre choix :
- Jamais : ne supprime jamais les fichiers après les transferts (recommandé pour les tests).
- Supprimer les fichiers transférés : supprime les fichiers une fois le transfert réussi.
- Supprimer les fichiers transférés et les répertoires vides : supprime les fichiers et les répertoires vides une fois le transfert réussi.
Âge maximal du fichier : incluez les fichiers modifiés au cours d'un certain nombre de jours. La valeur par défaut est de 180 jours.
Espace de noms de l'élément : espace de noms de l'élément.
Étiquettes d'ingestion : étiquette à appliquer aux événements de ce flux.
Cliquez sur Suivant.
Vérifiez la configuration de votre nouveau flux sur l'écran Finaliser, puis cliquez sur Envoyer.
Table de mappage UDM
| Champ du journal | mappage UDM | Logique |
|---|---|---|
| context | metadata.product_event_type | Mappé directement à partir du champ de contexte dans le journal brut. |
| crédits | security_result.detection_fields.value | Mappé directement à partir du champ "credits" du journal brut, imbriqué sous un objet "detection_fields" avec la clé "credits" correspondante. |
| eventtype | security_result.detection_fields.value | Mappé directement à partir du champ eventtype dans le journal brut, imbriqué sous un objet detection_fields avec la clé eventtype correspondante. |
| hôte | principal.hostname | Mappé directement à partir du champ "host" du journal brut s'il ne s'agit pas d'une adresse IP. |
| security_result.action | Définissez une valeur statique "ALLOW" dans l'analyseur. | |
| security_result.detection_fields.value | Définissez une valeur statique "MECHANISM_UNSPECIFIED" dans l'analyseur. | |
| metadata.event_timestamp | Analysé à partir du champ "ts" du journal brut, qui est une chaîne de code temporel ISO 8601. | |
| metadata.event_type | Définissez cette option sur "USER_UNCATEGORIZED" si les champs de contexte et d'hôte sont présents dans le journal brut. Définissez cette option sur "STATUS_UPDATE" si seul l'hôte est présent. Sinon, définissez-le sur "GENERIC_EVENT". | |
| metadata.log_type | Directement extrait du champ log_type du journal brut. | |
| metadata.product_name | Définissez une valeur statique "Telephony" dans l'analyseur. | |
| metadata.vendor_name | Définissez une valeur statique "Duo" dans l'analyseur. | |
| téléphone | principal.user.phone_numbers | Mappé directement à partir du champ "phone" du journal brut. |
| téléphone | principal.user.userid | Mappé directement à partir du champ "phone" du journal brut. |
| security_result.severity | Définissez une valeur statique "INFORMATIONAL" dans l'analyseur. | |
| security_result.summary | Définissez une valeur statique "Duo Telephony" dans l'analyseur. | |
| ts | metadata.event_timestamp | Analysé à partir du champ "ts" du journal brut, qui est une chaîne de code temporel ISO 8601. |
| type | security_result.summary | Mappé directement à partir du champ "type" dans le journal brut. |
Journal des modifications
Afficher le journal des modifications de cet analyseur
Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.