Collecter les journaux SAP BTP

Compatible avec :

Ce document explique comment ingérer des journaux SAP Business Technology Platform (BTP) dans Google Security Operations à l'aide de Cloud Storage V2.

SAP Business Technology Platform (BTP) est une plate-forme cloud qui fournit des fonctionnalités de développement d'applications, d'intégration, de gestion des données et d'analyse. Il génère des journaux d'audit de sécurité, des journaux d'accès et des journaux d'événements de service, qui sont essentiels pour surveiller l'activité de la plate-forme et détecter les menaces de sécurité. Une fonction Cloud Run interroge l'API de récupération des journaux d'audit du service de gestion des journaux d'audit SAP selon une planification, écrit les journaux dans un bucket Cloud Storage au format NDJSON, et Google SecOps les ingère via un flux Cloud Storage V2.

Avant de commencer

Assurez-vous de remplir les conditions suivantes :

  • Une instance Google SecOps
  • Un projet Google Cloud avec l'API Cloud Storage activée
  • Autorisations de créer et de gérer des buckets Cloud Storage
  • Autorisations de gérer les stratégies IAM (Identity and Access Management) sur les buckets Cloud Storage
  • Autorisations permettant de créer des services Cloud Run, des sujets Pub/Sub et des jobs Cloud Scheduler
  • Accès administrateur à SAP BTP avec les autorisations nécessaires pour configurer la récupération des journaux d'audit (Développeur d'espace dans l'espace Cloud Foundry cible, et possibilité d'ajouter des droits au niveau du compte global)
  • Le service de gestion des journaux d'audit (nom technique : auditlog-management) autorisé pour votre sous-compte SAP BTP

Créer un bucket Cloud Storage

  1. Accédez à la console Google Cloud.
  2. Sélectionnez votre projet ou créez-en un.
  3. Dans le menu de navigation, accédez à Cloud Storage > Buckets.
  4. Cliquez sur Créer un bucket.
  5. Fournissez les informations de configuration suivantes :

    Paramètre Valeur
    Attribuez un nom au bucket Saisissez un nom unique (par exemple, sap-btp-logs).
    Type d'emplacement Choisissez celle qui correspond le mieux à vos besoins (régionale, birégionale ou multirégionale).
    Emplacement Sélectionnez l'emplacement (par exemple, us-central1).
    Classe de stockage Standard (recommandé pour les journaux fréquemment consultés)
    Access control (Contrôle des accès) Uniforme (recommandé)
    Outils de protection Facultatif : Activez la gestion des versions d'objets ou la règle de conservation.
  6. Cliquez sur Créer.

Collecter les identifiants de l'API SAP BTP

Créer une instance du service de gestion des journaux d'audit

  1. Connectez-vous à SAP BTP Cockpit.
  2. Assurez-vous que le droit d'accès Audit Log Management Service est attribué au sous-compte : dans la vue du sous-compte, accédez à Entitlements > Edit > Add Service Plans (les droits d'accès sont attribués à partir du compte global).
  3. Accédez à votre sous-compte.
  4. Accédez à Services > Instances et abonnements.
  5. Cliquez sur Créer.
  6. Fournissez les informations de configuration suivantes :
    • Service : sélectionnez Audit Log Management Service (nom technique : auditlog-management).
    • Forfait : sélectionnez default.
    • Environnement d'exécution : sélectionnez Cloud Foundry.
    • Espace : sélectionnez l'espace cible.
    • Nom de l'instance : saisissez un nom (par exemple, auditlog-management-secops).
  7. Cliquez sur Créer.

Créer une clé de service

  1. Dans SAP BTP Cockpit, accédez à Services > Instances et abonnements, puis sélectionnez l'instance de service auditlog-management.
  2. Choisissez Créer une clé de service.
  3. Saisissez un nom (par exemple, google-secops-integration).
  4. Cliquez sur Créer.
  5. Copiez et enregistrez les informations suivantes de la clé de service dans un emplacement sécurisé :

    • url : URL de base des requêtes de récupération des journaux d'audit.
    • uaa.url : URL de base du serveur OAuth. Le point de terminaison du jeton est <uaa.url>/oauth/token.
    • uaa.clientid : ID client OAuth.
    • uaa.clientsecret : code secret du client OAuth.

Tester l'accès à l'API

  • Testez vos identifiants avant de procéder à l'intégration :

    # Replace with your actual credentials from the service key
    UAA_URL="https://your-subdomain.authentication.region.hana.ondemand.com"
    CLIENT_ID="your-client-id"
    CLIENT_SECRET="your-client-secret"
    API_URL="https://auditlog-management.cfapps.us10.hana.ondemand.com"
    
    # Get OAuth token
    TOKEN=$(curl -s -X POST "${UAA_URL}/oauth/token" \
      -u "${CLIENT_ID}:${CLIENT_SECRET}" \
      -d "grant_type=client_credentials" \
      -H "Content-Type: application/x-www-form-urlencoded" | jq -r '.access_token')
    
    # Test API access: the API takes time_from/time_to in UTC without a
    # timezone suffix and returns a JSON array at the root. When the result
    # set is chunked, the next chunk's handle arrives in the "Paging"
    # response header.
    curl -v -H "Authorization: Bearer ${TOKEN}" \
      "${API_URL}/auditlog/v2/auditlogrecords?time_from=2026-08-07T00:00:00&time_to=2026-08-07T01:00:00"
    

Créer un compte de service pour la fonction Cloud Run

La fonction Cloud Run a besoin d'un compte de service autorisé à écrire dans le bucket Cloud Storage et à être appelée par Pub/Sub.

Créer le compte de service

  1. Dans la console GCP, accédez à IAM et administration > Comptes de service.
  2. Cliquez sur Créer un compte de service.
  3. Fournissez les informations de configuration suivantes :
    • Nom du compte de service : saisissez sap-btp-collector-sa.
    • Description du compte de service : saisissez Service account for Cloud Run function to collect SAP BTP logs.
  4. Cliquez sur Créer et continuer.
  5. Dans la section Autoriser ce compte de service à accéder au projet, ajoutez les rôles suivants :
    1. Cliquez sur Sélectionner un rôle.
    2. Recherchez et sélectionnez Administrateur des objets Storage.
    3. Cliquez sur + Ajouter un autre rôle.
    4. Recherchez et sélectionnez Demandeur Cloud Run.
    5. Cliquez sur + Ajouter un autre rôle.
    6. Recherchez et sélectionnez Demandeur Cloud Functions.
  6. Cliquez sur Continuer.
  7. Cliquez sur OK.

Ces rôles sont requis pour :

  • Administrateur des objets de l'espace de stockage : écrire des journaux dans le bucket Cloud Storage et gérer les fichiers d'état
  • Demandeur Cloud Run : autorise Pub/Sub à appeler la fonction.
  • Demandeur Cloud Functions : autorise l'appel de fonctions.

Accorder des autorisations IAM sur un bucket Cloud Storage

Accordez au compte de service des autorisations d'écriture sur le bucket Cloud Storage :

  1. Accédez à Cloud Storage > Buckets.
  2. Cliquez sur le nom de votre bucket (par exemple, sap-btp-logs).
  3. Accédez à l'onglet Autorisations.
  4. Cliquez sur Accorder l'accès.
  5. Fournissez les informations de configuration suivantes :
    • Ajouter des comptes principaux : saisissez l'adresse e-mail du compte de service (par exemple, sap-btp-collector-sa@your-project.iam.gserviceaccount.com).
    • Attribuer des rôles : sélectionnez Administrateur des objets Storage.
  6. Cliquez sur Enregistrer.

Créer un sujet Pub/Sub

Créez un sujet Pub/Sub dans lequel Cloud Scheduler publiera des messages et auquel la fonction Cloud Run s'abonnera.

  1. Dans la console GCP, accédez à Pub/Sub > Sujets.
  2. Cliquez sur Créer un sujet.
  3. Fournissez les informations de configuration suivantes :
    • ID du sujet : saisissez sap-btp-trigger.
    • Conservez les valeurs par défaut des autres paramètres.
  4. Cliquez sur Créer.

Créer la fonction Cloud Run pour collecter les journaux

La fonction Cloud Run sera déclenchée par les messages Pub/Sub de Cloud Scheduler pour récupérer les journaux d'audit à partir de l'API de récupération du service de gestion des journaux d'audit et les écrire dans Cloud Storage.

  1. Dans la console GCP, accédez à Cloud Run.
  2. Cliquez sur Créer un service.
  3. Sélectionnez Fonction (utilisez un éditeur de modification directe pour créer une fonction).
  4. Dans la section Configurer, fournissez les informations de configuration suivantes :

    Paramètre Valeur
    Nom du service sap-btp-collector
    Région Sélectionnez la région correspondant à votre bucket Cloud Storage (par exemple, us-central1).
    Durée d'exécution Sélectionnez Python 3.12 ou une version ultérieure.
  5. Dans la section Déclencheur (facultatif) :

    1. Cliquez sur + Ajouter un déclencheur.
    2. Sélectionnez Cloud Pub/Sub.
    3. Dans Sélectionner un sujet Cloud Pub/Sub, choisissez le sujet sap-btp-trigger.
    4. Cliquez sur Enregistrer.
  6. Dans la section Authentification :

    1. Sélectionnez Exiger l'authentification.
    2. Vérifiez Identity and Access Management (IAM).
  7. Développez Conteneurs, mise en réseau, sécurité.

  8. Accédez à l'onglet Sécurité :

    • Compte de service : sélectionnez le compte de service sap-btp-collector-sa.
  9. Accédez à l'onglet Conteneurs :

    1. Cliquez sur Variables et secrets.
    2. Cliquez sur + Ajouter une variable pour chaque variable d'environnement :
    Nom de la variable Exemple de valeur Description
    GCS_BUCKET sap-btp-logs Nom du bucket Cloud Storage
    GCS_PREFIX sap-btp Préfixe des fichiers journaux
    STATE_KEY sap-btp-state.json Chemin d'accès au fichier d'état, en dehors du préfixe du journal
    SAP_API_URL https://auditlog-management.cfapps.us10.hana.ondemand.com La valeur url de la clé de service
    SAP_UAA_URL https://your-subdomain.authentication.region.hana.ondemand.com URL du point de terminaison du jeton OAuth
    SAP_CLIENT_ID your-client-id ID client OAuth
    SAP_CLIENT_SECRET your-client-secret Code secret du client OAuth
    LOOKBACK_HOURS 24 Période d'analyse initiale
  10. Dans l'onglet Variables et secrets, accédez à Requêtes :

    • Délai avant expiration de la requête : saisissez 600 secondes (10 minutes).
  11. Accédez à l'onglet Paramètres dans Conteneurs :

    • Dans la section Ressources :
      • Mémoire : sélectionnez 512 Mio ou plus.
      • Processeur : sélectionnez 1.
    • Cliquez sur OK.
  12. Accédez à l'environnement d'exécution :

    • Sélectionnez Par défaut (recommandé).
  13. Dans la section Scaling de révision :

    • Nombre minimal d'instances : saisissez 0.
    • Nombre maximal d'instances : saisissez 100 (ou ajustez en fonction de la charge attendue).
  14. Cliquez sur Créer.

  15. Attendez que le service soit créé (une à deux minutes).

  16. Une fois le service créé, l'éditeur de code intégré s'ouvre automatiquement.

Ajouter le code de la fonction

  1. Saisissez main dans Point d'entrée de la fonction.
  2. Dans l'éditeur de code intégré, créez deux fichiers :

    • Premier fichier : main.py

      import functions_framework
      from google.cloud import storage
      import hashlib
      import json
      import os
      import urllib3
      from datetime import datetime, timezone, timedelta
      import time
      import base64
      import uuid
      
      # Initialize HTTP client with timeouts
      http = urllib3.PoolManager(
          timeout=urllib3.Timeout(connect=5.0, read=30.0),
          retries=False,
      )
      
      # Initialize Storage client
      storage_client = storage.Client()
      
      # Environment variables
      GCS_BUCKET = os.environ.get('GCS_BUCKET')
      GCS_PREFIX = os.environ.get('GCS_PREFIX', 'sap-btp')
      STATE_KEY = os.environ.get('STATE_KEY', 'sap-btp-state.json')
      SEEN_KEY = STATE_KEY + '.seen'
      API_URL = os.environ.get('SAP_API_URL')
      UAA_URL = os.environ.get('SAP_UAA_URL')
      CLIENT_ID = os.environ.get('SAP_CLIENT_ID')
      CLIENT_SECRET = os.environ.get('SAP_CLIENT_SECRET')
      LOOKBACK_HOURS = int(os.environ.get('LOOKBACK_HOURS', '24'))
      
      def parse_datetime(value: str) -> datetime:
          """Parse ISO datetime string to datetime object."""
          if value.endswith("Z"):
              value = value[:-1] + "+00:00"
          return datetime.fromisoformat(value)
      
      # message_uuid is the identifier of an audit log record; the parser maps it to
      # metadata.product_log_id.
      ID_FIELDS = ('message_uuid',)
      
      def event_keys(event):
          """Return every identity this event can be recognised by."""
          keys = {'sha256:' + hashlib.sha256(
              json.dumps(event, sort_keys=True, ensure_ascii=False).encode('utf-8')
          ).hexdigest()}
          for field in ID_FIELDS:
              value = event.get(field)
              if value:
                  keys.add(f'{field}:{value}')
          return keys
      
      def get_oauth_token():
          """Get OAuth 2.0 access token using client credentials flow."""
          token_url = f"{UAA_URL.rstrip('/')}/oauth/token"
      
          credentials = f"{CLIENT_ID}:{CLIENT_SECRET}"
          encoded_credentials = base64.b64encode(credentials.encode('utf-8')).decode('utf-8')
      
          headers = {
              'Authorization': f'Basic {encoded_credentials}',
              'Content-Type': 'application/x-www-form-urlencoded',
              'Accept': 'application/json'
          }
      
          body = 'grant_type=client_credentials'
      
          backoff = 1.0
          max_retries = 3
      
          for attempt in range(max_retries):
              response = http.request('POST', token_url, body=body, headers=headers)
      
              if response.status == 429:
                  retry_after = int(response.headers.get('Retry-After', str(int(backoff))))
                  print(f"Rate limited (429) on token request. Retrying after {retry_after}s...")
                  time.sleep(retry_after)
                  backoff = min(backoff * 2, 30.0)
                  continue
      
              if response.status != 200:
                  raise RuntimeError(f"Failed to get access token: {response.status} - {response.data.decode('utf-8')}")
      
              data = json.loads(response.data.decode('utf-8'))
              return data['access_token']
      
          raise RuntimeError(f"Failed to get token after {max_retries} retries due to rate limiting")
      
      @functions_framework.cloud_event
      def main(cloud_event):
          """
          Cloud Run function triggered by Pub/Sub to fetch SAP BTP
          audit logs and write to GCS.
      
          Args:
              cloud_event: CloudEvent object containing Pub/Sub message
          """
      
          if not all([GCS_BUCKET, API_URL, UAA_URL, CLIENT_ID, CLIENT_SECRET]):
              # Raise rather than return: a bare return acks the Pub/Sub message and
              # reports the run as successful, silently discarding the schedule tick.
              raise RuntimeError('Missing required environment variables')
      
          try:
              bucket = storage_client.bucket(GCS_BUCKET)
      
              # Load state
              state = load_state(bucket, STATE_KEY)
              seen_keys = load_seen(bucket, SEEN_KEY)
      
              # Determine time window
              now = datetime.now(timezone.utc)
              last_time = None
      
              if isinstance(state, dict) and state.get("last_event_time"):
                  try:
                      last_time = parse_datetime(state["last_event_time"])
                      last_time = last_time - timedelta(minutes=2)
                  except Exception as e:
                      print(f"Warning: Could not parse last_event_time: {e}")
      
              if last_time is None:
                  last_time = now - timedelta(hours=LOOKBACK_HOURS)
      
              print(f"Fetching audit logs from {last_time.isoformat()} to {now.isoformat()}")
      
              # Get OAuth token
              token = get_oauth_token()
      
              # Fetch audit logs
              records, newest_event_time = fetch_audit_logs(
                  token=token,
                  start_time=last_time,
                  end_time=now,
              )
      
              # Drop the events already written by a previous run (overlap window)
              fresh = [r for r in records if not (event_keys(r) & seen_keys)]
      
              if not fresh:
                  print("No new audit log records found.")
                  return
      
              # Write to GCS as NDJSON
              timestamp = now.strftime('%Y%m%d_%H%M%S')
              # The random suffix keeps concurrent executions (Pub/Sub delivers at
              # least once) from overwriting each other's object within one second.
              object_key = f"{GCS_PREFIX}/audit_{timestamp}_{uuid.uuid4().hex[:8]}.ndjson"
              blob = bucket.blob(object_key)
      
              ndjson = '\n'.join([json.dumps(record, ensure_ascii=False) for record in fresh]) + '\n'
              blob.upload_from_string(ndjson, content_type='application/x-ndjson')
      
              print(f"Wrote {len(fresh)} records to gs://{GCS_BUCKET}/{object_key}")
      
              # Remember every fetched record so the next overlap window is deduplicated
              save_seen(bucket, SEEN_KEY, records)
      
              # Update state with newest event time. The watermark must be an event
              # timestamp, never wall clock: a wall-clock watermark skips every event
              # the vendor indexes late.
              if not newest_event_time:
                  raise RuntimeError('Records were returned but no event timestamp could be parsed')
              save_state(bucket, STATE_KEY, newest_event_time)
      
              print(f"Successfully processed {len(fresh)} records")
      
          except Exception as e:
              print(f'Error processing audit logs: {str(e)}')
              raise
      
      def load_state(bucket, key):
          """Load state from GCS."""
          try:
              blob = bucket.blob(key)
              if blob.exists():
                  state_data = blob.download_as_text()
                  return json.loads(state_data)
          except Exception as e:
              print(f"Warning: Could not load state: {e}")
              raise
      
          return {}
      
      def save_state(bucket, key, last_event_time_iso: str):
          """Save the last event timestamp to GCS state file."""
          try:
              state = {'last_event_time': last_event_time_iso}
              blob = bucket.blob(key)
              blob.upload_from_string(
                  json.dumps(state, indent=2),
                  content_type='application/json'
              )
              print(f"Saved state: last_event_time={last_event_time_iso}")
          except Exception as e:
              print(f"Warning: Could not save state: {e}")
              raise
      
      def load_seen(bucket, key):
          """Load the event keys written by the previous run."""
          try:
              blob = bucket.blob(key)
              if blob.exists():
                  return set(json.loads(blob.download_as_text()))
          except Exception as e:
              print(f"Warning: Could not load seen keys: {e}")
              raise
      
          return set()
      
      def save_seen(bucket, key, records):
          """Save the keys of every fetched record for the next overlap window."""
          try:
              keys = set()
              for record in records:
                  keys |= event_keys(record)
              blob = bucket.blob(key)
              blob.upload_from_string(
                  json.dumps(sorted(keys)),
                  content_type='application/json'
              )
              print(f"Saved {len(keys)} seen keys")
          except Exception as e:
              print(f"Warning: Could not save seen keys: {e}")
              raise
      
      def fetch_audit_logs(token: str, start_time: datetime, end_time: datetime):
          """
          Fetch audit logs from the Audit Log Management Service retrieval API.
      
          The API takes time_from/time_to in UTC without a timezone designator and
          returns a JSON array at the root (HTTP 204 when the window is empty).
          When the result set is chunked, the next chunk's handle arrives in the
          "Paging" response header as handle=<value> and is passed back as the
          handle query parameter; the server chunk size is fixed at 500 records.
      
          Args:
              token: OAuth 2.0 access token
              start_time: Start time for log query
              end_time: End time for log query
      
          Returns:
              Tuple of (records list, newest_event_time ISO string)
      
          Raises:
              RuntimeError: on any API failure, so a failed fetch can never be
                  mistaken for an empty result.
          """
          base_url = API_URL.rstrip('/')
          endpoint = f"{base_url}/auditlog/v2/auditlogrecords"
      
          headers = {
              'Authorization': f'Bearer {token}',
              'Accept': 'application/json',
              'User-Agent': 'GoogleSecOps-SAPBTPCollector/1.0'
          }
      
          records = []
          newest_time = None
          page_num = 0
          backoff = 1.0
          rate_limit_retries = 0
          token_refreshed = False
      
          # The API expects UTC timestamps with no timezone suffix.
          time_from = start_time.strftime('%Y-%m-%dT%H:%M:%S')
          time_to = end_time.strftime('%Y-%m-%dT%H:%M:%S')
          handle = None
      
          from urllib.parse import urlencode
      
          while True:
              page_num += 1
      
              # Rebuild the full parameter set on every request.
              params = {'time_from': time_from, 'time_to': time_to}
              if handle:
                  params['handle'] = handle
              url = f"{endpoint}?{urlencode(params)}"
      
              response = http.request('GET', url, headers=headers)
      
              # The documented rate limit is 4 requests per second (burst 20).
              if response.status == 429:
                  rate_limit_retries += 1
                  if rate_limit_retries > 5:
                      raise RuntimeError('Rate limited repeatedly; giving up without advancing the watermark')
                  retry_after = response.headers.get('Retry-After')
                  try:
                      delay = float(retry_after) if retry_after else backoff
                  except (TypeError, ValueError):
                      delay = backoff
                  delay = min(max(delay, 1.0), 60.0)
                  print(f"Rate limited (429). Retrying after {delay}s...")
                  time.sleep(delay)
                  backoff = min(backoff * 2, 30.0)
                  continue
      
              backoff = 1.0
              rate_limit_retries = 0
      
              if response.status == 401:
                  # One refresh per run: a second consecutive 401 means the audit
                  # service rejects tokens UAA still issues, and retrying forever
                  # would hammer both services until the platform kills the run.
                  if token_refreshed:
                      raise RuntimeError('Audit log request still unauthorized after a token refresh')
                  print("Token expired, refreshing...")
                  token = get_oauth_token()
                  headers['Authorization'] = f'Bearer {token}'
                  token_refreshed = True
                  continue
      
              token_refreshed = False
      
              if response.status == 204:
                  # Documented empty result for the requested window.
                  break
      
              if response.status != 200:
                  raise RuntimeError(
                      f"Audit log request failed: {response.status} - "
                      f"{response.data.decode('utf-8')}"
                  )
      
              data = json.loads(response.data.decode('utf-8'))
      
              # The records arrive as a JSON array at the root. Tolerate wrapped
              # shapes defensively, but never call .get on a list: doing so
              # crashed previous revisions of this function.
              if isinstance(data, list):
                  page_results = data
              elif isinstance(data, dict):
                  page_results = data.get('value', data.get('results', []))
              else:
                  page_results = []
      
              print(f"Page {page_num}: Retrieved {len(page_results)} audit records")
              records.extend(page_results)
      
              # Track newest event time. Parse before assigning: an unparseable
              # stamp must never become the persisted watermark.
              for record in page_results:
                  event_time = record.get('time') or record.get('timestamp')
                  if not event_time:
                      continue
                  try:
                      parsed = parse_datetime(event_time)
                  except Exception as e:
                      print(f"Warning: Could not parse event time: {e}")
                      continue
                  if newest_time is None or parsed > parse_datetime(newest_time):
                      newest_time = event_time
      
              # More chunks are signaled only by the Paging response header.
              paging = response.headers.get('Paging') or response.headers.get('paging') or ''
              handle = paging.split('=', 1)[1] if '=' in paging else None
              if not handle:
                  break
      
          print(f"Retrieved {len(records)} total audit records from {page_num} pages")
          return records, newest_time
      

    • Deuxième fichier : requirements.txt:

      functions-framework==3.*
      google-cloud-storage==2.*
      urllib3>=2.0.0
      
  3. Cliquez sur Déployer pour enregistrer et déployer la fonction.

  4. Attendez la fin du déploiement (deux à trois minutes).

Créer une tâche Cloud Scheduler

Cloud Scheduler publiera des messages dans le sujet Pub/Sub à intervalles réguliers, ce qui déclenchera la fonction Cloud Run.

  1. Dans la console GCP, accédez à Cloud Scheduler.
  2. Cliquez sur Créer une tâche.
  3. Fournissez les informations de configuration suivantes :

    Paramètre Valeur
    Nom sap-btp-collector-hourly
    Région Sélectionnez la même région que la fonction Cloud Run.
    Fréquence 0 * * * * (toutes les heures, à l'heure pile)
    Fuseau horaire Sélectionnez un fuseau horaire (UTC recommandé)
    Type de cible Pub/Sub
    Sujet Sélectionnez le sujet sap-btp-trigger.
    Corps du message {} (objet JSON vide)
  4. Cliquez sur Créer.

Options de fréquence de programmation

Choisissez la fréquence en fonction du volume de journaux et des exigences de latence :

Fréquence Expression Cron Cas d'utilisation
Toutes les 5 minutes */5 * * * * Volume élevé, faible latence
Toutes les 15 minutes */15 * * * * Volume moyen
Toutes les heures 0 * * * * Standard (recommandé)
Toutes les 6 heures 0 */6 * * * Traitement par lot de faible volume
Tous les jours 0 0 * * * Collecte des données historiques

Tester l'intégration

  1. Dans la console Cloud Scheduler, recherchez votre job (sap-btp-collector-hourly).
  2. Cliquez sur Forcer l'exécution pour déclencher l'exécution manuellement.
  3. Attendez quelques secondes, puis accédez à Cloud Run > Services > sap-btp-collector > Journaux.
  4. Vérifiez que la fonction a bien été exécutée. Par exemple :

    Fetching audit logs from YYYY-MM-DDTHH:MM:SS+00:00 to YYYY-MM-DDTHH:MM:SS+00:00
    Page 1: Retrieved X audit records
    Wrote X records to gs://sap-btp-logs/sap-btp/audit_YYYYMMDD_HHMMSS.ndjson
    Successfully processed X records
    
  5. Vérifiez le bucket Cloud Storage (sap-btp-logs) pour confirmer que les journaux d'audit ont été écrits.

Si des erreurs s'affichent dans les journaux :

  • HTTP 401 : vérifiez les identifiants OAuth dans les variables d'environnement ou le jeton qui a peut-être expiré (la fonction gère l'actualisation automatiquement).
  • HTTP 403 : vérifiez que la clé de service appartient à une instance auditlog-management du même sous-compte dont vous attendez les journaux. Les collections de rôles utilisateur ne s'appliquent pas aux jetons d'identifiants client.
  • HTTP 429 : limitation du débit. La fonction effectue automatiquement une nouvelle tentative avec intervalle exponentiel entre les tentatives.
  • Échec de l'obtention du jeton d'accès : vérifiez que SAP_UAA_URL, SAP_CLIENT_ID et SAP_CLIENT_SECRET sont corrects.

Configurer un flux dans Google SecOps pour ingérer les journaux SAP BTP

  1. Accédez à Paramètres > Gestion des données > Flux. Si vous utilisez une plate-forme SIEM uniquement, accédez à Paramètres > Flux.
  2. Cliquez sur Ajouter un flux d'actualités.
  3. Cliquez sur Configurer un flux unique.
  4. Dans le champ Nom du flux, saisissez un nom pour le flux (par exemple, SAP BTP Logs).
  5. Sélectionnez Google Cloud Storage V2 comme Type de source.
  6. Sélectionnez SAP Business Technology Platform comme Type de journal.
  7. Cliquez sur Get Service Account (Obtenir un compte de service). Une adresse e-mail de compte de service unique s'affiche, par exemple :

    chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.com
    
  8. Copiez cette adresse e-mail. Vous en aurez besoin lors de la tâche suivante.

  9. Cliquez sur Suivant.

  10. Spécifiez les valeurs des paramètres d'entrée suivants :

    • URL du bucket de stockage : saisissez l'URI du bucket Cloud Storage avec le chemin d'accès du préfixe :

      gs://sap-btp-logs/sap-btp/
      
      • Remplacez :
        • sap-btp-logs : nom de votre bucket Cloud Storage.
        • sap-btp/ : chemin d'accès où les journaux sont stockés.
    • Option de suppression de la source : sélectionnez l'option de suppression de votre choix :

      • Ne jamais supprimer les fichiers : ne supprime jamais les fichiers de la source (recommandé pour les tests).
      • Supprimer les fichiers transférés et les répertoires vides : supprimez les fichiers et les répertoires vides de la source une fois la récupération terminée.
    • Âge maximal du fichier : incluez les fichiers modifiés au cours d'un certain nombre de jours (180 jours par défaut).

    • Espace de noms de l'élément : espace de noms de l'élément.

    • Étiquettes d'ingestion : étiquette à appliquer aux événements de ce flux.

  11. Cliquez sur Suivant.

  12. Vérifiez la configuration de votre nouveau flux d'actualités sur l'écran Finaliser, puis cliquez sur Envoyer.

Accorder des autorisations IAM au compte de service Google SecOps

Le compte de service Google SecOps a besoin de deux rôles sur votre bucket Cloud Storage : Lecteur des objets Storage pour lire les objets de journal et un rôle au niveau du bucket pour lire les métadonnées du bucket.

  1. Accédez à Cloud Storage > Buckets.
  2. Cliquez sur le nom de votre bucket (sap-btp-logs).
  3. Accédez à l'onglet Autorisations.
  4. Cliquez sur Accorder l'accès.
  5. Fournissez les informations de configuration suivantes :
    • Ajouter des comptes principaux : collez l'adresse e-mail du compte de service Google SecOps.
    • Attribuer des rôles : sélectionnez les deux rôles suivants :
      • Lecteur des objets de l'espace de stockage : lit les objets de journal.
      • Lecteur des anciens buckets Storage : lit les métadonnées du bucket. Si vous avez sélectionné l'option de suppression Supprimer les fichiers transférés et les répertoires vides, sélectionnez plutôt Rédacteur d'ancien bucket Storage, qui accorde également l'autorisation de suppression.
  6. Cliquez sur Enregistrer.

Table de mappage UDM

Champ du journal Mappage UDM Logique
time metadata.event_timestamp Analysé en tant que ISO8601
principal_present metadata.event_type Mappé : true → STATUS_UPDATE
user_present metadata.event_type Mappé : true → USER_RESOURCE_ACCESS, true → USER_UNCATEGORIZED
json_message_uuid metadata.product_log_id Mappage direct
host principal.asset.hostname Mappage direct
key principal.asset.ip Mappé : ip → value
principal_ip principal.asset.ip Fusionné
value principal.asset.ip Fusionné
host principal.hostname Mappage direct
key principal.ip Mappé : ip → value
principal_ip principal.ip Fusionné
value principal.ip Fusionné
principal_user_role principal.user.attribute.roles Fusionné
key principal.user.email_addresses Mappé : "new","old" → value2, "new","old" → value1
key1 principal.user.email_addresses Mappé : emails → value2, userName → value1
key2 principal.user.email_addresses Mappé : value → value2
value1 principal.user.email_addresses Mappé : ^.+@.+$ → value1
value2 principal.user.email_addresses Fusionné
user principal.user.user_display_name Mappage direct
json_message.data_subject.id.userid principal.user.userid Mappage direct
value1 principal.user.userid Mappage direct
category security_result.category_details Fusionné
als_service_id_label security_result.detection_fields Fusionné
app_or_service_id_label security_result.detection_fields Fusionné
attri_label security_result.detection_fields Fusionné
attribute_label security_result.detection_fields Fusionné
attribute_label1 security_result.detection_fields Fusionné
custom_status_label security_result.detection_fields Fusionné
custom_success_label security_result.detection_fields Fusionné
custom_type_label security_result.detection_fields Fusionné
desc_label security_result.detection_fields Fusionné
format_version_label security_result.detection_fields Fusionné
key security_result.detection_fields Mappé : json_message → message_label, id → attribute_label, "new","old" → `attribu...
message_id_label security_result.detection_fields Fusionné
message_label security_result.detection_fields Fusionné
message_label_json_message security_result.detection_fields Fusionné
message_label_msgId security_result.detection_fields Fusionné
message_label_msgNo security_result.detection_fields Fusionné
message_label_uuid security_result.detection_fields Fusionné
message_label_version security_result.detection_fields Fusionné
org_id_label security_result.detection_fields Fusionné
space_id_label security_result.detection_fields Fusionné
tenant_label security_result.detection_fields Fusionné
key security_result.severity Mapped: level → INFORMATIONAL, level → MEDIUM, level → UNKNOWN_SEVERITY
level security_result.severity Mappé : INFO → INFORMATIONAL
value security_result.severity Mappé : INFO → INFORMATIONAL, WARN → MEDIUM
level security_result.severity_details Mappage direct
value1 target.resource.product_object_id Mappage direct
key1 target.resource.resource_type Mappé : clusterID → CLUSTER
N/A metadata.event_type Constante : GENERIC_EVENT
N/A metadata.product_name Constante : SAP_BTP
N/A metadata.vendor_name Constante : SAP_BTP
N/A security_result.severity Constante : INFORMATIONAL
N/A target.resource.resource_type Constante : CLUSTER

Journal des modifications

Afficher le journal des modifications de cet analyseur

Vous avez encore besoin d'aide ? Obtenez des réponses de membres de la communauté et de professionnels Google SecOps.