Cisco ACI-Logs (Application Centric Infrastructure) erfassen

Unterstützt in:

Google SecOps SIEM

Hinweis: Dieses Feature unterliegt den Bedingungen des Pre-GA-Angebots in den dienstspezifischen Nutzungsbedingungen für Google Security Operations. Pre-GA-Features werden eventuell nur eingeschränkt unterstützt und Änderungen an diesen Features sind möglicherweise nicht mit anderen Pre-GA-Versionen kompatibel. Weitere Informationen finden Sie in den Richtlinien für den technischen Support von Google SecOps und den dienstspezifischen Nutzungsbedingungen für Google SecOps.

In diesem Dokument wird beschrieben, wie Sie Cisco Application Centric Infrastructure (ACI)-Logs in Google Security Operations aufnehmen. Der Parser versucht zuerst, eingehende Cisco ACI-Logs als Syslog-Nachrichten mit Grok-Mustern zu verarbeiten. Wenn das Syslog-Parsing fehlschlägt, wird davon ausgegangen, dass die Nachricht im JSON-Format vorliegt, und sie wird entsprechend geparst. Schließlich werden die extrahierten Felder dem Unified Data Model (UDM) zugeordnet.

Diese Integration unterstützt zwei Methoden:

• Option 1: Syslog-Format mit Bindplane-Agent
• Option 2: JSON-Format mit Google Cloud Storage über die APIC REST API

Jede Option ist in sich abgeschlossen und kann unabhängig voneinander implementiert werden, je nach Ihren Infrastrukturanforderungen und bevorzugten Logformaten.

Option 1: Syslog mit dem Bindplane-Agent

Mit dieser Option wird das Cisco ACI-Fabric so konfiguriert, dass Syslog-Nachrichten an einen Bindplane-Agent gesendet werden, der sie zur Analyse an Google Security Operations weiterleitet.

Hinweis

Prüfen Sie, ob folgende Voraussetzungen erfüllt sind:

• Eine Google SecOps-Instanz
• Ein Windows 2016- oder höher- oder Linux-Host mit systemd
• Wenn Sie den Agent hinter einem Proxy ausführen, müssen die Firewallports gemäß den Anforderungen des Bindplane-Agents geöffnet sein.
• Privilegierter Zugriff auf die Cisco APIC-Konsole

Authentifizierungsdatei für die Aufnahme in Google SecOps abrufen

1. Rufen Sie die SIEM-Einstellungen > Collection Agents auf.
2. Laden Sie die Authentifizierungsdatei für die Aufnahme herunter.
3. Speichern Sie die Datei sicher auf dem System, auf dem Bindplane installiert wird.

Google SecOps-Kundennummer abrufen

1. Rufen Sie die SIEM-Einstellungen > Profile auf.
2. Kopieren und speichern Sie die Kunden-ID aus dem Bereich Organisationsdetails.

BindPlane-Agent installieren

Installieren Sie den Bindplane-Agent auf Ihrem Windows- oder Linux-Betriebssystem gemäß der folgenden Anleitung.

Fenstermontage

1. Öffnen Sie die Eingabeaufforderung oder PowerShell als Administrator.

2. Führen Sie dazu diesen Befehl aus:

   msiexec /i "https://github.com/observIQ/bindplane-agent/releases/latest/download/observiq-otel-collector.msi" /quiet
   

Linux-Installation

1. Öffnen Sie ein Terminal mit Root- oder Sudo-Berechtigungen.

2. Führen Sie dazu diesen Befehl aus:

   sudo sh -c "$(curl -fsSlL https://github.com/observiq/bindplane-agent/releases/latest/download/install_unix.sh)" install_unix.sh
   

Weitere Installationsoptionen finden Sie im Installationsleitfaden für BindPlane-Agents.

BindPlane-Agent zum Erfassen von Syslog-Daten und Senden an Google SecOps konfigurieren

Auf die Konfigurationsdatei zugreifen

1. Suchen Sie die Datei config.yaml. Normalerweise befindet sie sich unter Linux im Verzeichnis /etc/bindplane-agent/ oder unter Windows im Installationsverzeichnis.
2. Öffnen Sie die Datei mit einem Texteditor (z. B. nano, vi oder Notepad).

3. Bearbeiten Sie die Datei „config.yaml“:

   receivers:
     udplog:
       # Replace the port and IP address as required
       listen_address: "0.0.0.0:514"
   
   exporters:
     chronicle/chronicle_w_labels:
       compression: gzip
       # Adjust the path to the credentials file you downloaded
       creds_file_path: '/path/to/ingestion-authentication-file.json'
       # Replace with your actual customer ID
       customer_id: <CUSTOMER_ID>
       endpoint: malachiteingestion-pa.googleapis.com
       # Add optional ingestion labels for better organization
       log_type: 'CISCO_ACI'
       raw_log_field: body
       ingestion_labels:
         service:
   
   pipelines:
     logs/source0__chronicle_w_labels-0:
       receivers:
         - udplog
       exporters:
         - chronicle/chronicle_w_labels
   

   • Dabei gilt:
     • Ersetzen Sie den Port und die IP-Adresse nach Bedarf in Ihrer Infrastruktur.
     • Ersetzen Sie <CUSTOMER_ID> durch die tatsächliche Kunden-ID.
     • Aktualisieren Sie /path/to/ingestion-authentication-file.json auf den Pfad, in dem die Authentifizierungsdatei gespeichert wurde.

Bindplane-Agent neu starten, um die Änderungen zu übernehmen

• Führen Sie den folgenden Befehl aus, um den Bindplane-Agent unter Linux neu zu starten:

  sudo systemctl restart bindplane-agent
  

• Um den Bindplane-Agent unter Windows neu zu starten, können Sie entweder die Dienstkonsole verwenden oder den folgenden Befehl eingeben:

  net stop BindPlaneAgent && net start BindPlaneAgent
  

Syslog-Weiterleitung in Cisco ACI konfigurieren

Out-of-Band-Management-Vertrag konfigurieren

1. Melden Sie sich in der Cisco APIC-Konsole an.
2. Rufen Sie Tenants > mgmt> Contracts> Filters auf.
3. Klicken Sie auf Filter erstellen.
4. Geben Sie die folgenden Konfigurationsdetails an:
   • Name: Geben Sie syslog-udp-514 ein.
   • Eintragsname: Geben Sie syslog ein.
   • EtherType: Wählen Sie IP aus.
   • IP-Protokoll: Wählen Sie UDP aus.
   • Zielportbereich (von): Geben Sie 514 ein.
   • Zielportbereich bis: Geben Sie 514 ein.
5. Klicken Sie auf Senden.

Verwaltungsvereinbarung erstellen

1. Gehen Sie zu Tenants> mgmt > Contracts > Standard.
2. Klicken Sie auf Vertrag erstellen.
3. Geben Sie die folgenden Konfigurationsdetails an:
   • Name: Geben Sie mgmt-syslog-contract ein.
   • Umfang: Wählen Sie Kontext aus.
4. Klicken Sie auf Senden.
5. Maximieren Sie den Vertrag und klicken Sie auf Themen.
6. Klicken Sie auf Vertragsgegenstand erstellen.
7. Geben Sie die folgenden Konfigurationsdetails an:
   • Name: Geben Sie syslog-subject ein.
   • Beide Richtungen anwenden: Aktivieren Sie diese Option.
8. Klicken Sie auf Senden.
9. Maximieren Sie das Thema und klicken Sie auf Filter.
10. Klicken Sie auf Filterbindung erstellen.
11. Wählen Sie den Filter syslog-udp-514 aus.
12. Klicken Sie auf Senden.

Syslog-Zielgruppe konfigurieren

1. Klicken Sie auf Verwaltung > Externe Datenerhebungstools > Monitoring-Ziele > Syslog.
2. Klicken Sie mit der rechten Maustaste auf Syslog und wählen Sie Create Syslog Monitoring Destination Group (Syslog-Überwachungszielgruppe erstellen) aus.
3. Geben Sie die folgenden Konfigurationsdetails an:
   • Name: Geben Sie Chronicle-Syslog-Group ein.
   • Admin State (Administratorstatus): Wählen Sie Enabled (Aktiviert) aus.
   • Format: Wählen Sie aci aus.
4. Klicken Sie auf Weiter.
5. Gehen Sie im Dialogfeld Syslog-Überwachungsziel erstellen so vor:
   • Name: Geben Sie Chronicle-BindPlane ein.
   • Host: Geben Sie die IP-Adresse Ihres Bindplane-Agent-Servers ein.
   • Port: Geben Sie 514 ein.
   • Admin State (Administratorstatus): Wählen Sie Enabled (Aktiviert) aus.
   • Schweregrad: Wählen Sie Information aus, um detaillierte Logs zu erfassen.
6. Klicken Sie auf Senden.

Monitoring-Richtlinien konfigurieren

Fabric Monitoring-Richtlinie

1. Rufen Sie Fabric > Fabric-Richtlinien > Richtlinien > Monitoring > Gemeinsame Richtlinie auf.
2. Maximieren Sie Callhome/Smart Callhome/SNMP/Syslog/TACACS.
3. Klicken Sie mit der rechten Maustaste auf Syslog und wählen Sie Syslog-Quelle erstellen aus.
4. Geben Sie die folgenden Konfigurationsdetails an:
   • Name: Geben Sie Chronicle-Fabric-Syslog ein.
   • Audit-Logs: Aktivieren Sie diese Option, um Audit-Ereignisse einzubeziehen.
   • Ereignisse: Aktivieren Sie das Kästchen, um Systemereignisse einzubeziehen.
   • Fehler: Aktivieren Sie diese Option, um Fehlerereignisse einzubeziehen.
   • Sitzungsprotokolle: Aktivieren Sie diese Option, um Sitzungsprotokolle einzubeziehen.
   • Zielgruppe: Wählen Sie Chronicle-Syslog-Group aus.
5. Klicken Sie auf Senden.

Richtlinie zur Zugriffsüberwachung

1. Rufen Sie Fabric > Zugriffsrichtlinien > Richtlinien > Monitoring > Standardrichtlinie auf.
2. Maximieren Sie Callhome/Smart Callhome/SNMP/Syslog.
3. Klicken Sie mit der rechten Maustaste auf Syslog und wählen Sie Syslog-Quelle erstellen aus.
4. Geben Sie die folgenden Konfigurationsdetails an:
   • Name: Geben Sie Chronicle-Access-Syslog ein.
   • Audit-Logs: Aktivieren Sie diese Option, um Audit-Ereignisse einzubeziehen.
   • Ereignisse: Aktivieren Sie das Kästchen, um Systemereignisse einzubeziehen.
   • Fehler: Aktivieren Sie diese Option, um Fehlerereignisse einzubeziehen.
   • Sitzungsprotokolle: Aktivieren Sie diese Option, um Sitzungsprotokolle einzubeziehen.
   • Zielgruppe: Wählen Sie Chronicle-Syslog-Group aus.
5. Klicken Sie auf Senden.

Richtlinie für System-Syslog-Meldungen konfigurieren

1. Rufen Sie Fabric > Fabric-Richtlinien > Richtlinien > Monitoring > Gemeinsame Richtlinie auf.
2. Maximieren Sie Richtlinien für Syslog-Nachrichten.
3. Klicken Sie auf Standard.
4. Führen Sie im Bereich Einrichtungsfilter folgende Schritte aus:
   • Einrichtung: Wählen Sie Standard aus.
   • Mindestschweregrad: Ändern Sie den Wert in Information.
5. Klicken Sie auf Senden.

Option 2: JSON-Datei mit Google Cloud Storage

Bei dieser Option wird die APIC REST API verwendet, um Ereignisse, Fehler und Audit-Logs im JSON-Format aus dem Cisco ACI-Fabric zu erfassen und in Google Cloud Storage für die Aufnahme in Google SecOps zu speichern.

Hinweis

Prüfen Sie, ob die folgenden Voraussetzungen erfüllt sind:

• Eine Google SecOps-Instanz
• GCP-Projekt mit aktivierter Cloud Storage API
• Berechtigungen zum Erstellen und Verwalten von GCS-Buckets
• Berechtigungen zum Verwalten von IAM-Richtlinien für GCS-Buckets
• Berechtigungen zum Erstellen von Cloud Run-Diensten, Pub/Sub-Themen und Cloud Scheduler-Jobs
• Privilegierter Zugriff auf die Cisco APIC-Konsole

Voraussetzungen für Cisco ACI APIC

APIC-Anmeldedaten abrufen

1. Melden Sie sich über HTTPS in der Cisco APIC-Konsole an.

2. Gehen Sie zu Admin > AAA (auf APIC 6.0+) oder Admin > Authentifizierung > AAA (auf älteren Versionen).

   Hinweis :Der AAA-Menüpfad hat sich ab APIC 6.0(1) geändert.

3. Erstellen Sie einen lokalen Nutzer mit den entsprechenden Berechtigungen oder verwenden Sie einen vorhandenen.

4. Kopieren Sie die folgenden Details und speichern Sie sie an einem sicheren Ort:

   • APIC-Nutzername: Lokaler Nutzer mit Lesezugriff auf Überwachungsdaten
   • APIC-Passwort: Nutzerpasswort
   • APIC-URL: Die HTTPS-URL Ihres APIC (z. B. https://apic.example.com)

Hinweis: Das Nutzerkonto muss gemäß der rollenbasierten Zugriffssteuerung von Cisco Leseberechtigungen für die abgefragten Klassen (faultInst, eventRecord, aaaModLR) haben.

Google Cloud Storage-Bucket erstellen

1. Rufen Sie die Google Cloud Console auf.
2. Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
3. Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
4. Klicken Sie auf Bucket erstellen.

5. Geben Sie die folgenden Konfigurationsdetails an:

   Einstellung	Wert
   Bucket benennen	Geben Sie einen global eindeutigen Namen ein, z. B. cisco-aci-logs.
   Standorttyp	Wählen Sie je nach Bedarf aus (Region, Dual-Region, Multi-Region).
   Standort	Wählen Sie den Speicherort aus, z. B. us-central1.
   Speicherklasse	Standard (empfohlen für Logs, auf die häufig zugegriffen wird)
   Zugriffssteuerung	Einheitlich (empfohlen)
   Schutzmaßnahmen	Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren

6. Klicken Sie auf Erstellen.

Dienstkonto für Cloud Run-Funktion erstellen

Die Cloud Run-Funktion benötigt ein Dienstkonto mit Berechtigungen zum Schreiben in den GCS-Bucket und zum Aufrufen durch Pub/Sub.

Dienstkonto erstellen

1. Wechseln Sie in der GCP Console zu IAM & Verwaltung > Dienstkonten.
2. Klicken Sie auf Dienstkonto erstellen.
3. Geben Sie die folgenden Konfigurationsdetails an:
   • Name des Dienstkontos: Geben Sie cisco-aci-collector-sa ein.
   • Beschreibung des Dienstkontos: Geben Sie Service account for Cloud Run function to collect Cisco ACI logs ein.
4. Klicken Sie auf Erstellen und fortfahren.
5. Fügen Sie im Abschnitt Diesem Dienstkonto Zugriff auf das Projekt erteilen die folgenden Rollen hinzu:
   1. Klicken Sie auf Rolle auswählen.
   2. Suchen Sie nach Storage-Objekt-Administrator und wählen Sie die Rolle aus.
   3. Klicken Sie auf + Weitere Rolle hinzufügen.
   4. Suchen Sie nach Cloud Run Invoker und wählen Sie die Rolle aus.
   5. Klicken Sie auf + Weitere Rolle hinzufügen.
   6. Suchen Sie nach Cloud Functions Invoker und wählen Sie die Rolle aus.
6. Klicken Sie auf Weiter.
7. Klicken Sie auf Fertig.

Diese Rollen sind erforderlich für:

• Storage-Objekt-Administrator: Protokolle in GCS-Bucket schreiben und Statusdateien verwalten
• Cloud Run-Aufrufer: Pub/Sub darf die Funktion aufrufen.
• Cloud Functions-Invoker: Funktionsaufruf zulassen

IAM-Berechtigungen für GCS-Bucket erteilen

Gewähren Sie dem Dienstkonto (cisco-aci-collector-sa) Schreibberechtigungen für den GCS-Bucket:

1. Rufen Sie Cloud Storage > Buckets auf.
2. Klicken Sie auf den Namen Ihres Buckets, z. B. cisco-aci-logs.
3. Wechseln Sie zum Tab Berechtigungen.
4. Klicken Sie auf Zugriff erlauben.
5. Geben Sie die folgenden Konfigurationsdetails an:
   • Hauptkonten hinzufügen: Geben Sie die E-Mail-Adresse des Dienstkontos ein (z. B. cisco-aci-collector-sa@PROJECT_ID.iam.gserviceaccount.com).
   • Rollen zuweisen: Wählen Sie Storage-Objekt-Administrator aus.
6. Klicken Sie auf Speichern.

Pub/Sub-Thema erstellen

Erstellen Sie ein Pub/Sub-Thema, in dem Cloud Scheduler veröffentlicht und das von der Cloud Run-Funktion abonniert wird.

1. Rufen Sie in der GCP Console Pub/Sub > Themen auf.
2. Klicken Sie auf Thema erstellen.
3. Geben Sie die folgenden Konfigurationsdetails an:
   • Themen-ID: Geben Sie cisco-aci-trigger ein.
   • Übernehmen Sie die anderen Einstellungen.
4. Klicken Sie auf Erstellen.

Cloud Run-Funktion zum Erfassen von Logs erstellen

Die Cloud Run-Funktion wird durch Pub/Sub-Nachrichten von Cloud Scheduler ausgelöst, um Logs von der Cisco APIC REST API abzurufen und in GCS zu schreiben.

1. Rufen Sie in der GCP Console Cloud Run auf.
2. Klicken Sie auf Dienst erstellen.
3. Wählen Sie Funktion aus, um eine Funktion mit einem Inline-Editor zu erstellen.

4. Geben Sie im Abschnitt Konfigurieren die folgenden Konfigurationsdetails an:

   Einstellung	Wert
   Dienstname	cisco-aci-collector
   Region	Wählen Sie die Region aus, die Ihrem GCS-Bucket entspricht (z. B. us-central1).
   Laufzeit	Wählen Sie Python 3.12 oder höher aus.

5. Im Abschnitt Trigger (optional):

   1. Klicken Sie auf + Trigger hinzufügen.
   2. Wählen Sie Cloud Pub/Sub aus.
   3. Wählen Sie unter Cloud Pub/Sub-Thema auswählen das Pub/Sub-Thema (cisco-aci-trigger) aus.
   4. Klicken Sie auf Speichern.

6. Im Abschnitt Authentifizierung:

   • Wählen Sie Authentifizierung erforderlich aus.
   • Wählen Sie Identity and Access Management (IAM) aus.

Hinweis: Pub/Sub übernimmt die Authentifizierung beim Aufrufen der Funktion automatisch.

1. Scrollen Sie zu Container, Netzwerk, Sicherheit und maximieren Sie diesen Bereich.
2. Rufen Sie den Tab Sicherheit auf:
   • Dienstkonto: Wählen Sie das Dienstkonto aus (cisco-aci-collector-sa).

3. Rufen Sie den Tab Container auf:

   • Klicken Sie auf Variablen und Secrets.

   • Klicken Sie für jede Umgebungsvariable auf + Variable hinzufügen:

     Variablenname	Beispielwert	Beschreibung
     GCS_BUCKET	cisco-aci-logs	Name des GCS-Buckets
     GCS_PREFIX	cisco-aci-events	Präfix für Protokolldateien
     STATE_KEY	cisco-aci-events/state.json	Statusdateipfad
     APIC_URL	https://apic.example.com	APIC-HTTPS-URL
     APIC_USERNAME	your-apic-username	APIC-Nutzername
     APIC_PASSWORD	your-apic-password	APIC-Passwort
     PAGE_SIZE	100	Datensätze pro Seite
     MAX_PAGES	10	Maximale Anzahl von Seiten pro Ausführung

   Hinweis :Für Produktionsumgebungen sollten Sie APIC-Anmeldedaten in Google Secret Manager anstelle von Umgebungsvariablen speichern.

4. Scrollen Sie im Bereich Variablen und Secrets zu Anfragen:

   • Zeitüberschreitung bei Anfrage: Geben Sie 300 Sekunden (5 Minuten) ein.

5. Rufen Sie den Tab Einstellungen auf:

   • Im Abschnitt Ressourcen:
     • Arbeitsspeicher: Wählen Sie 512 MiB oder höher aus.
     • CPU: Wählen Sie 1 aus.

6. Im Abschnitt Versionsskalierung:

   • Mindestanzahl von Instanzen: Geben Sie 0 ein.
   • Maximale Anzahl von Instanzen: Geben Sie 100 ein (oder passen Sie den Wert an die erwartete Last an).

7. Klicken Sie auf Erstellen.

8. Warten Sie ein bis zwei Minuten, bis der Dienst erstellt wurde.

9. Nachdem der Dienst erstellt wurde, wird automatisch der Inline-Code-Editor geöffnet.

Funktionscode hinzufügen

1. Geben Sie main in das Feld Einstiegspunkt ein.

2. Erstellen Sie im Inline-Codeeditor zwei Dateien:

   • Erste Datei: main.py::

   import functions_framework
   from google.cloud import storage
   import json
   import os
   import urllib3
   from datetime import datetime, timezone, timedelta
   import logging
   
   # Configure logging
   logger = logging.getLogger()
   logger.setLevel(logging.INFO)
   
   # Initialize HTTP client with timeouts
   http = urllib3.PoolManager(
       timeout=urllib3.Timeout(connect=5.0, read=60.0),
       retries=False,
   )
   
   # Initialize Storage client
   storage_client = storage.Client()
   
   # Environment variables
   GCS_BUCKET = os.environ.get('GCS_BUCKET')
   GCS_PREFIX = os.environ.get('GCS_PREFIX', 'cisco-aci-events')
   STATE_KEY = os.environ.get('STATE_KEY', 'cisco-aci-events/state.json')
   APIC_URL = os.environ.get('APIC_URL')
   APIC_USERNAME = os.environ.get('APIC_USERNAME')
   APIC_PASSWORD = os.environ.get('APIC_PASSWORD')
   PAGE_SIZE = int(os.environ.get('PAGE_SIZE', '100'))
   MAX_PAGES = int(os.environ.get('MAX_PAGES', '10'))
   
   @functions_framework.cloud_event
   def main(cloud_event):
       """
       Cloud Run function triggered by Pub/Sub to fetch Cisco ACI logs and write to GCS.
   
       Args:
           cloud_event: CloudEvent object containing Pub/Sub message
       """
   
       if not all([GCS_BUCKET, APIC_URL, APIC_USERNAME, APIC_PASSWORD]):
           logger.error('Error: Missing required environment variables')
           return
   
       try:
           # Get GCS bucket
           bucket = storage_client.bucket(GCS_BUCKET)
   
           # Load state
           state = load_state(bucket, STATE_KEY)
   
           # Determine time window
           last_timestamp = state.get('last_timestamp')
           if not last_timestamp:
               last_timestamp = (datetime.utcnow() - timedelta(hours=1)).isoformat() + 'Z'
   
           logger.info(f"Starting Cisco ACI data collection for bucket: {GCS_BUCKET}")
   
           # Authenticate to APIC
           session_token = authenticate_apic(APIC_URL, APIC_USERNAME, APIC_PASSWORD)
           headers = {
               'Cookie': f'APIC-cookie={session_token}',
               'Accept': 'application/json',
               'Content-Type': 'application/json'
           }
   
           # Data types to collect
           data_types = ['faultInst', 'eventRecord', 'aaaModLR']
           all_collected_data = []
   
           for data_type in data_types:
               logger.info(f"Collecting {data_type} data")
               collected_data = collect_aci_data(
                   APIC_URL,
                   headers,
                   data_type,
                   last_timestamp,
                   PAGE_SIZE,
                   MAX_PAGES
               )
   
               # Tag each record with its type
               for record in collected_data:
                   record['_data_type'] = data_type
   
               all_collected_data.extend(collected_data)
               logger.info(f"Collected {len(collected_data)} {data_type} records")
   
           logger.info(f"Total records collected: {len(all_collected_data)}")
   
           # Store data in GCS if any were collected
           if all_collected_data:
               timestamp_str = datetime.utcnow().strftime('%Y%m%d_%H%M%S')
               s3_key = f"{GCS_PREFIX}/cisco_aci_events_{timestamp_str}.ndjson"
   
               # Convert to NDJSON format (one JSON object per line)
               ndjson_content = '\n'.join(json.dumps(record) for record in all_collected_data)
   
               # Upload to GCS
               blob = bucket.blob(s3_key)
               blob.upload_from_string(
                   ndjson_content,
                   content_type='application/x-ndjson'
               )
   
               logger.info(f"Uploaded {len(all_collected_data)} records to gs://{GCS_BUCKET}/{s3_key}")
   
               # Update state file with latest timestamp from collected data
               latest_timestamp = get_latest_timestamp_from_records(all_collected_data)
               if not latest_timestamp:
                   latest_timestamp = datetime.utcnow().isoformat() + 'Z'
   
               update_state(bucket, STATE_KEY, latest_timestamp)
           else:
               logger.info("No new log records found.")
   
           logger.info(f"Successfully processed {len(all_collected_data)} records")
   
       except Exception as e:
           logger.error(f'Error processing logs: {str(e)}')
           raise
   
   def authenticate_apic(apic_url, username, password):
       """Authenticate to APIC and return session token"""
       login_url = f"{apic_url}/api/aaaLogin.json"
       login_data = {
           "aaaUser": {
               "attributes": {
                   "name": username,
                   "pwd": password
               }
           }
       }
   
       response = http.request(
           'POST',
           login_url,
           body=json.dumps(login_data).encode('utf-8'),
           headers={'Content-Type': 'application/json'},
           timeout=30
       )
   
       if response.status != 200:
           raise RuntimeError(f"APIC authentication failed: {response.status} {response.data[:256]!r}")
   
       response_data = json.loads(response.data.decode('utf-8'))
       token = response_data['imdata'][0]['aaaLogin']['attributes']['token']
       logger.info("Successfully authenticated to APIC")
       return token
   
   def collect_aci_data(apic_url, headers, data_type, last_timestamp, page_size, max_pages):
       """Collect data from APIC REST API with pagination"""
       all_data = []
       page = 0
   
       while page < max_pages:
           # Build API URL with pagination and time filters
           api_url = f"{apic_url}/api/class/{data_type}.json"
           params = [
               f'page-size={page_size}',
               f'page={page}',
               f'order-by={data_type}.created|asc'
           ]
   
           # Add time filter to prevent duplicates
           if last_timestamp:
               params.append(f'query-target-filter=gt({data_type}.created,"{last_timestamp}")')
   
           full_url = f"{api_url}?{'&'.join(params)}"
   
           logger.info(f"Fetching {data_type} page {page} from APIC")
   
           # Make API request
           response = http.request('GET', full_url, headers=headers, timeout=60)
   
           if response.status != 200:
               logger.error(f"API request failed: {response.status} {response.data[:256]!r}")
               break
   
           data = json.loads(response.data.decode('utf-8'))
           records = data.get('imdata', [])
   
           if not records:
               logger.info(f"No more {data_type} records found")
               break
   
           # Extract the actual data from APIC format
           extracted_records = []
           for record in records:
               if data_type in record:
                   extracted_records.append(record[data_type])
   
           all_data.extend(extracted_records)
           page += 1
   
           # If we got less than page_size records, we've reached the end
           if len(records) < page_size:
               break
   
       return all_data
   
   def get_last_timestamp(bucket, state_key):
       """Get the last run timestamp from GCS state file"""
       try:
           blob = bucket.blob(state_key)
           if blob.exists():
               state_data = blob.download_as_text()
               state = json.loads(state_data)
               return state.get('last_timestamp')
       except Exception as e:
           logger.warning(f"Error reading state file: {str(e)}")
   
       return None
   
   def get_latest_timestamp_from_records(records):
       """Get the latest timestamp from collected records to prevent missing events"""
       if not records:
           return None
   
       latest = None
       latest_time = None
   
       for record in records:
           try:
               # Handle both direct attributes and nested structure
               attrs = record.get('attributes', record)
               created = attrs.get('created')
               modTs = attrs.get('modTs')
   
               # Use created or modTs as fallback
               timestamp = created or modTs
   
               if timestamp:
                   if latest_time is None or timestamp > latest_time:
                       latest_time = timestamp
                       latest = record
           except Exception as e:
               logger.debug(f"Error parsing timestamp from record: {e}")
               continue
   
       return latest_time
   
   def update_state(bucket, state_key, timestamp):
       """Update the state file with the current timestamp"""
       try:
           state_data = {
               'last_timestamp': timestamp,
               'updated_at': datetime.utcnow().isoformat() + 'Z'
           }
           blob = bucket.blob(state_key)
           blob.upload_from_string(
               json.dumps(state_data),
               content_type='application/json'
           )
           logger.info(f"Updated state file with timestamp: {timestamp}")
       except Exception as e:
           logger.error(f"Error updating state file: {str(e)}")
   
   def load_state(bucket, key):
       """Load state from GCS."""
       try:
           blob = bucket.blob(key)
           if blob.exists():
               state_data = blob.download_as_text()
               return json.loads(state_data)
       except Exception as e:
           logger.warning(f"Could not load state: {e}")
   
       return {}
   

   • Zweite Datei: requirements.txt::

   functions-framework==3.*
   google-cloud-storage==2.*
   urllib3>=2.0.0
   

3. Klicken Sie auf Bereitstellen, um die Funktion zu speichern und bereitzustellen.

4. Warten Sie, bis die Bereitstellung abgeschlossen ist (2–3 Minuten).

Hinweis :Bei der Konfiguration des Pub/Sub-Triggers werden automatisch die erforderlichen Abos und Berechtigungen erstellt. Die APIC-URL muss über die Netzwerkumgebung der Cloud Run-Funktion erreichbar sein und entsprechende Firewallregeln müssen HTTPS (TCP/443) von der Funktion zu APIC zulassen.

Cloud Scheduler-Job erstellen

Cloud Scheduler veröffentlicht in regelmäßigen Abständen Nachrichten im Pub/Sub-Thema und löst so die Cloud Run-Funktion aus.

1. Rufen Sie in der GCP Console Cloud Scheduler auf.
2. Klicken Sie auf Job erstellen.

3. Geben Sie die folgenden Konfigurationsdetails an:

   Einstellung	Wert
   Name	cisco-aci-collector-15m
   Region	Dieselbe Region wie für die Cloud Run-Funktion auswählen
   Frequenz	*/15 * * * * (alle 15 Minuten)
   Zeitzone	Zeitzone auswählen (UTC empfohlen)
   Zieltyp	Pub/Sub
   Thema	Wählen Sie das Pub/Sub-Thema aus (cisco-aci-trigger).
   Nachrichtentext	{} (leeres JSON-Objekt)

4. Klicken Sie auf Erstellen.

Optionen für die Häufigkeit des Zeitplans

• Wählen Sie die Häufigkeit basierend auf dem Logvolumen und den Latenzanforderungen aus:

  Häufigkeit	Cron-Ausdruck	Anwendungsfall
  Alle 5 Minuten	*/5 * * * *	Hohes Volumen, niedrige Latenz
  Alle 15 Minuten	*/15 * * * *	Mittleres Suchvolumen (empfohlen)
  Stündlich	0 * * * *	Standard
  Alle 6 Stunden	0 */6 * * *	Geringes Volumen, Batchverarbeitung
  Täglich	0 0 * * *	Erhebung von Verlaufsdaten

Integration testen

1. Suchen Sie in der Cloud Scheduler-Konsole nach Ihrem Job (cisco-aci-collector-15m).
2. Klicken Sie auf Force run (Ausführung erzwingen), um den Job manuell auszulösen.
3. Warten Sie einige Sekunden.
4. Rufen Sie Cloud Run > Dienste auf.
5. Klicken Sie auf den Namen Ihrer Funktion (cisco-aci-collector).
6. Klicken Sie auf den Tab Logs.

7. Prüfen Sie, ob die Funktion erfolgreich ausgeführt wurde. Achten Sie auf Folgendes:

   Starting Cisco ACI data collection for bucket: cisco-aci-logs
   Successfully authenticated to APIC
   Collecting faultInst data
   Collected X faultInst records
   Collecting eventRecord data
   Collected X eventRecord records
   Collecting aaaModLR data
   Collected X aaaModLR records
   Total records collected: X
   Uploaded X records to gs://cisco-aci-logs/cisco-aci-events/cisco_aci_events_YYYYMMDD_HHMMSS.ndjson
   Successfully processed X records
   

8. Rufen Sie Cloud Storage > Buckets auf.

9. Klicken Sie auf den Namen Ihres Buckets (cisco-aci-logs).

10. Rufen Sie den Präfixordner (cisco-aci-events/) auf.

11. Prüfen Sie, ob eine neue .ndjson-Datei mit dem aktuellen Zeitstempel erstellt wurde.

Wenn in den Logs Fehler angezeigt werden, gehen Sie so vor:

• HTTP 401: APIC-Anmeldedaten in Umgebungsvariablen prüfen
• HTTP 403: Prüfen Sie, ob das APIC-Konto Leseberechtigungen für die Klassen faultInst, eventRecord und aaaModLR hat.
• Verbindungsfehler: Prüfen Sie, ob die Cloud Run-Funktion die APIC-URL über TCP/443 erreichen kann.
• Fehlende Umgebungsvariablen: Prüfen Sie, ob alle erforderlichen Variablen festgelegt sind.

Google SecOps-Dienstkonto abrufen

Google SecOps verwendet ein eindeutiges Dienstkonto, um Daten aus Ihrem GCS-Bucket zu lesen. Sie müssen diesem Dienstkonto Zugriff auf Ihren Bucket gewähren.

E-Mail-Adresse des Dienstkontos abrufen

1. Rufen Sie die SIEM-Einstellungen > Feeds auf.
2. Klicken Sie auf Neuen Feed hinzufügen.
3. Klicken Sie auf Einzelnen Feed konfigurieren.
4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Cisco ACI JSON logs.
5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
6. Wählen Sie Cisco Application Centric Infrastructure als Logtyp aus.

7. Klicken Sie auf Dienstkonto abrufen. Es wird eine eindeutige E-Mail-Adresse für das Dienstkonto angezeigt, z. B.:

   [e-mail]
   

8. Kopieren Sie diese E-Mail-Adresse. Sie verwenden es in der nächsten Aufgabe.

Hinweis :Jede Google SecOps-Instanz hat ein eindeutiges Dienstkonto. Verwenden Sie keine Dienstkonten aus anderer Dokumentation oder anderen Beispielen.

Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren

Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren GCS-Bucket.

1. Rufen Sie Cloud Storage > Buckets auf.
2. Klicken Sie auf den Namen Ihres Buckets (cisco-aci-logs).
3. Wechseln Sie zum Tab Berechtigungen.
4. Klicken Sie auf Zugriff erlauben.
5. Geben Sie die folgenden Konfigurationsdetails an:
   • Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
   • Rollen zuweisen: Wählen Sie Storage-Objekt-Betrachter aus.
6. Klicken Sie auf Speichern.

Hinweis: Wenn Sie die Löschoption „Übertragene Dateien löschen“ oder „Übertragene Dateien und leere Verzeichnisse löschen“ verwenden möchten, weisen Sie die Rolle Storage-Objekt-Administrator anstelle von „Storage-Objekt-Betrachter“ zu.

Feed in Google SecOps konfigurieren, um Cisco ACI-Logs aufzunehmen

1. Rufen Sie die SIEM-Einstellungen > Feeds auf.
2. Klicken Sie auf Neuen Feed hinzufügen.
3. Klicken Sie auf Einzelnen Feed konfigurieren.
4. Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B. Cisco ACI JSON logs.
5. Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
6. Wählen Sie Cisco Application Centric Infrastructure als Logtyp aus.
7. Klicken Sie auf Weiter.

8. Geben Sie Werte für die folgenden Eingabeparameter an:

   • Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:

     gs://cisco-aci-logs/cisco-aci-events/
     

     • Ersetzen Sie:
       • cisco-aci-logs: Der Name Ihres GCS-Buckets.
       • cisco-aci-events: Präfix/Ordnerpfad, in dem Logs gespeichert werden.
   Hinweis :Fügen Sie immer den Schrägstrich (/) am Ende des URI ein.

   • Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:

     • Nie: Es werden nach Übertragungen nie Dateien gelöscht (empfohlen für Tests).
     • Übertragene Dateien löschen: Dateien werden nach der erfolgreichen Übertragung gelöscht.
     • Übertragene Dateien und leere Verzeichnisse löschen: Löscht Dateien und leere Verzeichnisse nach der erfolgreichen Übertragung.
     Hinweis :Wenn Sie eine Löschoption auswählen, muss das Dienstkonto die Rolle Storage-Objekt-Administrator anstelle von „Storage-Objekt-Betrachter“ haben. Aktualisieren Sie die IAM-Berechtigungen entsprechend.

   • Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden. Der Standardwert ist 180 Tage.

   • Asset-Namespace: Der Asset-Namespace.

   • Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet wird.

9. Klicken Sie auf Weiter.

10. Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.

UDM-Zuordnungstabelle

Logfeld	UDM-Zuordnung	Logik
@timestamp	read_only_udm.metadata.event_timestamp	Der Wert wird aus dem Rohlogfeld „@timestamp“ übernommen und als Zeitstempel geparst.
aci_tag	read_only_udm.metadata.product_log_id	Der Wert wird aus dem Rohlogfeld „aci_tag“ übernommen.
cisco_timestamp	-	Nicht zugeordnet.
DIP	read_only_udm.target.ip	Der Wert wird aus dem Rohlogfeld „DIP“ übernommen.
DPort	read_only_udm.target.port	Der Wert wird aus dem Rohlogfeld „DPort“ übernommen und in eine Ganzzahl konvertiert.
Beschreibung	read_only_udm.security_result.description	Der Wert wird aus dem Rohlogfeld „description“ übernommen.
fault_cause	read_only_udm.additional.fields.value.string_value	Der Wert wird aus dem Rohlogfeld „fault_cause“ übernommen. Der Schlüssel ist auf „Fault Cause“ (Fehlerursache) festgelegt.
Hostname	read_only_udm.principal.hostname	Der Wert wird aus dem Rohlogfeld „hostname“ übernommen.
lifecycle_state	read_only_udm.metadata.product_event_type	Der Wert wird aus dem Rohlogfeld „lifecycle_state“ übernommen.
log.source.address	-	Nicht zugeordnet.
logstash.collect.host	-	Nicht zugeordnet.
logstash.collect.timestamp	read_only_udm.metadata.collected_timestamp	Der Wert wird aus dem Rohlogfeld „logstash.collect.timestamp“ übernommen und als Zeitstempel geparst.
logstash.ingest.host	read_only_udm.intermediary.hostname	Der Wert wird aus dem Rohlogfeld „logstash.ingest.host“ übernommen.
logstash.irm_environment	read_only_udm.additional.fields.value.string_value	Der Wert wird aus dem Rohlogfeld „logstash.irm_environment“ übernommen. Der Schlüssel ist auf „IRM_Environment“ festgelegt.
logstash.irm_region	read_only_udm.additional.fields.value.string_value	Der Wert wird aus dem Rohlogfeld „logstash.irm_region“ übernommen. Der Schlüssel ist auf „IRM_Region“ festgelegt.
logstash.irm_site	read_only_udm.additional.fields.value.string_value	Der Wert wird aus dem Rohlogfeld „logstash.irm_site“ übernommen. Der Schlüssel ist auf „IRM_Site“ festgelegt.
logstash.process.host	read_only_udm.intermediary.hostname	Der Wert wird aus dem Rohlogfeld „logstash.process.host“ übernommen.
Nachricht	-	Nicht zugeordnet.
message_class	-	Nicht zugeordnet.
message_code	-	Nicht zugeordnet.
message_content	-	Nicht zugeordnet.
message_dn	-	Nicht zugeordnet.
message_type	read_only_udm.metadata.product_event_type	Der Wert wird aus dem Rohlogfeld „message_type“ übernommen, nachdem die eckigen Klammern entfernt wurden.
node_link	read_only_udm.principal.process.file.full_path	Der Wert wird aus dem Rohlogfeld „node_link“ übernommen.
PktLen	read_only_udm.network.received_bytes	Der Wert wird aus dem Rohlogfeld „PktLen“ übernommen und in eine vorzeichenlose Ganzzahl umgewandelt.
Programm	-	Nicht zugeordnet.
Proto	read_only_udm.network.ip_protocol	Der Wert wird aus dem Rohlogfeld „Proto“ übernommen, in eine Ganzzahl umgewandelt und dem entsprechenden IP-Protokollnamen zugeordnet (z.B. 6 -> TCP).
SIP	read_only_udm.principal.ip	Der Wert wird aus dem Rohlogfeld „SIP“ übernommen.
SPort	read_only_udm.principal.port	Der Wert wird aus dem Rohlogfeld „SPort“ übernommen und in eine Ganzzahl konvertiert.
syslog_facility	-	Nicht zugeordnet.
syslog_facility_code	-	Nicht zugeordnet.
syslog_host	read_only_udm.principal.ip, read_only_udm.observer.ip	Der Wert wird aus dem Rohlogfeld „syslog_host“ übernommen.
syslog_prog	-	Nicht zugeordnet.
syslog_severity	read_only_udm.security_result.severity_details	Der Wert wird aus dem Rohlogfeld „syslog_severity“ übernommen.
syslog_severity_code	read_only_udm.security_result.severity	Der Wert wird aus dem Rohlogfeld „syslog_severity_code“ übernommen und der entsprechenden Schweregradstufe zugeordnet: 5, 6, 7 –> INFORMATIONAL; 3, 4 –> MEDIUM; 0, 1, 2 –> HIGH.
syslog5424_pri	-	Nicht zugeordnet.
VLAN-ID	read_only_udm.principal.resource.id	Der Wert wird aus dem Rohlogfeld „Vlan-Id“ übernommen.
-	read_only_udm.metadata.event_type	Logik: Wenn „SIP“ oder „hostname“ und „Proto“ vorhanden sind, wird der Wert auf „NETWORK_CONNECTION“ festgelegt. Andernfalls, wenn „SIP“, „hostname“ oder „syslog_host“ vorhanden ist, auf „STATUS_UPDATE“ setzen. Andernfalls auf „GENERIC_EVENT“ setzen.
-	read_only_udm.metadata.log_type	Logik: Auf „CISCO_ACI“ festgelegt.
-	read_only_udm.metadata.vendor_name	Logik: Auf „Cisco“ festgelegt.
-	read_only_udm.metadata.product_name	Logik: Auf „ACI“ festgelegt.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten