Google App Engine-Logs erfassen
Parserversion: 3.0
In diesem Dokument wird beschrieben, wie Sie Google App Engine-Logs mit Google Cloud Storage V2 in Google Security Operations aufnehmen.
Google App Engine ist eine vollständig verwaltete, serverlose Plattform zum Erstellen und Bereitstellen von Webanwendungen und APIs. App Engine generiert automatisch Anfragelogs für HTTP-Anfragen und Anwendungslogs aus Ihrem Code. Diese Logs werden an Cloud Logging gesendet und können zur Aufnahme in Google Security Operations nach Cloud Storage exportiert werden.
Hinweis
Folgende Voraussetzungen müssen erfüllt sein:
- Eine Google SecOps-Instanz
- Ein GCP-Projekt mit aktivierter Cloud Storage API
- Berechtigungen zum Erstellen und Verwalten von GCS-Buckets
- Berechtigungen zum Verwalten von IAM-Richtlinien für GCS-Buckets
- Berechtigungen zum Erstellen von Cloud Logging-Senken (roles/logging.configWriter)
- Eine aktive App Engine-Anwendung (Standard- oder flexible Umgebung)
Google Cloud Storage-Bucket erstellen
- Gehen Sie zur Google Cloud Console.
- Wählen Sie Ihr Projekt aus oder erstellen Sie ein neues.
- Rufen Sie im Navigationsmenü Cloud Storage > Buckets auf.
- Klicken Sie auf Bucket erstellen.
Geben Sie die folgenden Konfigurationsdetails an:
Einstellung Wert Bucket benennen Geben Sie einen global eindeutigen Namen ein (z. B. appengine-logs-export).Standorttyp Wählen Sie die Option, die am besten zu Ihren Anforderungen passt (Region, Dual-Region, Multi-Region). Standort Wählen Sie den Standort aus (z. B. us-central1).Speicherklasse Standard (empfohlen für Logs, auf die häufig zugegriffen wird) Zugriffssteuerung Einheitlich (empfohlen) Schutztools Optional: Objektversionsverwaltung oder Aufbewahrungsrichtlinie aktivieren Klicken Sie auf Erstellen.
Cloud Logging so konfigurieren, dass App Engine-Logs in GCS exportiert werden
Cloud Logging verwendet Logsenken, um Logeinträge an unterstützte Ziele weiterzuleiten, einschließlich Cloud Storage-Buckets. Die Schreibidentität der Senke benötigt die Rolle „Storage-Objekt-Ersteller“ (roles/storage.objectCreator) für den Ziel-Bucket.
Cloud Logging-Senke erstellen
- Rufen Sie in der Google Cloud Console Logging > Log-Router auf.
- Klicken Sie auf Senke erstellen.
- Geben Sie die folgenden Konfigurationsdetails an:
- Name der Senke: Geben Sie einen aussagekräftigen Namen ein (z. B.
appengine-to-gcs). - Beschreibung der Senke: Optionale Beschreibung.
- Name der Senke: Geben Sie einen aussagekräftigen Namen ein (z. B.
- Klicken Sie auf Weiter.
- Gehen Sie im Bereich Senkendienst auswählen so vor:
- Senkendienst: Wählen Sie Cloud Storage-Bucket aus.
- Cloud Storage-Bucket auswählen: Wählen Sie
appengine-logs-exportaus dem Drop-down-Menü aus.
- Klicken Sie auf Weiter.
Geben Sie im Abschnitt Logs auswählen, die in der Senke enthalten sind eine Filterabfrage ein, um App Engine-Logs auszuwählen. Der Ressourcentyp muss genau „gae_app“ sein.
Für alle App Engine-Logs (Anfrage- und Anwendungslogs):
resource.type="gae_app"Nur für App Engine-Anfragelogs:
resource.type="gae_app" logName="projects/PROJECT_ID/logs/appengine.googleapis.com/request_log"Für App Engine-Anwendungslogs (stdout/stderr):
resource.type="gae_app" (logName="projects/PROJECT_ID/logs/stdout" OR logName="projects/PROJECT_ID/logs/stderr")Ersetzen Sie
PROJECT_IDdurch Ihre GCP-Projekt-ID.Klicken Sie auf Weiter.
Überprüfen Sie die Konfiguration und klicken Sie auf Senke erstellen.
Berechtigungen für die Autorenidentität der Senke gewähren
Nachdem Sie die Senke erstellt haben, müssen Sie der Autorenidentität der Senke die Rolle „Storage-Objekt-Ersteller“ für den Ziel-Bucket zuweisen. Die Writer-Identität für das Dienstkonto sieht in etwa so aus: serviceAccount:service-123456789012@gcp-sa-logging.iam.gserviceaccount.com
- Suchen Sie auf der Seite Log Router die neu erstellte Senke.
- Klicken Sie neben dem Namen der Senke auf das Dreipunkt-Menü.
- Wählen Sie Senkendetails aufrufen aus.
- Kopieren Sie die Writer-Identität (E‑Mail-Adresse des Dienstkontos).
- Rufen Sie Cloud Storage > Buckets auf.
- Klicken Sie auf den Bucket-Namen (
appengine-logs-export). - Wechseln Sie zum Tab Berechtigungen.
- Klicken Sie auf Zugriff erlauben.
- Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Fügen Sie die Schreibidentität der Senke (E-Mail-Adresse des Dienstkontos) ein.
- Rollen zuweisen: Wählen Sie Storage Object Creator aus.
- Klicken Sie auf Speichern.
Google SecOps-Dienstkonto abrufen
Google SecOps verwendet ein eindeutiges Dienstkonto, um Daten aus Ihrem GCS-Bucket zu lesen. Sie müssen diesem Dienstkonto Zugriff auf Ihren Bucket gewähren.
Feed in Google SecOps konfigurieren, um App Engine-Logs aufzunehmen
- Rufen Sie die Einstellungen > Datenverwaltung > Feeds auf. Wenn Sie eine reine SIEM-Plattform verwenden, rufen Sie die Einstellungen > Feeds auf.
- Klicken Sie auf Neuen Feed hinzufügen.
- Klicken Sie auf Einzelnen Feed konfigurieren.
- Geben Sie im Feld Feedname einen Namen für den Feed ein, z. B.
App Engine Logs. - Wählen Sie Google Cloud Storage V2 als Quelltyp aus.
Wählen Sie GCP_APP_ENGINE als Logtyp aus.
Klicken Sie auf Dienstkonto abrufen.
Eine eindeutige E-Mail-Adresse für das Dienstkonto wird angezeigt, z. B.:
chronicle-12345678@chronicle-gcp-prod.iam.gserviceaccount.comKopieren Sie diese E-Mail-Adresse. Sie verwenden es in der nächsten Aufgabe.
Klicken Sie auf Weiter.
Geben Sie Werte für die folgenden Eingabeparameter an:
Storage-Bucket-URL: Geben Sie den GCS-Bucket-URI mit dem Präfixpfad ein:
gs://appengine-logs-export/In Cloud Logging werden exportierte Logdateien in Verzeichnishierarchien nach Logtyp und Datum organisiert. Der Logtyp kann ein zusammengesetzter Name wie appengine.googleapis.com/request_log sein. Die Dateien werden fragmentiert und mit Zeiträumen benannt (z. B. 08:00:00_08:59:59_S0.json).
Option zum Löschen der Quelle: Wählen Sie die gewünschte Löschoption aus:
- Nie: Nach Übertragungen werden keine Dateien gelöscht (empfohlen für Tests).
- Übertragene Dateien löschen: Dateien werden nach erfolgreicher Übertragung gelöscht.
- Übertragene Dateien und leere Verzeichnisse löschen: Dateien und leere Verzeichnisse werden nach erfolgreicher Übertragung gelöscht.
Maximales Dateialter: Dateien einschließen, die in den letzten Tagen geändert wurden. Der Standardwert ist 180 Tage.
Asset-Namespace: Der Asset-Namespace.
Aufnahmelabels: Das Label, das auf die Ereignisse aus diesem Feed angewendet werden soll.
Klicken Sie auf Weiter.
Prüfen Sie die neue Feedkonfiguration auf dem Bildschirm Abschließen und klicken Sie dann auf Senden.
Dem Google SecOps-Dienstkonto IAM-Berechtigungen gewähren
Das Google SecOps-Dienstkonto benötigt die Rolle Storage-Objekt-Betrachter für Ihren GCS-Bucket.
- Rufen Sie Cloud Storage > Buckets auf.
- Klicken Sie auf den Bucket-Namen (
appengine-logs-export). - Wechseln Sie zum Tab Berechtigungen.
- Klicken Sie auf Zugriff erlauben.
- Geben Sie die folgenden Konfigurationsdetails an:
- Hauptkonten hinzufügen: Fügen Sie die E‑Mail-Adresse des Google SecOps-Dienstkontos ein.
- Rollen zuweisen: Wählen Sie Storage Object Viewer aus.
Klicken Sie auf Speichern.
Informationen zur App Engine-Logstruktur
App Engine sendet automatisch sowohl die Anfrage- als auch die Anwendungslogs an Cloud Logging. App Engine gibt automatisch Logs für Anfragen aus, die an Ihre Anwendung gesendet werden, sodass Sie keine Anfragelogs schreiben müssen. In diesem Abschnitt wird beschrieben, wie Anwendungslogs geschrieben werden.
App Engine-Anfragelogs enthalten Logeinträge mit protoPayload-Feldern, die Objekte vom Typ RequestLog mit @type „type.googleapis.com/google.appengine.logging.v1.RequestLog“ enthalten. Der Ressourcentyp ist „gae_app“.
Standardmäßig ist die Lognutzlast ein Textstring, der im Feld „textPayload“ des Logeintrags gespeichert wird. Die Strings werden im Log-Explorer als Nachrichten angezeigt und sind mit dem App Engine-Dienst sowie mit der Version verknüpft, mit der sie ausgegeben wurden.
Wenn Sie strukturierte Logs schreiben möchten, schreiben Sie Logs in Form einer einzelnen, serialisierten JSON-Zeile. Wenn Sie ein strukturiertes Log als JSON-Wörterbuch erstellen, werden bestimmte Felder aus „jsonPayload“ entfernt und in das entsprechende Feld im erstellten LogEntry geschrieben. Wenn Ihre JSON-Datei beispielsweise das Attribut „severity“ enthält, wird es aus „jsonPayload“ entfernt und stattdessen als Schweregrad des Logeintrags angezeigt.
Bekannte Einschränkungen
Wenn Sie Logs von der Logsenke nach Cloud Storage weiterleiten, enthält das Cloud Storage-Ziel nur Anfragelogs. App Engine schreibt Anwendungslogs in verschiedene Ordner.
Weitergeleitete Log-Einträge werden stündlich in Batches in Cloud Storage-Buckets gespeichert. Es kann zwei bis drei Stunden dauern, bis die ersten Einträge angezeigt werden.
In der flexiblen App Engine-Umgebung funktioniert das Logging automatisch. Allerdings erfolgt die Erfassung der Logs in einem unterschiedlichen Format. Logs werden nicht nach Anfragen gebündelt und Logs von stdout und stderr werden separat erfasst.
UDM-Zuordnungstabelle
| Logfeld | UDM-Zuordnung | Logik |
|---|---|---|
| jsonPayload.logger, taskTypeName, jsonPayload.@type, jsonPayload.backendTargetProjectNumber, jsonPayload.cacheDecision, resource.labels.version_id, resource.labels.module_id, logName, spanId, trace, protoPayload.@type, labels.clone_id, operation.producer | additional.fields | Zusammengeführt mit Schlüssel/Wert-Labels, die aus jedem Feld erstellt wurden |
| Metadaten | Metadaten | Umbenannt aus Metadaten |
| receiveTimestamp | metadata.collected_timestamp | Mit Datumsfilter mit RFC 3339 geparst |
| metadata.event_type | Auf „USER_LOGIN“ gesetzt, wenn „has_principal“, „has_target“, „has_principal_user“; „NETWORK_CONNECTION“, wenn „has_principal“ und „has_target“; „USER_UNCATEGORIZED“, wenn nicht „has_principal“ und „has_target“; „STATUS_UPDATE“, wenn „has_principal“; „USER_UNCATEGORIZED“, wenn „has_principal_user“; andernfalls „GENERIC_EVENT“ | |
| metadata.extensions.auth.type | Wird auf „AUTHTYPE_UNSPECIFIED“ gesetzt, wenn „has_principal“, „has_target“ oder „has_principal_user“ vorhanden ist. | |
| insertId | metadata.product_log_id | Wert direkt kopiert |
| httpRequest.requestMethod,protoPayload.method | network.http.method | Wert aus httpRequest.requestMethod, falls nicht leer, andernfalls protoPayload.method |
| httpRequest.userAgent | network.http.parsed_user_agent | In „parseduseragent“ konvertiert |
| httpRequest.status | network.http.response_code | In String und dann in Ganzzahl konvertiert |
| httpRequest.userAgent | network.http.user_agent | Wert direkt kopiert |
| httpRequest.responseSize | network.received_bytes | In uinteger umgewandelt |
| httpRequest.requestSize | network.sent_bytes | In uinteger umgewandelt |
| Prinzipal | Prinzipal | Umbenannt von „principal“, wenn nicht leer |
| protoPayload.host | principal.asset.hostname | Wert direkt kopiert |
| httpRequest.serverIp, protoPayload.ip | principal.asset.ip | Zusammengeführt mit server_ip aus httpRequest.serverIp oder protoPayload.ip |
| protoPayload.host | principal.hostname | Wert direkt kopiert |
| httpRequest.serverIp, protoPayload.ip | principal.ip | Zusammengeführt mit server_ip aus httpRequest.serverIp oder protoPayload.ip |
| protoPayload.appId | principal.resource.attribute.labels | Zusammengeführt mit appId_label, das den Schlüssel „appId“ und den Wert aus dem Feld enthält |
| requestUser | principal.user.email_addresses | Wird mit requestUser zusammengeführt, wenn es dem E-Mail-Muster entspricht |
| security_result | security_result | Aus security_result zusammengeführt |
| resource.labels.forwarding_rule_name | security_result.rule_labels | Zusammengeführt mit „rule_label“ mit dem Schlüssel „forwarding_rule_name“ und dem Wert aus dem Feld |
| die Ausprägung | security_result.severity | Wird auf „Schweregrad“ gesetzt, wenn (?i)ERROR|CRITICAL übereinstimmt, auf „INFORMATIONAL“, wenn (?i)INFO übereinstimmt, auf „MEDIUM“, wenn (?i)WARN übereinstimmt, auf „LOW“, wenn (?i)DEBUG übereinstimmt, andernfalls auf „UNKNOWN_SEVERITY“ |
| jsonPayload.statusDetails | security_result.summary | Wert direkt kopiert |
| Ziel | Ziel | Umbenannt aus dem Ziel, wenn nicht leer |
| resource.labels.backend_service_name | target.application | Wert direkt kopiert |
| httpRequest.remoteIp, jsonPayload.remoteIp | target.asset.ip | Zusammengeführt mit remote_ip, extrahiert aus httpRequest.remoteIp oder jsonPayload.remoteIp |
| resource.labels.project_id | target.cloud.project.name | Wert direkt kopiert |
| httpRequest.remoteIp, jsonPayload.remoteIp | target.ip | Zusammengeführt mit remote_ip, extrahiert aus httpRequest.remoteIp oder jsonPayload.remoteIp |
| resource.labels.zone | target.resource.attribute.cloud.availability_zone | Wert direkt kopiert |
| resource.labels.target_proxy_name, resource.labels.url_map_name | target.resource.attribute.labels | Mit Labels aus jeder Quelle zusammengeführt |
| resource.type | target.resource.type | Wert direkt kopiert |
| httpRequest.requestUrl | target.url | Wert direkt kopiert |
| metadata.product_name | Legen Sie diesen Wert auf „GCP_APP_ENGINE“ fest. | |
| metadata.vendor_name | Auf „GCP“ festgelegt | |
protoPayload.requestMetadata.callerIp |
event.idm.read_only_udm.principal.ip |
Aus Änderungsprotokoll zugeordnet |
protoPayload.requestMetadata.callerIp |
event.idm.read_only_udm.principal.asset.ip |
Aus Änderungsprotokoll zugeordnet |
protoPayload.authenticationInfo.principalEmail |
event.idm.read_only_udm.principal.user.email_addresses |
Aus Änderungsprotokoll zugeordnet |
protoPayload.methodName |
event.idm.read_only_udm.metadata.product_event_type |
Aus Änderungsprotokoll zugeordnet |
protoPayload.resourceName |
event.idm.read_only_udm.target.resource.name |
Aus Änderungsprotokoll zugeordnet |
protoPayload.serviceName |
event.idm.read_only_udm.target.application |
Aus Änderungsprotokoll zugeordnet |
protoPayload.resourceLocation.currentLocations |
event.idm.read_only_udm.target.resource.attribute.labels |
Aus Änderungsprotokoll zugeordnet |
protoPayload.authenticationInfo.oauthInfo.oauthClientId |
event.idm.read_only_udm.principal.resource.attribute.labels |
Aus Änderungsprotokoll zugeordnet |
protoPayload.requestMetadata.requestAttributes.time |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
operation.first |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
protoPayload.serviceData.updateService.request.updateMask |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
operation.id |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
protoPayload.authenticationInfo.serviceAccountKeyName |
event.idm.read_only_udm.additional.fields |
Aus Änderungsprotokoll zugeordnet |
protoPayload.authorizationInfo.permission |
event.idm.read_only_udm.security_result.rule_name |
Aus Änderungsprotokoll zugeordnet |
protoPayload.authorizationInfo.permissionType |
event.idm.read_only_udm.security_result.description |
Aus Änderungsprotokoll zugeordnet |
protoPayload.authorizationInfo.granted |
event.idm.read_only_udm.security_result.action |
Aus Änderungsprotokoll zugeordnet |
protoPayload.@type" , "labels.clone_id" and "operation.producer |
additional.labels |
Aus Änderungsprotokoll zugeordnet |
Änderungsprotokoll
Änderungsprotokoll für diesen Parser ansehen
Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten