Erweiterten BigQuery-Export verwenden

Unterstützt in:

Google SecOps

Hinweis: Dieses Feature unterliegt den Bedingungen des Pre-GA-Angebots in den dienstspezifischen Nutzungsbedingungen für Google Security Operations. Pre-GA-Features werden eventuell nur eingeschränkt unterstützt und Änderungen an diesen Features sind möglicherweise nicht mit anderen Pre-GA-Versionen kompatibel. Weitere Informationen finden Sie in den Richtlinien für den technischen Support von Google SecOps und den dienstspezifischen Nutzungsbedingungen für Google SecOps.

In diesem Dokument wird beschrieben, wie Sie mit der Funktion Erweiterter BigQuery-Export auf Ihre Google SecOps-Daten in BigQuery zugreifen und sie verwenden können. Als Enterprise Plus-Kunde können Sie mit dieser Funktion über eine vollständig verwaltete Streamingdatenpipeline nahezu in Echtzeit auf Ihre Sicherheitsdaten zugreifen. Diese Funktion kann dazu beitragen, das kritische Problem der Datenlatenz im Sicherheitsbetrieb zu beheben und zu einer rechtzeitigeren und effektiveren Erkennung und Reaktion auf Bedrohungen zu führen.

Hinweise

Wir empfehlen Ihnen, sich die folgenden Punkte anzusehen, in denen die Teilnahmevoraussetzungen und erforderlichen Maßnahmen beschrieben werden:

• Nur für Enterprise Plus-Kunden: Diese Funktion ist nur für Google SecOps Enterprise Plus-Kunden verfügbar. Alle anderen Kunden finden Informationen unter Datenexport nach BigQuery in einem selbstverwalteten Google Cloud Projekt konfigurieren.

• Funktionsaktivierung erforderlich: Diese Funktion wird auf Anfrage aktiviert und erfordert möglicherweise eine Erstkonfiguration in der Google SecOps-Instanz Ihrer Organisation. Wenden Sie sich bei Bedarf an Ihren Google SecOps-Ansprechpartner, um die Aktivierung der Funktion zu bestätigen.

• Migrationshinweis: Wenn Sie diese Funktion aktivieren, wird die ältere Methode überschrieben, die unter Google SecOps-Daten in BigQuery beschrieben wird. Während der Migration zu Advanced BigQuery Export bleibt Ihre alte Pipeline für einen Übergangszeitraum aktiv. Diese doppelte Funktionsweise soll den Übergang zur neuen Funktion ohne Unterbrechung ermöglichen. Sie werden benachrichtigt, bevor die alte Exportpipeline für Ihr Konto deaktiviert wird.

Funktionsübersicht

Mit dem erweiterten BigQuery-Export werden wichtige Google SecOps-Datasets, einschließlich UDM-Ereignisse (Unified Data Model), Regelerkennungen und IoC-Übereinstimmungen (Indicator of Compromise), automatisch in einem sicheren, von Google verwalteten BigQuery-Projekt bereitgestellt und verwaltet. Sie erhalten sicheren, schreibgeschützten Zugriff auf diese Daten über ein verknüpftes BigQuery-Dataset, das direkt in Ihrem eigenen Google Cloud -Projekt angezeigt wird. Mit dieser Funktion können Sie Ihre Sicherheitsdaten abfragen, als wären sie lokal gespeichert, ohne dass Sie die Datenpipeline oder den Speicher verwalten müssen.

Google SecOps exportiert die folgenden Kategorien von Sicherheitsdaten nach BigQuery:

• UDM-Ereignisdatensätze: UDM-Datensätze, die aus Logdaten erstellt wurden, die von Kunden aufgenommen wurden. Diese Datensätze werden mit Aliasinformationen angereichert.
• Regelabgleich (Erkennungen): Instanzen, in denen eine Regel mit einem oder mehreren Ereignissen übereinstimmt.
• IoC-Übereinstimmungen: Artefakte (z. B. Domains oder IP-Adressen) aus Ereignissen, die mit IoC-Feeds übereinstimmen. Dazu gehören Übereinstimmungen mit und aus globalen Feeds und kundenspezifischen Feeds.
• Messwerte für die Aufnahme: Statistiken wie die Anzahl der aufgenommenen Logzeilen, die Anzahl der aus Logs erstellten Ereignisse und die Anzahl der Logfehler, die darauf hinweisen, dass Logs nicht geparst werden konnten.
• Entitätsdiagramm und Entitätsbeziehungen: Die Beschreibung von Entitäten und ihren Beziehungen zu anderen Entitäten.

Hauptvorteile

Die wichtigsten Vorteile von Advanced BigQuery Export:

• Datenaktualität nahezu in Echtzeit: Dank einer Streamingarchitektur sind Ihre Sicherheitsdaten innerhalb weniger Minuten nach der Aufnahme für Abfragen verfügbar. UDM-Ereignisse, Regelerkennungen und IoC-Abgleiche sind mit einer erwarteten Latenz von 5 bis 10 Minuten verfügbar.
• Vereinfachtes und vorhersehbares Kostenmodell: Google SecOps deckt alle Kosten für die Datenaufnahme und ‑speicherung im verwalteten BigQuery-Projekt ab. Ihre Organisation ist nur für die BigQuery-Analysegebühren verantwortlich, die anfallen, wenn Sie Abfragen ausführen.
• Datenzugriff ohne Wartung: Die zugrunde liegende Infrastruktur wird vollständig von Google verwaltet. So kann sich Ihr Team auf die Datenanalyse statt auf die Datenaufbereitung konzentrieren.

Typische Anwendungsfälle

Der erweiterte BigQuery-Export ist für Sicherheitsanalysten, Threat Hunter, Data Scientists und Sicherheitstechniker konzipiert, die direkten, leistungsstarken Zugriff auf aktuelle Sicherheitsdaten für Ad-hoc-Untersuchungen, benutzerdefinierte Analysen und die Integration in Business Intelligence-Tools benötigen.

Typische Anwendungsfälle für den erweiterten BigQuery-Export sind:

• Ad-hoc-Abfragen direkt in BigQuery ausführen
• Sie können Ihre eigenen Business Intelligence-Tools wie Microsoft Power BI verwenden, um Dashboards, Berichte und Analysen zu erstellen.
• Google SecOps-Daten mit Drittanbieter-Datasets zusammenführen

Architektur

Die Architektur des erweiterten BigQuery-Exports verwendet eine kontinuierliche Streaming-Pipeline. Daten aus Ihrer Google SecOps-Instanz werden mithilfe der BigQuery Storage Write API mit hohem Durchsatz in ein sicheres, von Google verwaltetes Mandantenprojekt übertragen.

Google SecOps verwendet BigQuery-Freigabe, um einen sicheren Dateneintrag zu erstellen und Ihnen Zugriff zu gewähren. In Ihrem BigQuery-Bereich Explorer ist Ihr Google Cloud Projekt automatisch für dieses Angebot abonniert. Es wird als verknüpftes Dataset secops_linked_data angezeigt.

Dieses Modell unterstützt eine starke Datenisolation und bietet Ihnen gleichzeitig nahtlosen schreibgeschützten Abfragezugriff.

Erweiterten BigQuery-Export verwenden

In diesem Abschnitt wird beschrieben, wie Sie in BigQuery auf Ihre Google SecOps-Daten zugreifen und sie verwenden.

Wichtige Begriffe und Konzepte

Hier sind einige wichtige Begriffe und Konzepte für den erweiterten BigQuery Export:

• Verknüpftes Dataset: Ein schreibgeschütztes BigQuery-Dataset, das als symbolischer Link oder Verweis auf ein freigegebenes Dataset in einem anderen Projekt dient. Sie können Daten abfragen, ohne sie zu kopieren. So wird ein sicherer Zugriff ermöglicht, während der Datenanbieter die physische Speicherung verwaltet.
• BigQuery-Freigabe: Der Google Cloud Dienst, mit dem Organisationen Daten und Analyse-Assets wie BigQuery-Datasets sicher intern und extern freigeben können.
• Mandantenprojekt: Ein Google Cloud Projekt, das Google SecOps gehört und von Google SecOps verwaltet wird. In diesem Projekt werden Ihre exportierten Sicherheitsdaten physisch gespeichert und verwaltet. Sie haben keinen direkten Zugriff auf dieses Projekt.
• Ihr Projekt: Das Google Cloud Projekt, das Ihrer Organisation gehört und mit Ihrer Google SecOps-Instanz verknüpft ist. In diesem Projekt wird das verknüpfte Dataset angezeigt. Hier führen Sie Ihre Abfragen aus und es fallen Analysekosten an.
• Projekt-ID: Die global eindeutige Kennung für Ihr Projekt.
• Einheitliches Datenmodell (Unified Data Model, UDM): Das erweiterbare Standardschema von Google zum Parsen und Normalisieren von Sicherheitstelemetriedaten aus Hunderten von Anbieterprodukten in ein einheitliches Format.

System einrichten

So richten Sie Ihr System für den erweiterten BigQuery-Export ein und beginnen mit dem Abfragen Ihrer Daten:

1. Lizenz bestätigen: Prüfen Sie, ob Ihre Organisation eine Google SecOps Enterprise Plus-Lizenz hat.
2. Projekt ermitteln: Melden Sie sich in der Google Cloud Console an und wählen Sie das Google Cloud Projekt aus, das mit Ihrer Google SecOps-Instanz verknüpft ist.
3. Verknüpftes Dataset suchen: Verwenden Sie in der BigQuery-Konsole den Bereich Explorer, um zu den Ressourcen Ihres Projekts zu navigieren. Sie sehen ein verknüpftes Dataset mit dem Namen secops_linked_data. Dieses Dataset ist ein schreibgeschützter Verweis auf die von Google SecOps verwalteten Live-Sicherheitsdaten.

4. IAM-Berechtigungen (Identity and Access Management) prüfen: Zum Abfragen der Daten muss Ihrem Nutzer- oder Dienstkonto die folgenden IAM-Rollen für Ihr Projekt zugewiesen sein:

   • roles/bigquery.dataViewer
   • roles/bigquery.jobUser

   Mit diesen Rollen können Nutzer (z. B. Sicherheitsanalysten und Datenkonsumenten) Daten im verknüpften Dataset abfragen und BigQuery-Jobs in ihrem Projekt ausführen.

5. Testabfrage ausführen: Öffnen Sie den BigQuery SQL-Arbeitsbereich und führen Sie eine einfache Abfrage aus, um zu prüfen, ob Ihr Zugriff richtig konfiguriert ist. Sie können das folgende Code-Snippet verwenden und PROJECT_ID durch Ihre tatsächliche Google Cloud Projekt-ID ersetzen:

   SELECT *
   FROM `PROJECT_ID.secops_linked_data.events`
   LIMIT 10;
   

BigQuery-Daten abfragen

Sie können Abfragen direkt in BigQuery ausführen oder Ihr eigenes Business-Intelligence-Tool, z. B. Microsoft Power BI, mit BigQuery verbinden.

Weitere Informationen zu Abfragen finden Sie unter:

• Informationen zum Zugriff auf und zum Ausführen von Abfragen in BigQuery finden Sie unter Abfrage ausführen. Dort wird beschrieben, wie Sie eine interaktive Abfrage und eine Batchabfrage ausführen.
• Informationen zum Abfragen partitionierter Tabellen finden Sie unter Partitionierte Tabellen abfragen.

Aufbewahrungszeitraum für Daten in BigQuery

Die Aufbewahrungsdauer für Ihre Daten in BigQuery entspricht der für Ihren Google SecOps-Mandanten konfigurierten Aufbewahrungsdauer. Es gibt keine separate, konfigurierbare Einstellung, mit der Sie die Aufbewahrungsrichtlinie für Daten in BigQuery anpassen können. Daten werden automatisch aus den BigQuery-Tabellen gelöscht, wenn sie älter als der Aufbewahrungszeitraum Ihres Mandanten sind.

Verknüpfte Datasets

Die verknüpften Datasets enthalten mehrere Tabellen, die jeweils einem anderen Typ von Sicherheitsdaten entsprechen.

Hinweis :Das verknüpfte Dataset ist schreibgeschützt. Dies ist eine wichtige Sicherheitsmaßnahme, um die Integrität und Richtigkeit der Daten zu gewährleisten, die ausschließlich von der Pipeline der Google SecOps-Plattform verwaltet werden.

In der folgenden Tabelle finden Sie eine Zusammenfassung der verfügbaren Datasets, der angestrebten Datenaktualität und der Primärschlüssel, die zur Sicherung der Datenintegrität verwendet werden:

Dataset-Name	Beschreibung	Beste erwartete Aktualität	Primärschlüssel für die Deduplizierung
events	Normalisierte Sicherheitsereignisse im UDM-Schema. Informationen zum Schema finden Sie unter Google SecOps-Ereignisschema.	< 5 Minuten	metadata.id (String-Darstellung)
rule_detections	Erkennungen, die von den Regeln der Google SecOps-Erkennungs-Engine generiert werden. Informationen zum Schema finden Sie unter Benachrichtigungen und IoCs in Google SecOps ansehen.	< 5 Minuten	Keine
ioc_matches	IoC-Übereinstimmungen in UDM-Ereignissen. Informationen zum Schema finden Sie unter Benachrichtigungen und IoCs in Google SecOps ansehen.	< 5 Minuten	Keine
entity_graph	Kontextbezogene Daten zu Entitäten (Nutzer, Assets) und ihren Beziehungen. Informationen zum Schema finden Sie unter Ereignis- und Entitätsdaten mit Google SecOps anreichern.	ca. 4 Stunden (Batch)	Keine
ingestion_metrics	Statistiken zum Volumen der Logaufnahme und zu Datenquellen. Informationen zu den Schemas finden Sie unter Schema für Aufnahmemesswerte und Referenz für Aufnahmemesswerte für Looker und BigQuery in Google SecOps.	~ 5 Minuten	Keine (nur Anhängen von Zeitreihen)

Beispielabfragen

Die folgenden Beispiele zeigen, wie Sie die Datasets für gängige Sicherheitsanwendungsfälle abfragen. Ersetzen Sie PROJECT_ID durch Ihre tatsächliche Google Cloud Projekt-ID.

Beispiel: Alle Netzwerkverbindungen von einer bestimmten IP-Adresse in den letzten 24 Stunden finden

Mit dieser Abfrage wird in der Tabelle events nach aktuellen Netzwerkaktivitäten von einer verdächtigen IP-Adresse gesucht.

SELECT
  metadata.product_event_type,
  principal.ip,
  target.ip,
  network.application_protocol
FROM
  `PROJECT_ID.secops_linked_data.events`
WHERE
  principal.ip = '192.0.2.1'
  AND metadata.event_timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR);

Beispiel: Die zehn häufigsten Regel-Erkennungen zählen

Mit dieser Abfrage für die Tabelle rule_detections lassen sich die häufigsten Bedrohungen oder Richtlinienverstöße ermitteln, die in Ihrer Umgebung erkannt werden.

SELECT
  rule_name,
  COUNT(*) AS detection_count
FROM
  `PROJECT_ID.secops_linked_data.rule_detections`
WHERE
  detection.id IS NOT NULL
GROUP BY
  1
ORDER BY
  2 DESC
LIMIT
  10;

Best Practices

Im Folgenden finden Sie einige Best Practices für Abfragen mit dem erweiterten BigQuery-Export:

• Kosten optimieren:Vermeiden Sie SELECT *. Geben Sie in Ihrer Abfrage nur die Spalten an, die Sie benötigen, um die Menge der gescannten Daten zu reduzieren und die Abfragekosten zu senken.
• Partitionsfilter verwenden:Die Tabelle events ist nach der Spalte hour_time_bucket partitioniert. Fügen Sie immer einen WHERE-Klauselfilter für diese Spalte ein, um Abfragen auf den kleinstmöglichen Zeitraum zu beschränken. Dadurch wird die Leistung erheblich verbessert und die Kosten werden gesenkt.
• Effiziente Abfragen schreiben:Das UDM-Schema ist breit und spärlich. Wenn Sie effizient nach bestimmten Ereignistypen filtern möchten, verwenden Sie WHERE... IS NOT NULL für die relevanten Felder. Wenn Sie beispielsweise nur DNS-Abfragen finden möchten, filtern Sie nach WHERE network.dns.questions.name IS NOT NULL.
• Abfragen validieren:Verwenden Sie die Abfragevalidierung in der BigQuery-Benutzeroberfläche, bevor Sie eine Abfrage ausführen. Der Abfragevalidator bietet eine Schätzung der Datenverarbeitung, damit Sie unerwartet große und kostspielige Abfragen vermeiden können.

Bekannte Einschränkungen

Die folgenden Einschränkungen der erweiterten BigQuery-Exportfunktion sind bekannt:

• Latenz des Entity-Graphen:Der entity_graph-Datensatz wird mit einem Batchprozess exportiert und hat eine Datenaktualität von etwa vier Stunden.
• Vom Kunden verwaltete Verschlüsselungsschlüssel (Customer-Managed Encryption Keys, CMEK): Der erweiterte BigQuery-Export ist nicht für Kunden verfügbar, die CMEK für ihre Google SecOps-Instanz aktiviert haben.
• UDM-Schemaspalten:In BigQuery gilt ein Softlimit von 10.000 Spalten pro Tabelle. Das UDM-Schema enthält über 27.000 Felder und ist nur spärlich mit Daten gefüllt. In der Exportpipeline werden nur ausgefüllte Spalten für ein bestimmtes Ereignis berücksichtigt. Die meisten Kunden bleiben so deutlich unter dem Limit. Google SecOps überwacht die Spaltennutzung und fordert proaktiv eine Erhöhung des Limits für Ihr Mandantenprojekt an, wenn es sich diesem Grenzwert nähert.
• Aufbewahrungsrichtlinie:Der Datenaufbewahrungszeitraum für alle Sicherheitsdaten, die nach BigQuery exportiert werden, wird automatisch mit dem Datenaufbewahrungszeitraum Ihres Google SecOps-Projekts synchronisiert und kann nicht separat konfiguriert werden.
• Spät eintreffende Daten:In seltenen Fällen kann es vorkommen, dass Daten, die sehr spät in der Verarbeitungspipeline eintreffen, nicht korrekt zusammengeführt werden. Das System ist so konzipiert, dass dies minimiert wird. Es ist jedoch eine bekannte Eigenschaft von Streaming-Systemen mit hohem Durchsatz, die auf Eventual Consistency basieren.
• Angereicherte Daten:Die Abdeckung ist auf einmalig angereicherte UDM-Ereignisse beschränkt. Neu angereicherte UDM-Ereignisse werden nicht in die BigQuery-Instanz des Mandantenprojekts exportiert.
• Verlaufsdaten:Der Datenexport beginnt ab dem Zeitpunkt, an dem der erweiterte BigQuery-Export aktiviert wird. Ältere Daten bleiben in Ihrem vorhandenen Projekt verfügbar. Wenn Sie Daten abfragen möchten, die vor der Aktivierung des erweiterten BigQuery-Exports exportiert wurden, müssen Sie entweder eine einzelne Abfrage verwenden, mit der Daten aus beiden Projekten zusammengeführt werden, oder zwei separate Abfragen für die jeweiligen Projekte ausführen (eine für das alte und eine für das neue Dataset).

Fehlerbehebung und Support

In der folgenden Tabelle finden Sie Lösungen für häufige Probleme:

Beobachtetes Symptom	Mögliche Ursache	Empfohlene Maßnahmen
Abfragen schlagen mit Access Denied: User does not have permission. fehl	Dem Nutzer- oder Dienstkonto fehlen die erforderlichen BigQuery-IAM-Rollen für das Google Cloud -Projekt, das mit Ihrer Google SecOps-Instanz verknüpft ist.	Gewähren Sie dem Prinzipal die Rollen BigQuery-Datenbetrachter und BigQuery-Jobnutzer. Mit gcloud projects get-iam-policy YOUR_PROJECT_ID --flatten="bindings.members" --format='table(bindings.role)' --filter="bindings.members:user:[e-mail]" bestätigen
Das Dataset secops_linked_data ist in meinem BigQuery-Projekt nicht sichtbar.	1. Sie befinden sich nicht im richtigen Google Cloud Projekt. 2. Ihre Organisation nutzt nicht die Enterprise Plus-Version. 3. Ihre Organisation verwendet die Enterprise Plus-Version, aber der erweiterte BigQuery-Export ist in Ihrer Google SecOps-Instanz nicht aktiviert.	1. Prüfen Sie in der Google Cloud -Konsole, ob Sie das Projekt ausgewählt haben, das mit Ihrer Google SecOps-Instanz verknüpft ist. 2. Wenden Sie sich an Ihren Google-Ansprechpartner, um Ihren Google SecOps-Lizenzierungsgrad zu bestätigen. 3. Wenden Sie sich an Ihren Google SecOps-Ansprechpartner und bitten Sie ihn, den erweiterten BigQuery-Export in Ihrer Google SecOps-Instanz zu aktivieren.
In den Abfrageergebnissen werden scheinbar doppelte Ereignisse angezeigt.	Das kann an Daten liegen, die in einem Stream mit hohem Durchsatz verspätet eintreffen. Das System verwendet die Mindestens einmal-Semantik für die Übermittlung.	Wenn Sie Duplikate vermuten, gruppieren Sie die Abfrage nach den in Datasets aufgeführten Primärschlüsseln, um die Anzahl zu ermitteln.

Benötigen Sie weitere Hilfe? Antworten von Community-Mitgliedern und Google SecOps-Experten erhalten