検索で利用できるデータを理解する
このドキュメントでは、エンドツーエンドのデータフローとレイテンシ、これらの要因が最近取り込まれたデータのクエリと分析の可用性にどのように影響するかなど、データ取り込みのライフサイクルについて詳しく説明します。
Google SecOps でデータを取り込んで処理する
このセクションでは、Google SecOps がセキュリティ データを取り込み、処理、分析する方法について説明します。
データの取り込み
データ取り込みパイプラインは、次のようなソースから未加工のセキュリティ データを収集することから始まります。
- 内部システムのセキュリティ ログ
- Cloud Storage に格納されるデータ
- セキュリティ オペレーション センター（SOC）やその他の内部システム
Google SecOps は、安全な取り込み方法のいずれかを使用して、このデータをプラットフォームに取り込みます。
主な取り込み方法は次のとおりです。
直接 Google Cloud 取り込み
Google SecOps は、直接取り込み Google Cloud を使用して、Cloud Logging、Cloud Asset Inventory のメタデータ、Security Command Center Premium の検出結果など、組織の Google Cloudからログとテレメトリー データを自動的に取得します。
取り込み API
公開 REST 取り込み API を使用して、データを Google SecOps に直接送信します。このメソッドは、カスタム統合や、非構造化ログまたは事前フォーマットされた統合データモデル（UDM）イベントとしてデータを送信する場合に使用します。
Bindplane エージェント
汎用性の高い Bindplane エージェントを環境（オンプレミスまたは他のクラウド）にデプロイして、さまざまなソースからログを収集し、Google SecOps に転送できます。
データフィード
Google SecOps で、特定のサードパーティ クラウド ストレージ バケット（Amazon S3 など）やサードパーティ API（Okta や Microsoft 365 など）などのサードパーティ ソースからログをプルするようにデータフィードを構成します。
正規化とデータ拡充
データが Google SecOps に到着すると、プラットフォームは次のステージでデータを処理します。
解析と正規化
パーサーは、まず未加工のログデータを処理して、元の形式のデータを検証、抽出、変換し、標準化された UDM にします。解析と正規化により、一貫性のある単一のスキーマを使用して、異なるデータソース（ファイアウォール ログ、エンドポイント データ、クラウドログなど）を分析できます。元の未加工ログは、UDM イベントとともに保存されます。
インデックス登録
正規化後、Google SecOps は UDM データをインデックスに登録し、大規模なデータセット全体で高速なクエリ速度を実現して、UDM イベントを検索可能にします。
UDM のエイリアスと拡充
- Google SecOps は、UDM エイリアスと拡充を実行して、ログエンティティのコンテキスト データと指標を特定して追加することで、UDM イベントに貴重なコンテキストを追加します。たとえば、ユーザーの
login nameをさまざまなIP addresses、hostnames、MAC addressesに接続します。 - 位置情報: Google SecOps は、位置情報データを使用して IP アドレスを拡充します。
- Google SecOps は、UDM エイリアスと拡充を実行して、ログエンティティのコンテキスト データと指標を特定して追加することで、UDM イベントに貴重なコンテキストを追加します。たとえば、ユーザーの
心電図のエンリッチメント
Google SecOps は、複数のソース（IdP、CMDB、脅威インテリジェンスなど）のコンテキストを統合して、エンティティ コンテキスト グラフに統合されたエンティティ プロファイルを作成する ECG エイリアスを実行します。
脅威インテリジェンス: Google SecOps は、Google Threat Intelligence や Safe Browsing などのソースを含む Google の広範な脅威インテリジェンスとイベントデータを自動的に比較して、
domains、IP addresses、file hashesなどの既知の悪意のある脅威を特定します。WHOIS: Google SecOps は、ドメイン名を公開登録の WHOIS 情報で拡充します。
分析に使用できるデータ
処理と拡充が完了した UDM データは、すぐに分析に使用できます。
リアルタイム検出
Detection Engine は、ライブルールが有効になっているカスタムルールと Google 組み込みルールをライブの受信データに対して自動的に実行し、脅威を特定してアラートを生成します。
検索と調査
アナリストは、検索メソッドを使用して、この正規化および拡充されたすべてのデータを検索できます。たとえば、UDM 検索を使用して、関連するエンティティ（
userからasset、悪意のあるdomainなど）をピボットし、アラートを調査します。
検索方法
Google SecOps には、データを検索するためのいくつかの異なる方法が用意されています。それぞれ目的が異なります。
UDM 検索
UDM 検索は、ほとんどの調査で使用される最も高速なプライマリ検索方法です。
- 検索対象: 正規化され、インデックス登録された UDM イベントをクエリします。すべてのデータがこの標準形式に解析されるため、1 つのクエリを作成して、さまざまなプロダクト（Windows、Okta、Linux など）で同じアクティビティ（ログインなど）を見つけることができます。
- 仕組み: 特定の構文を使用して、フィールド、演算子、値をクエリします。
例:
principal.hostname = "win-server" AND target.ip = "10.1.2.3"通常、結果は取り込み後 2 ～ 15 分以内に利用可能になります。
未加工ログ検索
未加工ログ検索を使用して、UDM フィールドにマッピングされていない可能性のある、解析前の元のログメッセージ内の情報を検索します。この検索方法は高速ハンティング用に最適化されており、通常、ファイルハッシュや IP アドレスなどの特定の指標に対して 2 秒以内に結果を返します。
- 検索対象: 解析と正規化の前のログの元の未加工テキストをスキャンします。これは、インデックスに登録されていない UDM フィールドである特定の文字列、コマンドライン引数、その他のアーティファクトを見つける場合に便利です。
- 仕組み:
raw =接頭辞を使用します。インデックス付きフィールドを検索しないため、UDM 検索よりも時間がかかることがあります。 - 例（文字列）:
raw = "PsExec.exe" - 例（正規表現）:
raw = /admin\$/
統計情報の検索
数百万行のデータを集計する長期的な傾向については、統計検索を使用します。プラットフォームで統計分析とグループ化を行う必要があるため、これらのクエリの読み込み時間は長くなります。
自然言語検索（Gemini）
自然言語検索（Gemini）を使用すると、平易な英語で質問できます。Gemini は、この質問を正式な UDM クエリに変換します。
- 検索対象: UDM データをクエリするための会話型インターフェースを提供します。
- 仕組み: 質問を入力すると、Gemini が基盤となる UDM 検索クエリを生成します。このクエリは実行または絞り込みが可能です。
- 例: 「過去 24 時間にユーザー「bob」がログインに失敗したすべての試行を表示して」
SOAR 検索
SOAR 検索は、SOAR コンポーネントに固有のものです。ログのハンティングではなく、セキュリティ インシデントの管理に使用します。
- 検索対象: SOAR プラットフォーム内のケースとエンティティ（ユーザー、アセット、IP アドレスなど）を検索します。
- 仕組み: 自由形式のフィルタまたはフィールドベースのフィルタを使用して、ID、アラート名、ステータス、割り当てられたユーザーなどでケースを検索できます。
- 例:
CaseIds:180またはAlertName:Brute Forceを検索する
検索の可用性を確認するデータ取り込みパイプライン
エンドツーエンドのデータ可用性は、イベントが発生してから Google SecOps で検索やルール実行に使用できるようになるまでの合計時間です。このレイテンシは、次の 2 つのコンポーネントの合計です。
ソース側の可用性の遅延: イベントが発生してから、ソースシステムがログデータを取り込み可能にするまでの時間。この遅延は、ソースシステムのアーキテクチャ、処理、バッチ処理、API 公開スケジュールによって異なります。Google SecOps はこの遅延に影響を与えることはできません。たとえば、システムがログをストレージ バケットに書き込むときや、API エンドポイントに公開するときに遅延が発生する場合があります。
Google SecOps の処理時間: Google SecOps がデータを受信してから処理するまでに必要な時間。この期間には、取り込み、解析、正規化、インデックス登録、拡充などの内部パイプライン ステージが含まれます。
データの可視性のタイムラインのトラブルシューティングを行う場合は、両方のコンポーネントを考慮する必要があります。
データソースに起因する遅延
次の要因が、ソース側の可用性の遅延に影響する可能性があります。
- バッチ処理: 一部のシステムでは、設定された間隔（1 時間ごとなど）でログがバッチで生成されます。
- API レイテンシ: ソース API には、新しいイベントをクエリ可能にする際に固有の遅延が発生する可能性があります。
- イベントの作成と公開の時刻: ログ内のイベントのタイムスタンプは、ログが確定して収集可能になるタイムスタンプよりもはるかに早い場合があります。
- スロットリング: ソース側の API レート上限により、データ取得が遅くなることがあります。
- 初期バックフィル: 大量の履歴データのサービングと取り込みには時間がかかります。
これらの遅延は、データソースとログタイプによって異なります。取り込み方法の詳細については、データ取り込みの概要をご覧ください。フィード管理 API リファレンスでは、Microsoft Graph、SentinelOne、Okta、CrowdStrike などのログタイプに関する具体的な考慮事項について説明しています。
Google SecOps の処理時間
システムは、新しく取り込まれたデータを複数のステップで処理します。これらの手順の所要時間によって、新しく取り込まれたデータがクエリと分析に使用可能になるタイミングが決まります。
次の表に、新しく取り込まれたデータの処理手順を検索方法別に示します。これらの手順が完了すると、新しく取り込まれたデータが検索可能になります。
| 検索方法 | 検索対象のデータ | 可用性時間に影響する処理ステップ |
|---|---|---|
| 正規化および拡充された UDM イベント |
|
|
| 未加工ログ検索 | 解析されていない元のログテキスト |
|
| 検出エンジン（ルール） | 正規化されたイベント |
|
| SOAR 検索 | ケースとエンティティ |
これはログではなく、アラートとケースを検索するため、ライフサイクルが異なります。時間は、次の情報に基づいています。
|
データフローの例
次の例は、Google SecOps がセキュリティ データを取り込み、処理、強化、分析して、検索や詳細な分析に利用できるようにする方法を示しています。
データ処理の手順の例
- Amazon S3 などのクラウド サービスやGoogle Cloudからセキュリティ データを取得します。Google SecOps は、このデータを転送中に暗号化します。
- 暗号化されたセキュリティ データを分離してアカウントに保存します。アクセスできるのは、お客様と、プロダクトのサポート、開発、メンテナンスを行う少数の Google 担当者のみです。
- 未加工のセキュリティ データを解析して検証し、処理と表示を容易にします。
- データを正規化してインデックスを作成し、高速検索を実現します。
- 解析とインデックス付けを終えたデータをアカウントに保存します。
- コンテキスト データで拡充します。
- ユーザーがセキュリティ データを検索して確認するための安全なアクセスを提供します。
- セキュリティ データと Google Threat Intelligence マルウェア データベースを比較して、一致するものを特定します。アセットビューなどの Google SecOps のイベントビューで、[VT コンテキスト] をクリックして Google Threat Intelligence の情報を表示します。Google SecOps は、セキュリティデータを Google Threat Intelligence と共有しません。
検索が利用可能になるまでの予想時間の例
新しく取り込まれたデータが検索で使用可能になるまでの予想時間は、データフローに沿ったフロー時間の合計です。
たとえば、UDM 検索でデータが利用可能になるまでの平均時間は、データが Google SecOps 取り込みサービスに送信されてから約 5 分 30 秒です。
| データフロー ステップ | 説明 | フローの期間 |
|---|---|---|
| Cloud Storage から生ログ | Cloud Storage から未加工のログを取り込みます。 | 30 秒未満 |
| セキュリティ ログからデータ転送サービス | 内部システムからプラットフォームにセキュリティ ログを送信します。 | なし |
| データ転送サービスから未加工ログ | さまざまなソースから受信した未加工のセキュリティデータを取り込みパイプラインに送信します。 | 30 秒未満 |
| 未加工ログから解析と確認 | 未加工ログを解析して UDM 形式に検証します。 | 3 分未満 |
| 解析と検証からインデックス | 解析された UDM データにインデックスを付けて、高速検索を実現します。 | なし |
| インデックスから解析された顧客データ | インデックス登録されたデータを、解析済みの顧客データとして分析に利用できるようにします。 | 2 分未満 |
トラブルシューティング
このセクションでは、トラブルシューティングのガイダンスを提供します。
レイテンシと上限
Google SecOps プラットフォーム内での処理と可視化の遅延は、Google SecOps がデータを受信した後、次のアーキテクチャ上の上限の影響を受けます。
- 検索での表示: 取り込み後 2 ～ 15 分。
- ルールの実行: イベントの到着後 5 ～ 10 分。
- UI の可視化: ブラウザのパフォーマンスを維持するため、大量のログデータには 10,000 行の可視化制限が適用されます。
さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。