検索で利用できるデータを理解する

以下でサポートされています。

このドキュメントでは、エンドツーエンドのデータフローとレイテンシを含むデータ取り込みライフサイクルと、これらの要因が最近取り込まれたデータのクエリと分析の可用性にどのように影響するかについて詳しく説明します。

Google Security Operations でデータを取り込んで処理する

このセクションでは、Google SecOps がセキュリティ データを取り込み、処理、分析する方法について説明します。

データの取り込み

データ取り込みパイプラインは、次のようなソースから未加工のセキュリティ データを収集することから始まります。

  • 内部システムのセキュリティ ログ
  • Cloud Storage に格納されるデータ
  • セキュリティ オペレーション センター（SOC）やその他の内部システム

Google SecOps は、安全な取り込み方法のいずれかを使用して、このデータをプラットフォームに取り込みます。

主な取り込み方法は次のとおりです。

  • 直接 Google Cloud 取り込み

    Google SecOps は、直接取り込み Google Cloud を使用して、Cloud Logging、Cloud Asset Inventory メタデータ、Security Command Center Premium の検出結果など、組織の Google Cloudからログとテレメトリー データを自動的に取得します。

  • 取り込み API

    公開 REST 取り込み API を使用して、データを Google SecOps に直接送信します。このメソッドは、カスタム統合や、非構造化ログまたは事前フォーマットされた統合データモデル（UDM）イベントとしてデータを送信する場合に使用します。

  • Bindplane エージェント

    汎用性の高い Bindplane エージェントを環境（オンプレミスまたは他のクラウド）にデプロイして、さまざまなソースからログを収集し、Google SecOps に転送できます。

  • データフィード

    Google SecOps では、特定のサードパーティ クラウド ストレージ バケット（Amazon S3 など）やサードパーティ API（Okta や Microsoft 365 など）などのサードパーティ ソースからログを pull するようにデータフィードを構成します。

正規化とデータ拡充

データが Google SecOps に到着すると、プラットフォームは次のステージでデータを処理します。

  1. 解析と正規化

    未加工のログデータは、まずパーサーによって処理され、元の形式のデータが検証、抽出、変換されて、標準化された UDM になります。解析と正規化により、一貫性のある単一のスキーマを使用して、異なるデータソース（ファイアウォール ログ、エンドポイント データ、クラウドログなど）を分析できます。元の未加工ログは、UDM イベントとともに保存されます。

  2. インデックス登録

    正規化後、Google SecOps は UDM データをインデックスに登録し、大規模なデータセット全体で高速なクエリ速度を実現して、UDM イベントを検索可能にします。また、未加工ログ検索用に元の未加工ログのインデックスも作成します。

  3. データ拡充

    Google SecOps は、次のように価値の高いコンテキストでデータを拡充します。

    • エンティティ コンテキスト（エイリアス）: エイリアスは、ログ エンティティのコンテキスト データと指標を特定して追加することで、UDM ログレコードを拡充します。たとえば、ユーザーのログイン名をさまざまな IP アドレス、ホスト名、MAC アドレスに関連付け、統合された「エンティティ グラフ」を構築します。
    • 脅威インテリジェンス: VirusTotal やセーフ ブラウジングなどのソースを含む、Google の膨大な脅威インテリジェンスとデータが自動的に比較され、既知の悪意のあるドメイン、IP、ファイル ハッシュなどが特定されます。
    • 位置情報: IP アドレスは位置情報データで拡充されます。
    • WHOIS: ドメイン名には、公開登録の WHOIS 情報が追加されます。

分析に使用できるデータ

処理と拡充が行われた UDM データは、すぐに分析に使用できます。

  • リアルタイム検出

    Detection Engine は、ライブルールが有効になっているカスタムルールと Google 構築のルールを、受信したライブデータに対して自動的に実行し、脅威を特定してアラートを生成します。

  • 検索と調査

    アナリストは、検索メソッドを使用して、この正規化および拡充されたすべてのデータを検索できます。たとえば、UDM 検索を使用して、関連するエンティティ（user から asset、悪意のある domain など）をピボットし、アラートを調査します。

検索方法

Google SecOps には、データを検索するためのいくつかの異なる方法が用意されています。それぞれ目的が異なります。

UDM 検索は、ほとんどの調査で使用される最も迅速な主要な検索方法です。

  • 検索対象: 正規化され、インデックス登録された UDM イベントをクエリします。すべてのデータがこの標準形式に解析されるため、1 つのクエリを作成して、さまざまなプロダクト（Windows、Okta、Linux など）で同じアクティビティ（ログインなど）を見つけることができます。
  • 仕組み: 特定の構文を使用して、フィールド、演算子、値をクエリします。
  • 例: principal.hostname = "win-server" AND target.ip = "10.1.2.3"

未加工ログ検索を使用して、UDM フィールドにマッピングされていない可能性のある、解析前の元のログメッセージ内の情報を検索します。

  • 検索対象: 解析と正規化の前のログの元の未加工テキストをスキャンします。これは、インデックスに登録されていない UDM フィールドである特定の文字列、コマンドライン引数、その他のアーティファクトを見つける場合に便利です。
  • 仕組み: raw = 接頭辞を使用します。インデックス付きフィールドを検索しないため、UDM 検索よりも時間がかかることがあります。
  • 例（文字列）: raw = "PsExec.exe"
  • 例（正規表現）: raw = /admin\$/

自然言語検索（Gemini）

自然言語検索（Gemini）を使用すると、平易な英語で質問できます。Gemini は、その質問を正式な UDM クエリに変換します。

  • 検索対象: UDM データをクエリするための会話型インターフェースを提供します。
  • 仕組み: 質問を入力すると、Gemini が基盤となる UDM 検索クエリを生成します。このクエリは実行または絞り込むことができます。
  • 例: 「過去 24 時間にユーザー「bob」がログインに失敗したすべての試行を表示して」

SOAR 検索は、SOAR コンポーネントに固有のものです。ログのハンティングではなく、セキュリティ インシデントの管理に使用します。

  • 検索対象: SOAR プラットフォーム内のケースとエンティティ（ユーザー、アセット、IP など）を検索します。
  • 仕組み: 自由形式のフィルタまたはフィールドベースのフィルタを使用して、ID、アラート名、ステータス、割り当てられたユーザーなどの条件でケースを検索できます。
  • 例: CaseIds:180 または AlertName:Brute Force を検索する

検索の可用性を確認するデータ取り込みパイプライン

システムは、新しく取り込まれたデータを複数の手順で処理します。これらの手順の所要時間によって、新しく取り込まれたデータがクエリと分析に使用できるようになるタイミングが決まります。

次の表に、新しく取り込まれたデータの処理手順を検索方法別に示します。これらの手順が完了すると、新しく取り込まれたデータを検索できるようになります。

検索方法 検索対象のデータ 可用時間に影響する処理ステップ
正規化および拡充された UDM イベント
  1. 取り込み: ログが Google SecOps の取り込みポイントに到達します。
  2. 解析: 生ログが識別され、特定のパーサーによって処理されます。
  3. 正規化: データが抽出され、UDM スキーマにマッピングされます。
  4. インデックス登録（UDM）: 正規化された UDM レコードは、高速で構造化された検索のためにインデックス登録されます。
  5. エンリッチメント: コンテキスト（脅威インテリジェンス、位置情報、ユーザーまたはアセットデータ）が追加されます。
未加工ログ検索 解析されていない元のログテキスト
  1. 取り込み: ログが Google SecOps の取り込みポイントに到達します。
  2. インデックス登録（未加工）: ログの元のテキスト文字列がインデックス登録されます。
SOAR 検索 ケースとエンティティ これはログではなく、アラートとケースを検索するため、ライフサイクルが異なります。時間は次のものに基づいています。
  1. UDM イベントの可用性: 「UDM 検索」に記載されている同じ処理手順を使用します。
  2. 検出: 検出エンジンルールが UDM イベントと一致する必要があります。
  3. アラートの生成: システムは、検出から正式なアラートを作成します。
  4. ケースの作成: SOAR プラットフォームがアラートを取り込み、ケースを作成します。

データフローの例

次の例は、Google SecOps がセキュリティ データを取り込み、処理し、強化して分析し、検索やさらなる分析に利用できるようにする方法を示しています。

データ処理の手順の例

  1. Amazon S3 などのクラウド サービスやGoogle Cloudからセキュリティ データを取得します。Google SecOps は、このデータを転送中に暗号化します。
  2. 暗号化されたセキュリティ データを分離してアカウントに保存します。アクセスは、お客様と、プロダクトのサポート、開発、メンテナンスを行う少数の Google 担当者に限定されます。
  3. 未加工のセキュリティ データを解析して検証し、処理と表示を容易にします。
  4. データを正規化してインデックスを作成し、高速検索を可能にします。
  5. 解析とインデックス付けを終えたデータをアカウントに保存します。
  6. コンテキスト データで拡充します。
  7. ユーザーがセキュリティ データを検索して確認するための安全なアクセスを提供します。
  8. セキュリティ データと VirusTotal マルウェア データベースを比較して、一致するものを特定します。アセットビューなどの Google SecOps のイベントビューで、[VT コンテキスト] をクリックして VirusTotal の情報を表示します。Google SecOps がセキュリティ データを VirusTotal と共有することはありません。

Google SecOps へのデータのフローと処理

検索が利用可能になるまでの予想時間の例

新しく取り込まれたデータが検索で使用可能になるまでの予想時間は、データフローに沿ったフロー期間の合計です。

たとえば、UDM 検索でデータが利用可能になるまでの平均時間は、データが Google SecOps 取り込みサービスに送信されてから約 5 分 30 秒です。

データフロー ステップ 説明 フローの期間
Cloud Storage から生ログ Cloud Storage から未加工のログを取り込みます。 30 秒未満
セキュリティ ログからデータ転送サービス 内部システムからプラットフォームにセキュリティ ログを送信します。 なし
データ転送サービスから未加工ログ さまざまなソースから受信した未加工のセキュリティ データを取り込みパイプラインに送信します。 30 秒未満
未加工ログから解析と確認 未加工ログを解析して UDM 形式に検証します。 3 分未満
解析と検証からインデックス 解析された UDM データにインデックスを付けて、高速検索を実現します。 なし
インデックスから解析された顧客データ インデックス登録されたデータを、解析済みの顧客データとして分析に利用できるようにします。 2 分未満

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。