自動抽出の概要

以下でサポートされています。

このドキュメントでは、データの取り込み、処理、分析機能を強化するためにデータが自動的に抽出される仕組みの概要について説明します。

Google Security Operations は、事前構築されたパーサーを使用して、Unified Data Model（UDM）スキーマを使用してログデータを抽出して構造化します。これらのパーサーの管理とメンテナンスは、データ抽出の不完全性、管理するパーサーの数の増加、ログ形式の進化に伴う頻繁な更新の必要性など、いくつかの制限があるため、困難な場合があります。

これらの課題に対処するには、自動抽出機能を使用します。この機能は、Google SecOps に取り込まれた JSON 形式と XML 形式のログから Key-Value ペアを自動的に抽出します。また、JSON メッセージを含む Syslog 形式のログもサポートしています。抽出されたデータは、extracted という名前の UDM のマップ型のフィールドに保存されます。このデータは、UDM 検索クエリ、ネイティブ ダッシュボード、YARA-L ルールで使用できます。

抽出されたフィールドを使用する UDM 検索では、検索クエリのパフォーマンスを向上させるために、クエリに metadata.log_type を含めることをおすすめします。

自動抽出のメリットは、パーサーへの依存度が低くなることです。これにより、パーサーが存在しない場合や、パーサーがログの解析に失敗した場合でも、データを利用できるようになります。

未加工ログからデータを解析して抽出する

  1. 解析: Google SecOps は、ログタイプに固有のパーサーを使用してログの解析を試みます（利用可能な場合）。特定のパーサーが存在しない場合や、パースが失敗した場合、Google SecOps は一般的なパーサーを使用して、取り込まれたタイムスタンプ、ログタイプ、メタデータ ラベルなどの基本情報を抽出します。

  2. データ抽出: 自動抽出はデフォルトでは有効になっていません。オプトインして、ログから抽出する特定のフィールド（データポイント）を選択します。

  3. イベントの拡充: Google SecOps は、解析されたデータとカスタム形式のフィールドを組み合わせて、拡充されたイベントを作成し、より多くのコンテキストと詳細を提供します。

  4. ダウンストリーム データ転送: 拡充されたイベントは、さらなる分析と処理のために他のシステムに送信されます。

  • パーサーがある場合: デフォルトの自動抽出は行われません。抽出ツールの使用セクションで説明されているように、必要な特定のフィールドを明示的にオプトインする必要があります。
  • パーサーがない場合: 自動抽出が自動的に開始され、最初の 100 個のフィールドが抽出されます。

抽出ツールを使用する

抽出ツールを使用すると、サポートされているすべてのログソースからフィールドを抽出できます。このツールは、ログ管理を最適化するように設計されています。抽出ツールを使用すると、イベントのサイズを縮小し、解析の効率を高め、データ抽出をより適切に制御できます。これは、新しいログタイプを管理する場合や、処理時間を最小限に抑える場合に特に便利です。

抽出機能は、[SIEM 設定] メニューを使用するか、未加工ログの検索を実行して作成できます。

エクストラクタを作成する

  1. 次のいずれかの方法で、[追加フィールドを抽出] ペインに移動します。

    • [SIEM 設定] > [パーサー] をクリックして、次の操作を行います。
      1. 表示された PARSERS テーブルで、パーサー（ログソース）を特定し、 メニュー > パーサーを拡張 > 追加のフィールドを抽出 をクリックします。
    • 未加工ログスキャンを使用して、次の操作を行います。
      1. [ログソース] メニューから、必要なログソース（パーサー）を選択します。
      2. 未加工のログ結果からログソースを選択して、[イベントデータ] ペインを開きます。
      3. [イベントデータ] ペインで、[パーサーを管理] > [パーサーを拡張] > [追加フィールドを抽出] をクリックします。
    • UDM 検索を使用して、次の操作を行います。
      1. UDM 検索結果の [イベント] タブで、ログソースを選択して [イベントビューア] ペインを表示します。
      2. [Raw Log] タブで、[Manage Parser] > [Extend Parser] > [Extract Additional Fields] をクリックします。

  2. [その他のフィールドを抽出] ペインの [抽出元を選択] タブで、必要な未加工ログフィールドを選択します。デフォルトでは、最大 100 個のフィールドを選択できます。抽出可能な追加フィールドがない場合は、警告通知が表示されます。

    [Reference Raw Log] タブをクリックして、未加工のログデータを表示し、UDM 出力をプレビューします。

  3. [保存] をクリックします。

新しく作成された抽出器には EXTRACTOR というラベルが付けられます。抽出されたフィールドは、UDM 出力に extracted.field{"fieldName"} として表示されます。

エクストラクタの詳細を表示する

  1. [PARSERS] テーブルの抽出行に移動し、 [メニュー] > [パーサーを拡張] > [拡張機能を表示] をクリックします。
  2. [カスタム パーサーを表示] ページで、[拡張機能と抽出されたフィールド] タブをクリックします。

このタブには、パーサー拡張機能と抽出フィールドに関する情報が表示されます。[VIEW CUSTOM PARSERS] ページで、フィールドを変更または削除し、パーサーの出力をプレビューできます。

制限事項

  • バッチ UDM イベントのサイズが 8.2 MB を超えると、未加工ログとすべての抽出フィールドが破棄されます。
  • 1 つの UDM イベントが 500 KB を超えると、抽出されたフィールドはドロップされます。

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。