自動抽出の概要

以下でサポートされています。

このドキュメントでは、データを取り込み、処理、分析する機能を強化するために、データを自動的に抽出する方法の概要について説明します。

Google Security Operations は、事前構築済みのパーサー を使用して、統合データモデル（UDM）スキーマを使用してログデータを抽出して構造化します。これらのパーサーの管理とメンテナンスは、データの抽出が不完全である、管理するパーサーの数が増えている、ログ形式の進化に伴い頻繁な更新が必要であるなど、いくつかの制限があるため困難な場合があります。

これらの課題に対処するために、自動抽出機能を使用できます。この機能は、Google SecOps に取り込まれた JSON 形式と XML 形式のログから Key-Value ペアを自動的に抽出します。また、JSON メッセージを含む Syslog 形式の ログもサポートしています。抽出されたデータは、extracted という UDM マップタイプのフィールドに保存されます。このデータは、UDM 検索クエリ、 ネイティブ ダッシュボード、YARA-L ルールで使用できます。

抽出されたフィールドを使用する UDM 検索では、検索クエリのパフォーマンスを向上させるために、クエリに metadata.log_type を含めることをおすすめします。

自動抽出のメリットは、パーサーへの依存度が低くなることです。これにより、パーサーが存在しない場合や、ログの解析に失敗した場合でも、データを利用できます。

未加工ログからデータを解析して抽出する

  1. 解析: Google SecOps は、ログタイプに固有のパーサーを使用してログの解析を試みます（利用可能な場合）。特定のパーサーが存在しない場合や、パースが失敗した場合、Google SecOps は一般的なパーサーを使用して、取り込まれたタイムスタンプ、ログタイプ、メタデータ ラベルなどの基本情報を抽出します。

  2. データ抽出: 自動抽出はデフォルトでは有効になっていません。有効にして、ログから抽出する特定のフィールド（データポイント）を選択します。

  3. イベントの拡充: Google SecOps は、解析されたデータと カスタム形式のフィールドを組み合わせて、拡充されたイベントを作成し、より多くのコンテキストと詳細を提供します。

  4. ダウンストリーム データ転送: これらの拡充されたイベントは、さらなる分析と処理のために他の システムに送信されます。

extractor を使用する

extractor を使用すると、サポートされているすべてのログソースからフィールドを抽出できます。また、 ログ管理を最適化するように設計されています。extractor を使用すると、イベントサイズを削減し、 解析効率を高め、データ抽出をより適切に制御できます。 これは、新しいログタイプの管理や処理時間の最小化に特に役立ちます。

extractor は、[SIEM 設定] メニューを使用するか、 [未加工ログ検索] を実行して作成できます。

extractor を作成する

  1. 次のいずれかの 方法で、[その他のフィールドの抽出] ペインに移動します。

      • [SIEM 設定] > [パーサー] をクリックして、次の操作を行います。
      1. 表示される [**パーサー**] テーブルで、パーサー（ログソース）を特定し、 [**メニュー**] > [**パーサーを拡張**] > [**その他のフィールドの抽出**] をクリックします。
    • 未加工ログスキャンを使用して、 次の操作を行います。
      1. [ログソース] メニューから必要なログソース（パーサー）を選択します。
      2. 未加工ログの結果からログソースを選択して、 [イベントデータ] ペインを開きます。
      3. [**イベントデータ**] ペインで、[**パーサーを管理**] > [**パーサーを拡張**] > [**その他のフィールドの抽出**] をクリックします。
    • UDM 検索を使用して、次の操作を行います。
      1. UDM 検索結果の [**イベント**] タブで、ログソースを選択して [**イベントビューア**] ペインを表示します。
      2. [**未加工ログ**] タブで、[**パーサーを管理**] > [**パーサーを拡張**] > [**その他のフィールドの抽出**] をクリックします。

  2. [extractor を選択] タブの [その他のフィールドの抽出] ペインで、 必要な未加工ログフィールドを選択します。デフォルトでは、最大 100 個のフィールドを選択できます。 抽出可能な追加フィールドがない場合は、警告が表示されます。

    [未加工ログを参照] タブをクリックして、未加工ログデータを表示し、 UDM の出力をプレビューします。

  3. [保存] をクリックします。

新しく作成された extractor には EXTRACTOR というラベルが付けられます。 抽出されたフィールドは、UDM 出力に extracted.field{"fieldName"} として表示されます。

extractor の詳細を表示する

  1. [**パーサー**] テーブルの extractor 行に移動し、 [**メニュー**] > [**パーサーを拡張**] > [**拡張機能を表示**] をクリックします。
  2. [カスタム パーサーを表示] ページで、[拡張機能と抽出されたフィールド] タブをクリックします。

このタブには、パーサー拡張機能と extractor フィールドに関する情報が表示されます。 [**カスタム パーサーを表示**] ページで、フィールドを変更または削除し、パーサーの出力をプレビューできます。

制限事項

  • バッチ UDM イベントサイズが 8.2 MB を超えると、抽出されたフィールドはすべて削除されます。
  • 単一の UDM イベントが 500 KB を超えると、抽出されたフィールドは削除されます。

さらにサポートが必要な場合コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。