データの取り込みの概要

以下でサポートされています。

Google Security Operations は、お客様のログを取り込み、データを正規化して、セキュリティ通知を検出します。データの取り込み、脅威検出、アラート、ケース管理のセルフサービス機能が用意されています。Google SecOps は、他の SIEM システムからアラートを受信して分析することもできます。

データの取り込みアーキテクチャの概要

次の図は、セキュリティ データが Google SecOps に流れる仕組みと、システムがそのデータを処理してインターフェースで分析できるようにする方法を示しています。

Google SecOps へのデータのフローと処理

データの取り込みに関連する主なステップ

Google SecOps は、セキュリティ データを次のように処理します。

  1. Amazon S3 やGoogle Cloudなどのクラウド サービスからセキュリティ データを取得します。Google SecOps は、転送中のデータを暗号化します。
  2. 暗号化されたセキュリティ データを分離してアカウントに保存します。アクセスは、お客様と、プロダクトのサポート、開発、メンテナンスを行う少数の Google 担当者に限定されます。
  3. 未加工のセキュリティ データを解析して検証し、処理と表示を容易にします。
  4. 迅速な検索のためにデータにインデックスを付ける。
  5. 解析とインデックス付けを終えたデータをアカウントに保存します。
  6. ユーザーがセキュリティ データを検索して確認するための安全なアクセスを提供します。
  7. セキュリティ データを VirusTotal マルウェア データベースと比較して、一致するものを特定します。[SIEM 検索] で、ドメイン、ファイルハッシュ、IP アドレスの [概要] タブを開き、[VT コンテキスト] をクリックして VirusTotal 情報を表示します。Google SecOps がセキュリティ データを VirusTotal と共有することはありません。

データの取り込み方法の概要

Google SecOps の取り込みサービスは、すべてのデータのゲートウェイとして機能します。

Google SecOps は、次のシステムを使用してデータを取り込みます。

  • Google Cloud: Google SecOps は、 Google Cloud 組織から直接データを取得します。これは、すべての標準 Google Cloud ログ(監査、VPC Flow、DNS、ファイアウォールなど)の主な方法です。これは、 Google Cloud テレメトリーを Google SecOps に取り込むための最も費用対効果が高く、パフォーマンスに優れた方法です。詳細については、 Google Cloud データを Google SecOps に取り込むをご覧ください。

  • Bindplane エージェント: オンプレミス環境とサーバー(Windows または Linux)からログを収集するためのマネージド エージェントです。Bindplane は、任意のソースからログを収集、調整、エクスポートして Google SecOps に送信できるテレメトリー パイプラインです。そのため、他の方法では機能しないさまざまな種類のログを柔軟に収集できます。ファイアウォール ログ、Windows ログ、Linux ログなどのオンプレミス データや、Google SecOps に取り込む前に前処理(絞り込みやフィルタリングなど)を行うクラウドデータに使用できます。このエージェントは、Bindplane OP 管理コンソールを使用して管理することもできます。詳細については、Bindplane エージェントを使用するをご覧ください。

  • データフィード: データフィードは、主にクラウドベースのログに使用されます。サードパーティのログは、Cloud Storage や Amazon S3 などのオブジェクト ストアにすでに集約されているか、サードパーティが Webhook などの「push」ベースのメソッドをサポートしている場合に使用されます。データフィードは、事前定義された一連の API ベースの統合をすぐにサポートします。EDR や SaaS アプリケーションなどのクラウドベースのログや、Direct API として事前定義された特定の統合には、データフィードを使用します。データフィードは、Google SecOps の取り込みサービスにログを直接送信します。詳細については、フィード管理のドキュメントをご覧ください。データフィードは、最大 4 MB のログ行をサポートしています。Cloud Logging を使用して、フィードのアクティビティとエラーをモニタリングできます。詳細については、Cloud Logging でフィード アクティビティを分析するをご覧ください。

  • Chronicle API の取り込み方法: 他の方法に適合しないカスタム、大量、または自社開発のアプリケーションには、最新の Chronicle API の取り込み方法を使用します。この方法は、他の取り込み方法よりも少し複雑です。

  • フォワーダー: Google SecOps フォワーダーは非推奨となり、2027 年 1 月 1 日にサポート終了となります。2027 年 4 月 1 日にデータの取り込みが停止されます。代わりに Bindplane エージェントを使用することをおすすめします。

パーサーは、お客様のシステムからのログを統合データモデル(UDM)に変換します。Google SecOps 内のダウンストリーム システムは、UDM を使用して、ルールや UDM 検索などの追加機能を提供します。

エンドツーエンドのデータフローとレイテンシ、これらの要因が最近取り込まれたデータのクエリと分析の可用性に与える影響など、データ取り込みのライフサイクルの詳細については、検索のデータ可用性を理解するをご覧ください。

仕様:

  • ファイルを取り込む際、ログを正常に取り込むには、ファイルのコンテンツ形式がファイル拡張子から想定される形式と一致している必要があります。

  • 大きなファイル(5 ~ 10 GB 以上)は、データの取り込みを大幅に遅らせる可能性があります。

  • 取り込みでは UTF-8 エンコードのみがサポートされています。

取り込み時間とデータ可用性時間を理解する

Google SecOps で分析に利用できるデータは、いくつかのステージによって異なります。遅延のトラブルシューティングを行うには、ソースシステムの遅延と Google SecOps の処理時間を区別します。

  • ソースシステムの遅延(取り込み前): 多くのデータソースには固有のレイテンシがあります。イベントの発生直後にデータを収集できない場合があります。一般的には次のような原因が考えられます。

    • ソースの処理とバッチ処理のスケジュール。
    • イベントをログファイルまたは API エンドポイントに書き込むために必要な時間。
    • API レート上限。
    • イベントのタイムスタンプと、ログが取り込み可能になった時刻の差(例: createTime)。
  • Google SecOps の取り込みと処理の遅延: データが取り込みポイントに到達した後、次の手順で遅延が発生する可能性があります。

    • 収集間隔: プールされたソース(API やストレージ バケットなど)の場合、構成されたフィード頻度(5 分ごと、1 時間ごとなど)によって最大遅延が決まります。
    • 内部パイプライン: 解析、正規化、インデックス登録、拡充。詳細については、検索のデータ可用性を理解するをご覧ください。

遅延が発生した場合は、原因がソースか Google SecOps かを判断します。たとえば、blob ストレージ サービスのログはリアルタイムではなく、ポーリング頻度によって異なります。

ソース側の遅延が既知のログタイプのリストについては、Feed Management API リファレンスをご覧ください。

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。