データの取り込みの健全性を確認する

以下でサポートされています。

このガイドは、Google Security Operations 内でデータの取り込みの健全性をモニタリングし、問題をトラブルシューティングするセキュリティ エンジニアを対象としています。このドキュメントでは、Health Hub を使用する、データソースとパーサーのステータスを追跡するように Cloud Monitoring アラートを構成する、サイレント ホスト モニタリング（SHM）を使用してコレクタの停止の可能性を検出する方法について説明します。

これらのモニタリング ワークフローを使用すると、データ パイプラインの問題を特定、診断、修復し、ユーザーが修正できる問題（対応可能）とサポートが必要な問題（対応不可）を区別できます。構成が成功すると、信頼性の高いデータフローが確保され、効果的なセキュリティ運用と分析に不可欠となります。

一般的なユースケース

このセクションでは、取り込みモニタリングの一般的なユースケースについて説明します。

事前対応型のヘルスチェック

  • 目標: 構成されたすべてのデータソースのステータスと健全性を確認します。
  • 価値: セキュリティの可視性に影響を与える前に、潜在的な取り込みの問題を検出します。

アラート対応

  • 目標: 自動アラートでフラグが設定されたデータソースまたはパーサーの問題を調査して修正します。
  • 価値: データ損失や遅延を最小限に抑え、脅威のタイムリーな検出と対応にデータを利用できるようにします。

主な用語

  • Health Hub: 構成されたすべてのデータソースとパーサーのステータスと健全性をモニタリングするための Google SecOps 内の中央ダッシュボード。
  • Cloud Monitoring: Google Cloud Google SecOps の取り込みなど、指標に基づいてアラート ポリシーを作成するために使用されるサービス。
  • サイレント ホストのモニタリング: 環境内でサイレント状態になったホストを特定するモニタリング方法。
  • 対応可能な問題: 通常、構成の変更（認証情報の更新など）によって自分で解決できる取り込みの問題。
  • 対応できない問題: 解決に Google サポートの支援が必要な取り込みの問題（内部システム エラーなど）。
  • パーサー: 未加工のログデータを Unified Data Model（UDM）構造に正規化するコンポーネント。

始める前に

Google SecOps インスタンスにアクセスし、Health Hub を表示して、Cloud Monitoring でアラートを構成するために必要な Identity and Access Management（IAM）ロールと権限があることを確認します。

データの取り込みをモニタリングする

このセクションでは、データの取り込みをモニタリングするさまざまな方法について詳しく説明します。

Health Hub を使用してモニタリングする

ヘルスハブを使用すると、データ全体の健全性を一目で確認し、各フィード、データソース、ログタイプのコアの健全性ステータスを表示できます。これにより、カスタムの外部アラートを構成しなくても、異常なソースとパーサー、失敗したソースとパーサーを特定できます。

  1. Google SecOps のサイド ナビゲーション メニューで、[Health Hub] をクリックします。
  2. [Failed Sources]（失敗したソース）と [Failed Parsers]（失敗したパーサー）の大きな数値ウィジェットを確認して、緊急の対応が必要なコンポーネントを特定します。
  3. [データソース別のヘルス ステータス] テーブルを調べます。[最新の問題の詳細] 列で、Config credential issue や Normalization issue などのエラーの説明を確認します。
  4. 表に記載されている [データソースを編集] または [パーサーを編集] のリンクをクリックすると、修復のためのそれぞれの構成ページに直接移動できます。
  5. Last Event Time や Last Ingested などのタイムスタンプを確認して、データが想定どおりに取り込まれたことを確認します。
  6. 修正を適用したら、特定のデータソースまたはパーサーの Health Hub をモニタリングして、修復が成功したことを確認します。

自動取り込みアラートを設定する

モニタリングを構成して、取り込み値が特定の事前定義レベルに達したときにアラートをトリガーします。これにより、既存のワークフローにメール通知を統合して、破損したフィードを事前に修正したり、サイレント ログソースを検出したりできます。

  1. Health Hub で、[アラートを設定] リンクをクリックします。このリンクをクリックすると、モニタリング インターフェースに移動します。
  2. アラート ポリシーを作成します。
    • 指標を選択: [Chronicle Collector] > [Ingestion] で、[取り込まれた合計ログ数] や [取り込まれた合計ログサイズ] などの指標を選択します。
    • collector_id または log_type のフィルタを追加して、アラートの範囲を特定のソースに絞り込みます。
  3. サイレント転送を検出するには、条件タイプとして [指標の不在] を選択します。ログが指定した期間（60 分など）流れなくなった場合にアラートをトリガーするように構成します。

トラブルシューティング

このセクションでは、データの取り込みの問題をトラブルシューティングするさまざまな方法について詳しく説明します。

一般的な問題

  • パイプラインのレイテンシ: 最終イベント時間と最終取り込みのタイムスタンプの間に大きな遅延がある場合は、レイテンシが発生している可能性があります。Health Hub は、この差分の 95th パーセンタイルを公開します。値が高い場合はパイプラインのレイテンシを示し、値が正常な場合はソースが履歴データを送信している可能性があります。
  • 取り込みの急増または急減: システムは z スコアの標準化を使用して異常を検出します。1 日の標準化された差と 1 週間の標準化された差の両方が -1.645 より小さい場合、減少がフラグ設定されます。
  • 解析の失敗: 解析エラーの割合が、取り込まれたイベントの合計数に対して前日と比較して 5% 以上増加した場合に、アラートがトリガーされます。Health Hub のリンクを使用して、パーサーの構成を調べます。

データ取り込みと解析の問題を特定する方法については、データ取り込みと解析の問題を特定して調査するをご覧ください。

レイテンシ、サービス割り当て、上限

  • データの更新: [Health Hub] ダッシュボードと [Data Ingestion] ダッシュボードの情報は、約 15 分ごとに更新されます。

エラーの修復

エラー メッセージと解決策の完全なリストについては、取り込みのトラブルシューティングをご覧ください。

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。