Google マネージド BigQuery プロジェクトにエクスポートする

以下でサポートされています。

Google SecOps は、BigQuery にデータをエクスポートすることで、正規化され、脅威インテリジェンスで強化されたテレメトリー データを管理されたデータレイクとして提供します。これにより、次のことが可能になります。

  • BigQuery でアドホック クエリを直接実行します。
  • Looker や Microsoft Power BI などの独自のビジネス インテリジェンス ツールを使用して、ダッシュボード、レポート、分析を作成します。
  • Google SecOps データをサードパーティのデータセットと結合します。
  • データ サイエンス ツールまたは機械学習ツールを使用して分析を実行します。
  • 事前定義されたデフォルトのダッシュボードとカスタム ダッシュボードを使用して、レポートを実行します。

Google SecOps は、次のカテゴリのデータを BigQuery にエクスポートします。

  • UDM イベント レコード: お客様が取り込んだログデータから作成された UDM レコード。 これらのレコードは、エイリアス情報で強化されています。
  • ルールの一致（検出）: ルールが 1 つ以上のイベントに一致するインスタンス。
  • IoC の一致: セキュリティ侵害インジケーター（IoC）フィードに一致するイベントのアーティファクト（ドメイン、IP アドレスなど）。これには、グローバルなフィードとお客様固有のフィードからの一致が含まれます。
  • 取り込み指標: 取り込まれたログ行の数、ログから生成されたイベントの数、ログが解析できなかったことを示すログエラーの数、Google SecOps フォワーダーの状態などの統計情報が含まれます。 詳細については、取り込み指標の BigQuery スキーマをご覧ください。
  • エンティティ グラフとエンティティ関係: エンティティの説明と、他のエンティティとの関係を保存します。

テーブルの概要

Google SecOps は、BigQuery に datalake データセットと次のテーブルを作成します。

  • entity_enum_value_to_name_mapping: entity_graph テーブルの列挙型の場合、数値を文字列値にマッピングします。
  • entity_graph: UDM エンティティに関するデータを保存します。
  • events: UDM イベントに関するデータを保存します。
  • ingestion_metrics: Google SecOps フォワーダー、フィード、取り込み API など、特定の取り込み元からのデータの取り込みと正規化に関連する統計情報を保存します。
  • ioc_matches: UDM イベントに対して検出された IOC の一致を保存します。
  • job_metadata: BigQuery へのデータのエクスポートを追跡するために使用される内部テーブル。
  • rule_detections: Google SecOps で実行されるルールによって返された検出結果を保存します。このテーブルには、エクスポート プロセスの実行時にライブ（有効で削除されていないなど）だったルールからの検出結果のみが含まれます。エクスポート ジョブの実行前に無効または削除されたルールからの検出結果は、検出時間がクエリ範囲内であっても、このテーブルには含まれません。
  • rulesets: 各ルールセットが属するカテゴリ、カテゴリが有効になっているかどうか、現在のアラート ステータスなど、Google SecOps のキュレートされた検出に関する情報を保存します。
  • udm_enum_value_to_name_mapping: イベント テーブルの列挙型の場合、数値を文字列値にマッピングします。
  • udm_events_aggregates: 正規化されたイベントの 1 時間ごとに集計されたデータを保存します。このテーブルは、ベスト エフォート方式で入力されます。1 時間ごとのデータがすぐに利用できるとは限りません。入力に遅延が生じる可能性があります。

データの鮮度とエクスポート スケジュール

BigQuery テーブルのデータは、さまざまな間隔で更新されます。これらを把握することで、データの可用性の期待値を設定できます。

  • UDM イベント（events テーブル）: 通常は頻繁に更新され、取り込みから約 2 時間以内にデータが利用可能になります。
  • ベスト エフォート エクスポート: 他の多くのデータセットは、ベスト エフォート 方式でエクスポートされます。これには、次のものが含まれますが、これらに限定されません。
    • udm_events_aggregates
    • rule_detections
    • ioc_matches
    • entity_graph
    • ingestion_metrics

ベスト エフォート方式でエクスポートされたテーブルの場合、更新は定期的ですが、厳密にコミットされたレイテンシやタイミングはありません。遅延が発生する可能性があり、udm_events_aggregates などの 1 時間ごとの集計の場合、1 時間の終了時に 1 時間ごとのデータがすぐに利用できるとは限りません。通常、データは 1 日以内に更新されることが想定されます。

BigQuery のデータにアクセスする

BigQuery でクエリを直接実行するか、Looker や Microsoft Power BI などの独自のビジネス インテリジェンス ツールを BigQuery に接続できます。

BigQuery インスタンスへのアクセスを有効にするには、 Google SecOps BigQuery Access API を使用します。 所有しているユーザーまたはグループのメールアドレスを指定できます。グループへのアクセスを構成する場合は、グループを使用して、BigQuery インスタンスにアクセスできるチームメンバーを管理します。

Looker や他のビジネス インテリジェンス ツールを BigQuery に接続するには、Google SecOps の担当者に連絡して、アプリケーションを Google SecOps BigQuery データセットに接続できるサービス アカウントの認証情報を入手してください。サービス アカウントには、IAM BigQuery データ閲覧者ロール（roles/bigquery.dataViewer）と BigQuery ジョブ閲覧者ロール（roles/bigquery.jobUser）が付与されます。

データの保持

Google マネージド BigQuery を使用している Google SecOps Enterprise Plus のお客様には、次の保持設定が適用されます。

  • 従来の Google SecOps Enterprise Plus のお客様（非推奨パス）:

    • ioc_matches テーブルと rule_detections テーブル: ボリュームが少ないため、保持期間の上限は設定されていません。
    • entity_graph、udm_events_aggregates、events テーブル以外のパーティション分割テーブル: 180 日。
    • events テーブル（UDM イベント）: データは Google SecOps 契約に基づいて保持されます。契約で指定されていない場合は、デフォルトの 366 日間となります。

  • 新規のお客様: 保持期間は Google SecOps 契約によって管理されます（高度な BigQuery エクスポート機能と一致します）。

次のステップ

さらにサポートが必要な場合 コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。