データの取り込みの概要
Google Security Operations は、お客様のログを取り込み、データを正規化して、セキュリティ アラートを検出します。データの取り込み、脅威検出、アラート、ケース管理のためのセルフサービス機能が用意されています。 Google SecOps は、他の SIEM システムからアラートを受信して分析することもできます。
データの取り込みアーキテクチャの概要
次の図は、セキュリティ データが Google SecOps に流れる仕組みと、システムがそのデータを処理して インターフェースで分析する方法を示しています。
データの取り込みに関連する主な手順
Google SecOps では、セキュリティ データを次のように処理します。
- Amazon S3 や Google Cloudなどのクラウド サービスからセキュリティ データを取得します。Google SecOps は、転送中のデータを暗号化します。
- 暗号化されたセキュリティ データを分離してアカウントに保存します。アクセスできるのは、お客様と、プロダクトのサポート、開発、メンテナンスを行う少数の Google 担当者 のみです。
- 未加工セキュリティ データを解析して検証します。これにより、データの処理と表示が容易になります。
- データをインデックスに登録して、迅速に検索できるようにします。
- 解析してインデックスに登録したデータをアカウントに保存します。
- ユーザーがセキュリティ データを検索して確認するための安全なアクセスを提供します。
- セキュリティ データを VirusTotal マルウェア データベースと比較して、一致するものを特定します。アセットビューなどの Google SecOps のイベントビューで、[VT コンテキスト] をクリックして VirusTotal の情報を表示します。 Google SecOps は、セキュリティ データを VirusTotal と共有しません。
データ取り込み方法の概要
Google SecOps 取り込みサービスは、すべてのデータのゲートウェイとして機能します。
Google SecOps は、次のシステムを使用してデータを取り込みます。
Google Cloud: Google SecOps は、組織から直接データを取得します。これは、すべての標準ログ（監査、VPC フロー、DNS、ファイアウォールなど）の主な方法です。 Google Cloud Google Cloud これは、in Google Cloud telemetry を Google SecOps に取り込む最も費用対効果が高く、パフォーマンスの高い方法です。 詳細については、データを Google SecOps に取り込むをご覧ください。 Google Cloud
Bindplane エージェント: オンプレミス 環境とサーバー（Windows または Linux） からログを収集するためのマネージド エージェントです。Bindplane は、任意のソースからログを収集、絞り込み、Google SecOps にエクスポートできるテレメトリー パイプラインです。そのため、他の方法では処理できないさまざまな種類のログを柔軟に収集できます。 ファイアウォール ログ、Windows ログ、Linux ログなどのオンプレミス データや、Google SecOps に取り込む前に前処理（絞り込みやフィルタなど）するクラウドデータに使用できます。 このエージェントは、Bindplane OP 管理コンソールを使用して管理することもできます。詳細については、 Bindplane エージェントを使用するをご覧ください。
データフィード: データフィードは主に、サードパーティ ログが Cloud Storage や Amazon S3 などのオブジェクト ストアにすでに集約されているクラウドベースのログや、サードパーティが webhook などのプッシュベースの方法をサポートしている場合に使用されます。 データフィードは、事前定義された API ベースの統合セットをすぐにサポートします。 EDR や SaaS アプリケーションなどのクラウドベースのログや、Direct API として事前定義された特定の統合には、データフィードを使用します。 データフィードは、ログを Google SecOps 取り込みサービスに直接送信します。詳細については、 フィード管理のドキュメントをご覧ください。データフィードは、最大 4 MB のログ行をサポートしています。フィード アクティビティとエラーは、Cloud Logging を使用してモニタリングできます。詳細については、Cloud Logging でフィード アクティビティを分析するをご覧ください。
取り込み API: 他の方法に適合しないカスタム アプリケーション、大容量アプリケーション、自社開発アプリケーションには、Ingestion API を使用します。この方法は、他の取り込み方法よりもやや複雑です。詳細については、Ingestion API をご覧ください。
フォワーダー: フォワーダーはサポート終了となりました。代わりに Bindplane エージェントを使用することをおすすめします。
パーサーは、お客様のシステムからのログを Unified Data Model（UDM）に変換します。Google SecOps 内のダウンストリーム システムは、UDM を使用して、ルールや UDM 検索などの追加機能を提供します。
データの取り込みライフサイクルの詳細（エンドツーエンドのデータフローとレイテンシ、これらの要因がクエリと分析のために最近取り込まれたデータの可用性に与える影響など）については、検索のデータの可用性を理解するをご覧ください。
仕様:
ファイルを取り込む場合、ログを正常に取り込むには、ファイルの内容形式がファイル拡張子の想定形式と一致している必要があります。
サイズの大きいファイル（5 ～ 10 GB 以上）は、データの取り込みに大幅な遅延を引き起こす可能性があります。
取り込みでは UTF-8 エンコードのみがサポートされています。
取り込みとデータの可用性の時間を理解する
Google SecOps での分析に使用できるデータの可用性は、いくつかの段階によって異なります。遅延のトラブルシューティングを行うには、ソースシステムの遅延と Google SecOps の処理時間を区別します。
ソースシステムの遅延（取り込み前）: 多くのデータソースには固有の レイテンシがあります。イベントが発生しても、すぐにデータを収集できない場合があります。一般的には次のような原因が考えられます。
- ソースの処理とバッチ処理のスケジュール。
- ログファイルまたは API エンドポイントにイベントを書き込むのに必要な時間。
- API レート上限。
- イベントのタイムスタンプと、ログを取り込めるまでの時間（
createTimeなど）の差。
Google SecOps の取り込みと処理の遅延: データが取り込みポイントに到達した後、次の手順で遅延が発生する可能性があります。
- 収集間隔: プールされたソース（API やストレージ バケットなど）の場合、構成されたフィード頻度（5 分ごと、1 時間ごとなど） によって最大遅延が決まります。
- 内部パイプライン: 解析、正規化、インデックス登録、エンリッチメント。 詳細については、検索のデータの可用性を理解するをご覧ください。
遅延が発生した場合は、原因がソースにあるのか Google SecOps にあるのかを判断します。たとえば、Blob Storage サービスのログはリアルタイムではなく、ポーリング頻度によって異なります。
ソース側の遅延が確認されているログタイプのリストについては、 フィード管理 API リファレンスをご覧ください。
さらにサポートが必要な場合コミュニティ メンバーや Google SecOps のプロフェッショナルから回答を得ることができます。