透過進階 BigQuery Export 串流資料
本文說明如何使用進階 BigQuery 匯出功能，在 BigQuery 中存取及使用 Google SecOps 資料。Enterprise Plus 客戶可使用這項功能，透過全代管的串流資料管道，近乎即時地存取安全性資料。這項功能可協助解決資安營運中資料延遲的重大挑戰，更及時有效地偵測及應對威脅。
事前準備
請詳閱下列資格規定和必要行動：
- 僅限 Enterprise Plus 客戶：這項功能僅適用於 Google SecOps Enterprise Plus 客戶。其他客戶請參閱「匯出至自行管理的 BigQuery 專案」。
- 必須啟用功能：這項功能須提出要求才能啟用，且可能要在貴組織的 Google SecOps 執行個體中進行初始設定。如有需要，請與 Google SecOps 代表聯絡，確認是否已啟用這項功能。
- 資料遷移：啟用這項功能後，資料會開始匯出至 Google SecOps 執行個體的新 BigQuery 租戶專案，同時也會匯出至 Google 管理的 BigQuery 專案 (如「匯出至 Google 管理的 BigQuery 專案」一文所述)。這項雙重作業可讓您順利改用新功能，系統會在停用帳戶的舊匯出管道前通知您。
- VPC Service Controls：進階 BigQuery 匯出功能可在 VPC Service Controls 範圍內運作。詳情請參閱「設定 VPC Service Controls」。
- 客戶自行管理的加密金鑰 (CMEK)：如果客戶已在 Google SecOps 執行個體啟用 CMEK，就能使用進階 BigQuery 匯出功能。詳情請參閱「Google SecOps 的 CMEK」。如果您搭配使用 CMEK 和 VPC Service Controls，請參閱「為 Google SecOps 設定 VPC Service Controls」，瞭解相關建議和操作說明。
功能總覽
進階 BigQuery 匯出功能會自動佈建及管理重要的 Google SecOps 資料集，包括統一資料模型 (UDM) 事件、規則偵測、實體圖和入侵指標 (IoC) 比對，並將這些資料集儲存在 Google 代管的安全 BigQuery 專案中。您可以透過 BigQuery 連結資料集，以安全、唯讀的方式存取這項資料，該資料集會直接顯示在您的 Google Cloud 專案中。這項功能可讓您查詢安全性資料，就像資料儲存在本機一樣，但不必管理資料管道或儲存空間。
Google SecOps 會將下列類別的安全性資料匯出至 BigQuery：
- UDM 事件記錄：從客戶擷取的記錄資料建立的 UDM 記錄。這些記錄會加入別名資訊。
- 規則比對 (偵測)：規則與一或多個事件相符的情況。
- IoC 比對結果：與 IoC 資訊動態饋給相符的事件中的構件 (例如網域或 IP 位址)。包括與全球動態饋給和客戶專屬動態饋給的比對結果。
- 擷取指標：統計資料，例如擷取的記錄行數、從記錄產生的事件數，以及指出記錄無法剖析的記錄錯誤數。
- 實體圖和實體關係：實體及其與其他實體關係的說明。
核心福利
進階 BigQuery 匯出功能的主要優點包括：
- 近乎即時的資料更新間隔：串流架構可讓您在擷取安全性資料後，幾分鐘內就能查詢。UDM 事件、規則偵測和 IoC 比對結果的預期延遲時間為 5 到 10 分鐘。
- 簡化且可預測的成本模式：Google SecOps 涵蓋代管 BigQuery 專案中的所有資料擷取和儲存費用。貴組織只需支付執行查詢時產生的 BigQuery 分析費用。
- 免維護的資料存取：基礎架構由 Google 全代管，讓團隊專注於資料分析，而非資料工程。
- 資料完整性和重複資料刪除：初始擷取後，安全性資料會經常更新或重新擴充。這項功能會使用精細的資料操縱語言 (DML) 合併作業，就地更新記錄。您會收到經過清理且不含重複項目的資料，不必編寫複雜的 SQL 重複資料刪除常式。
- 流暢的 MSSP 支援 (中樞輻射型)：管理式安全服務供應商 (MSSP) 可從單一集中式中樞專案，以程式輔助方式訂閱客戶的連結資料集，有效管理多個客戶租戶的數據分析。
- 內建法規遵循機制：這項功能原生支援 VPC Service Controls、客戶自行管理的加密金鑰 (CMEK) 和資料落地 (DRZ)。系統會使用聯邦資源識別服務 (FRIS)，將面向客戶的稽核記錄 (資料存取透明化控管機制) 直接傳送至您的 Cloud Logging 工作區。
常見用途
進階 BigQuery 匯出功能專為資安分析師、威脅獵捕人員、資料科學家和資安工程師設計，可直接、高效能地存取最新資安資料，用於臨時調查、自訂分析，以及與商業智慧工具整合。
進階 BigQuery 匯出功能的常見用途包括：
- 直接在 BigQuery 執行臨時查詢。
- 使用自己的商業智慧工具 (例如 Microsoft Power BI) 建立資訊主頁、報表和數據分析。
- 將 Google SecOps 資料與第三方資料集彙整。
架構
進階 BigQuery 匯出架構採用持續串流管道。Google SecOps 執行個體的資料會透過高處理量的 BigQuery Storage Write API (gRPC)，推送至 Google 管理的安全房客專案。
Google SecOps 會使用 BigQuery 共用功能建立安全的資料清單，並提供存取權。在 BigQuery 的「Explorer」窗格中， Google Cloud 專案會自動訂閱這個清單，並顯示為secops_linked_datalake 連結的資料集。
這個模型支援強大的資料隔離功能，同時提供流暢的唯讀查詢存取權。
重要術語
以下是進階 BigQuery Export 的重要詞彙和概念：
- 租戶專案：由 Google SecOps 擁有及管理的 Google Cloud 專案。匯出的安全性資料會實際儲存及管理於這項專案。您沒有這項專案的直接存取權。
- BYOP (自備專案)：貴機構擁有的 Google Cloud 專案，並連結至 Google SecOps 執行個體。這個專案會顯示連結的資料集，您可以在這裡執行查詢並產生分析費用。
- 專案 ID：連結至 Google SecOps 執行個體的 Google Cloud 專案全域專屬 ID。
- 連結的資料集：唯讀 BigQuery 資料集，做為其他專案中共用資料集的符號連結或指標。您不必複製資料就能查詢，資料供應商則負責管理實體儲存空間，確保資料存取安全。
- 細微 DML (FGDML)：進階 BigQuery 匯出功能使用的自動化後端程序，可執行 upsert (更新和插入) 作業。如果事件延遲送達或重新經過擴充，系統會根據事件的專屬 ID (例如
metadata.id) 就地更新現有資料列，而不是建立重複資料。 - 統合式資料模型 (UDM)：Google 的可擴充標準結構定義，可將數百種供應商產品的安全性遙測資料剖析及正規化，轉換為一致的格式。
- 代管安全服務供應商 (MSSP)： Google Cloud 認證 MSSP 提供全方位的工具和專業知識，協助您強化防禦機制，抵禦不斷演變的網路安全威脅。
設定系統
如要使用進階 BigQuery Export，請先設定系統。請根據您的環境和需求，按照下列其中一節的說明操作。
預設設定
請按照下列步驟設定系統，使用進階 BigQuery 匯出功能，並開始查詢資料：
- 確認授權：確認貴組織具備 Google SecOps Enterprise Plus 授權。
- 找出專案：登入 Google Cloud 控制台，選取連結至 Google SecOps 執行個體的 Google Cloud 專案。
- 找出已連結的資料集：在 BigQuery 控制台中，使用「Explorer」窗格前往專案的資源。您會看到名為「
secops_linked_datalake」的連結資料集。這個資料集是唯讀指標，指向由 Google SecOps 管理的即時安全性資料。 驗證 Identity and Access Management (IAM) 權限：如要查詢資料，使用者或服務帳戶必須在專案中具備下列 IAM 角色：
roles/bigquery.dataViewer：貴組織的終端使用者或 BI 工具必須具備這項角色，才能對連結的資料集檢視表執行 SQL 查詢。roles/bigquery.jobUser：貴組織的終端使用者或 BI 工具必須具備這項角色，才能對連結的資料集檢視表執行 SQL 查詢。Chronicle API Admin：在 Google SecOps 中，必須執行 Dataplane API (例如ProvisionPartnerSubscription)，才能管理 MSSP 訂閱項目。
使用者 (例如安全分析師和資料消費者) 可透過這些角色，在連結的資料集中查詢資料，並在專案中執行 BigQuery 工作。
執行測試查詢：開啟 BigQuery SQL 工作區並執行基本查詢，確認存取權設定正確無誤。您可以使用下列程式碼片段：
SELECT * FROM `PROJECT_ID.secops_linked_datalake.events` LIMIT 10;將 PROJECT_ID 替換為實際的 Google Cloud 專案 ID。
在 VPC Service Controls 範圍內設定進階 BigQuery Export
如要在 VPC Service Controls perimeter 內設定 Advanced BigQuery Export，您需要設定特定輸入規則。這項規則允許必要的 Google SecOps 服務帳戶，與受 perimeter 保護的專案中的 BigQuery 和相關服務互動。如需詳細操作說明和更多資訊，請參閱「為 Google Security Operations 設定 VPC Service Controls」。
如要在 VPC Service Controls perimeter 內設定 Advanced BigQuery Export，請設定下列輸入規則：
- ingressFrom: identities: - serviceAccount:malachite-advanced-bq-exporter@system.gserviceaccount.com - serviceAccount:malachite-data-export-service@system.gserviceaccount.com sources: - accessLevel: "*" ingressTo: operations: - serviceName: analyticshub.googleapis.com methodSelectors: - method: "*" - serviceName: bigquery.googleapis.com methodSelectors: - method: "*" resources: - projects/PROJECT_NUMBER將
PROJECT_NUMBER替換為已連結 Google SecOps 的 Google Cloud 專案編號。
MSSP：集中管理子租戶的 BigQuery 資料存取權
如果您是 MSSP，可以透過 Google SecOps dataplane API，在中央「中樞」專案中，以程式輔助方式建立 BigQuery 連結資料集。這些連結資料集會指向客戶 (輪輻) 的 BigQuery 資料，讓您能透過單一介面查詢多個租戶。這項程序需要客戶授予 MSSP 執行個體存取權。
主要優點包括：
- 集中查看：在單一位置分析所有客戶的安全性資料。
- 效率提升：簡化客戶群的威脅搜尋和回報作業。
- 程式輔助管理：自動設定及停用資料存取權。
必要條件
MSSP
- 做為中央「中樞」的專案。 Google Cloud
- Google SecOps 執行個體。
- 具備適當的 IAM 權限，可管理中樞專案中的 BigQuery 資料集。
客戶 (子租戶)
- Google SecOps Enterprise Plus 授權。
- 連結至 Google SecOps 執行個體的 Google Cloud 專案 (BYOP)。
- 管理 Google SecOps API 存取權的適當 IAM 權限。
gcloud已安裝並驗證 CLI。
步驟 1：客戶授予 MSSP 存取權
客戶可以呼叫 ProvisionPartnerSubscription API，將權限授予 MSSP 的 Google SecOps 執行個體。Google SecOps 會在 MSSP 的 Google Cloud 專案中，自動佈建 BigQuery 連結資料集，並以 secops_linked_datalake_<customer_id> 格式命名。該專案已連結至 MSSP 的 Google SecOps 執行個體。這個資料集會連結至客戶的 Google SecOps 資料。
API 端點：
POST
https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:provisionPartnerSubscription
方法
POST
要求主體
空白 JSON 物件。
{}
CURL 指令範例 (由顧客執行)：
curl -X POST \
-H "Authorization: Bearer ${OAUTH_TOKEN}" \
-H "Content-Type: application/json" \
-d '{}' \
"https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:provisionPartnerSubscription"
請替換下列預留位置：
- CUSTOMER_PROJECT：客戶的 Google Cloud 專案 ID 或專案編號。請參閱「建立及管理專案」。
- REGION：客戶 Google SecOps 執行個體所在的 Google Cloud 區域 (例如 us、europe-west2)。請參閱區域清單。
- CUSTOMER_INSTANCE_ID：客戶的 Google SecOps 執行個體 ID。
回應主體
傳回包含訂閱項目詳細資料的 ProvisionPartnerSubscriptionResponse。
{
"subscriptionDetails": {
"subscription": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID",
"linkedDataset": "string"
}
}
- SUBSCRIBER_PROJECT_ID：訂閱者 MSSP 的 Google Cloud 專案 ID。
- SUBSCRIBER_REGION：訂閱者 Google Cloud 專案所在的區域。
- SUBSCRIPTION_ID：現有訂閱項目的專屬 ID。
步驟 2：MSSP 跨租戶查詢資料
在 (MSSP 的) Google Cloud 專案中佈建多個客戶的連結資料集後，您可以使用標準 BigQuery SQL 查詢分析資料。如要查詢多個客戶，請使用 UNION ALL 運算子。
查詢範例 (由 MSSP 在中樞專案中執行)：
SELECT event_type, timestamp
FROM `PARTNER_PROJECT_ID.secops_linked_datalake_CUSTOMER_ID_1.events`
WHERE <your_conditions>
UNION ALL
SELECT event_type, timestamp
FROM `PARTNER_PROJECT_ID.secops_linked_datalake_CUSTOMER_ID_2.events`
WHERE <your_conditions>
-- Add more UNION ALL clauses for other customers
步驟 3：客戶稽核存取權
客戶可以呼叫 fetchSubscriptions API，查看所有有效的訂閱項目和存取其資料的 MSSP 執行個體。
API 端點
GET https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:fetchSubscriptions
方法
GET
CURL 指令範例 (由顧客執行)：
curl -X GET \
-H "Authorization: Bearer ${OAUTH_TOKEN}" \
"https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:fetchSubscriptions"
替換下列預留位置：
- CUSTOMER_PROJECT：客戶的 Google Cloud 專案 ID 或專案編號。請參閱「建立及管理專案」。
- REGION：客戶 Google SecOps 執行個體所在的 Google Cloud 區域 (例如 us、europe-west2)。請參閱區域清單。
- CUSTOMER_INSTANCE_ID：客戶的 Google SecOps 執行個體 ID。
回應主體
傳回 FetchSubscriptionsResponse，其中包含有效訂閱項目清單。
{
"subscriptions": [
{
"subscription": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID",
"linkedDataset": "string"
}
]
}
- SUBSCRIBER_PROJECT_ID：訂閱者的 Google Cloud 專案 ID。訂閱者可以是客戶或 MSSP。
- SUBSCRIBER_REGION：訂閱者 Google Cloud 專案所在的區域。
- SUBSCRIPTION_ID：現有訂閱項目的專屬 ID。
步驟 4：客戶撤銷存取權 (如有需要)
如果客戶需要撤銷 MSSP 的存取權，可以使用 revokePartnerSubscription API。這項操作會立即撤銷使用 MSSP 中心專案查詢連結資料集的權限。遭撤銷的訂閱 ID 會失效。
API 端點
POST https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:revokePartnerSubscription
方法
POST
要求主體
需要從 fetchSubscriptions API 呼叫取得要撤銷的訂閱 URI。
{
"subscriptionUri": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID"
}
CURL 指令範例 (由顧客執行)：
# Set subscription details obtained from Fetch Subscriptions
export SUBSCRIBER_PROJECT_ID="partner-byop-project-id"
export SUBSCRIBER_REGION="subscription-location"
export SUBSCRIPTION_ID="subscription-id"
curl -X POST \
-H "Authorization: Bearer ${OAUTH_TOKEN}" \
-H "Content-Type: application/json" \
-d '{
"subscriptionUri": "projects/SUBSCRIBER_PROJECT_ID/locations/SUBSCRIBER_REGION/subscriptions/SUBSCRIPTION_ID"
}' \
"https://chronicle.googleapis.com/v1alpha/projects/CUSTOMER_PROJECT/locations/REGION/instances/CUSTOMER_INSTANCE_ID/bigQueryExport:revokePartnerSubscription"
替換下列預留位置：
- SUBSCRIBER_PROJECT_ID：訂閱者的 Google Cloud 專案 ID。
- SUBSCRIBER_REGION：訂閱者 Google Cloud 專案所在的區域。
- SUBSCRIPTION_ID：現有訂閱項目的專屬 ID。
- CUSTOMER_PROJECT：客戶的 Google Cloud 專案 ID 或專案編號。
- REGION：客戶 Google SecOps 執行個體所在的 Google Cloud 區域。
- CUSTOMER_INSTANCE_ID：客戶的 Google SecOps 執行個體 ID。
回應主體
空白 JSON 物件。
{}
查詢 BigQuery 資料
您可以直接在 BigQuery 中執行查詢，也可以將自己的商業智慧工具 (例如 Microsoft Power BI) 連線至 BigQuery。
如要進一步瞭解查詢，請參閱下列資源：
BigQuery 租戶專案中的資料保留期限
BigQuery 資料的保留期限，與 Google SecOps 租戶設定的資料保留期限相同。BigQuery 資料的資料保留政策無法單獨自訂。資料超過租戶的保留期限後，系統會自動從 BigQuery 資料表清除。
連結的資料集
連結的資料集包含對應不同類型安全性資料的資料表。
下表列出可用的資料集、目標資料更新間隔，以及用於確保資料完整性的專屬 ID：
| 資料集名稱 | 說明 | 最佳預期更新間隔 | 用於簡化的專屬 ID |
|---|---|---|---|
events | UDM 結構定義中的標準化安全性事件。如要瞭解結構定義，請參閱「Google SecOps 事件結構定義」。 | < 5 分鐘 | id (字串表示法) |
rule_detections | Google SecOps 偵測引擎規則產生的偵測結果。 | < 5 分鐘 | detection.id |
ioc_matches | 找到與 UDM 事件相符的入侵指標 (IOC)。 | < 5 分鐘 | day_bucket_seconds、feed_log_type、ioc_type、ioc_value 的複合索引鍵 |
entity_graph | 實體 (使用者、資產) 及其關係的脈絡資料。 | 約 4 小時 (批次) | partition_day、metadata.product_entity_id、metadata.event_metadata.id 的複合索引鍵 |
ingestion_metrics | 記錄檔擷取量和資料來源的統計資料。 | 約 5 分鐘 | 無 (僅附加時間序列) |
entity_enum_value_to_name_mapping | 將數值對應至實體圖表列舉型別的字串值。 | 不適用 | 無 |
udm_enum_value_to_name_mapping | 將數值對應至 UDM 事件列舉型別的字串值。 | 不適用 | 無 |
查詢範例
以下範例說明如何查詢資料集，以瞭解常見的安全用途。
範例：尋找過去 24 小時內來自特定 IP 位址的所有網路連線
這項查詢會搜尋事件資料表，找出可疑 IP 位址近期的網路活動。
SELECT
metadata.product_event_type,
principal.ip,
target.ip,
network.application_protocol
FROM
`PROJECT_ID.secops_linked_datalake.events`
WHERE
principal.ip = '192.0.2.1'
AND metadata.event_timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 24 HOUR);
- 將 PROJECT_ID 替換為 Google Cloud 專案 ID。
範例：計算偵測到最多次的前 10 項規則
對 rule_detections 資料表執行這項查詢，有助於找出環境中最常偵測到的威脅或違反政策行為。
SELECT
rule_name,
COUNT(*) AS detection_count
FROM
`PROJECT_ID.secops_linked_datalake.rule_detections`
WHERE
detection.id IS NOT NULL
GROUP BY
1
ORDER BY
2 DESC
LIMIT
10;
- 將 PROJECT_ID 替換為 Google Cloud 專案 ID。
最佳做法
以下是使用進階 BigQuery 匯出功能查詢資料的最佳做法：
最佳化查詢成本：雖然儲存空間免費，但運算費用會計入專案，因此請採取下列做法：
- 避免使用 SELECT *。在查詢中，只指定需要的資料欄，減少掃描的資料量，降低查詢成本。
- 請務必利用 BigQuery 分區 (使用 hour_time_bucket 分區時間欄) 和分群 (hour_time_bucket、log_type、event_type、id) 功能，減少掃描的資料量，大幅降低查詢成本。
使用分區篩選器：系統會依 hour_time_bucket 欄將事件資料表分區。請務必在這個資料欄加入 WHERE 子句篩選器，將查詢限制在最短的時間範圍內，這樣可以大幅提升效能並降低成本。
編寫有效率的查詢：UDM 結構定義廣泛且稀疏。如要有效篩選特定事件類型，請使用 WHERE... 相關欄位 IS NOT NULL。舉例來說，如要只尋找 DNS 查詢，請篩選 WHERE network.dns.questions.name IS NOT NULL。
驗證查詢：執行查詢前，請先使用 BigQuery UI 中的查詢驗證工具。查詢驗證工具會預估處理的資料量，協助您避免執行意外龐大且昂貴的查詢。
使用列舉對應表：進階 BigQuery Export 包含 entity_enum_value_to_name_mapping 和 udm_enum_value_to_name_mapping 資料表。您可以使用這些值加入事件，將數值列舉值轉換為人類可讀的字串，而不需在查詢中手動編寫轉換邏輯。
整合稽核記錄：進階 BigQuery Export 與聯合資源識別服務 (FRIS) 整合。如果 Google 人員存取代管租戶專案，系統會使用 Google 資料存取透明化控管機制功能，在 BYOP Cloud Logging 工作區中，以原生方式提供客戶稽核記錄。
已知限制
以下是進階 BigQuery Export 功能的已知限制：
- 實體圖延遲時間：entity_graph 資料集是透過批次處理程序匯出，資料更新間隔約為四小時。
- UDM 結構定義欄位限制：BigQuery 的每個資料表最多可有 10,000 個欄位。UDM 結構定義包含超過 27,000 個欄位，且資料稀疏。匯出管道會智慧地只納入特定事件中已填入資料的資料欄，讓大多數客戶的資料量遠低於上限。Google SecOps 會監控資料欄用量，並在租戶專案接近這個門檻時，主動要求提高上限。
- 無法設定保留期限：所有匯出至 BigQuery 的安全性資料，其保留期限會自動與 Google SecOps 專案的資料保留期限同步，無法單獨設定。
- 不支援 SOAR 資料：進階 BigQuery Export 不支援 Google Security Operations SOAR (search_everything_db) 的資料。
- 不支援跨區域聯盟：中樞和輻射 MSSP 訂閱方案支援相同區域。不支援跨區域聯盟 (例如從美國到歐洲)。
- 可能出現重複事件 (機率低於 1%)：雖然系統會使用 DML 合併作業自動簡化，但由於分散式串流的性質，在背景合併完成前，邊緣案例擷取期間仍有極低機率 (< 1%) 出現重複事件。
- 可存取歷來資料，但須採用特定方法：啟用進階 BigQuery 匯出功能後，系統就會開始匯出資料，而現有專案中的舊資料仍可存取。如要查詢啟用進階 BigQuery 匯出功能前匯出的資料，您必須使用單一查詢，聯結兩個專案中的資料，或在個別專案中執行兩項查詢 (一個查詢舊資料集，另一個查詢新資料集)。
疑難排解與支援
下表列出常見問題的解決方法：
| 觀察到的症狀 | 可能原因 | 建議做法 |
|---|---|---|
查詢失敗，並顯示 Access Denied: User does not have permission. | 使用者或服務帳戶在連結至 Google SecOps 執行個體的 Google Cloud 專案中，缺少必要的 BigQuery IAM 角色。 | 將「BigQuery 資料檢視者」和「BigQuery 工作使用者」角色授予主體。使用「gcloud projects get-iam-policy YOUR_PROJECT_ID --flatten="bindings.members" --format='table(bindings.role)' --filter="bindings.members:user:your-user@example.com"」驗證 |
我的 BigQuery 專案中沒有顯示 secops_linked_datalake 資料集。 | 1. 您不在正確的 Google Cloud 專案 中。2. 貴機構未採用 Enterprise Plus 方案。 3. 貴組織使用的是 Enterprise Plus 級別，但 Google SecOps 執行個體未啟用進階 BigQuery Export。 | 1. 在 Google Cloud 控制台中，確認已選取連結至 Google SecOps 執行個體的專案。 2. 請與 Google 代表聯絡，確認您的 Google SecOps 授權層級。 3. 請與 Google SecOps 代表聯絡，要求對方在 Google SecOps 執行個體中啟用進階 BigQuery Export。 |
API 呼叫失敗，並出現 ProvisionPartnerSubscription 或 FetchSubscriptions 的權限錯誤 | 呼叫端身分缺少必要權限。 | 確認發出呼叫的服務帳戶或使用者具備 Chronicle API 管理員 IAM 角色，其中包含中心執行個體資源的權限。 |
| 缺少自訂欄或結構定義不符 | 擷取了全新的記錄類型或深度巢狀 UDM 欄位。 | 進階 BigQuery Export 會動態更新結構定義。系統填入新的 UDM 欄位時，會自動偵測結構定義不符的情況，暫停一小段時間，更新 BigQuery 結構定義，然後重試插入作業。您不必採取任何行動。 |
常見問題
以下各節提供常見問題的解答。
我是否需要修改現有的舊版 BigQuery SQL 查詢，才能使用 Advanced Google SecOps Export？
不會。為維持 100% 回溯相容性，Google SecOps 會在連結資料集中公開檢視表 (例如 events、ioc_matches)，這些檢視表與舊版 Google SecOps 匯出功能的資料表結構定義完全相符。
我可以調整進階 BigQuery 匯出功能的資料保留期限嗎？
不會。進階 BigQuery Export 的資料保留期限，會直接反映 Google SecOps 資料保留政策。Google SecOps 中的資料到期後，會自動到期並從 BigQuery 租戶專案中刪除。
後端 DML 更新和簡化作業會收費嗎？
不會。所有後端儲存空間、串流資料即時插入作業，以及精細 DML 運算費用，都由 Google SecOps 吸收。您只需為在 BYOP 中明確執行的查詢付費。
這項功能是否適用於 Google SecOps Standard 或 Enterprise 級別？
否。進階 BigQuery 匯出功能 (代管儲存空間和串流) 是 Google SecOps Enterprise Plus 方案專屬的付費功能。標準版和企業版客戶可以使用「自備 BigQuery」(BYOBQ) 模型，提供 BigQuery 專案並支付儲存空間和運算費用。
為什麼進階 BigQuery 匯出資料和 Google Security Operations 使用者介面顯示的統計資料，在計數上可能會出現暫時性差異？
由於進階 BigQuery 匯出管道採用近乎即時的串流方式，因此可能會出現暫時性差異。主要原因如下：
延遲資料：匯出管道專為高處理量設計。大部分資料會在 5 到 10 分鐘內顯示在 BigQuery 中。不過，有時事件可能會因網路延遲或來源系統問題，而延遲送達處理管道。系統會盡量合併這些延遲事件，但可能會有短暫的時間差，導致反映最新狀態的即時使用者介面統計資料，與持續更新的 BigQuery 資料不同。
重新擴充資料：Google SecOps 會持續運用最新的威脅情報和背景資訊，擴充事件資料。進階 BigQuery Export 會根據事件在初始擴充時的狀態匯出事件。如果事件串流至 BigQuery 後，又以新資訊重新擴充，BigQuery 可能不會立即反映更新後的版本。因此，如果與一律顯示完整重新擴充資料的 UI 元素比較，可能會出現差異。
DML 合併延遲時間：為確保 BigQuery 中的資料保持最新狀態，並處理延遲送達的資料或潛在重複資料等問題，管道會在背景使用資料操縱語言 (DML)
MERGE作業。這些作業雖然有效率，但不會立即完成。處理這些合併作業時，會出現固有的延遲，尤其是細微的更新。在這個合併間隔期間，針對 BigQuery 執行的查詢可能無法擷取 Google Security Operations UI 中已顯示的最新微更新。
由於上述因素 (資料延遲、重新充實處理和合併延遲)，BigQuery 和即時 UI 統計資料在任何精確秒數內，不一定都能完美 1:1 對應。進階 BigQuery 匯出功能可提供近乎即時的資料，適合用於威脅搜尋、自訂數據分析和資訊主頁等用途，在這些情況下，資料更新間隔必須在幾分鐘內。如果稽核作業需要絕對的時間點一致性，請考量可能會有短暫的細微差異。
還有其他問題嗎？向社群成員和 Google SecOps 專家尋求解答。