Menganalisis aktivitas feed dengan Cloud Logging

Didukung di:

Panduan ini membantu engineer dan administrator keamanan memantau, men-debug, dan memecahkan masalah pipeline dan feed penyerapan dalam Google SecOps SIEM. Untuk ringkasan yang lebih luas tentang pemantauan penyerapan data, lihat Memeriksa kesehatan penyerapan data dan Memecahkan masalah penyerapan data. Panduan ini menjelaskan cara mengirim, melihat, dan membuat kueri log aktivitas penyerapan dan feed di Cloud Logging. Dengan menggunakan Cloud Logging, Anda dapat mendiagnosis masalah terkait pengiriman log—seperti log yang tidak ada, tertunda, atau gagal—dan mengurangi waktu yang diperlukan untuk mengatasi anomali penyerapan. Visibilitas ini ke mekanisme penyerapan berbasis push dan pull juga memungkinkan Anda menggunakan Gemini Cloud Assist untuk menyelidiki telemetri logging dan metrik.

Sebelum memulai

  • Untuk mendapatkan izin yang diperlukan guna melihat log, minta administrator untuk memberi Anda salah satu peran Identity and Access Management (IAM) berikut di project Anda:

    • Logs Viewer (roles/logging.viewer)
    • Private Logs Viewer (roles/logging.privateLogViewer)

    Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

  • Pahami implikasi biaya. Cloud Logging adalah layanan yang dapat ditagih. Paket gratis tersedia sebagai bagian dari Google Cloud Program Gratis. Untuk mengetahui informasi selengkapnya, lihat Google Cloud Harga Observability.

Terminologi utama

  • chronicle-siem: Label namespace untuk log yang terkait dengan ekosistem Google SecOps.
  • chronicle.googleapis.com/ingestion_activity: ID log untuk aliran log yang terkait secara khusus dengan pipeline penyerapan data Google SecOps.
  • storage_transfer_job: Jenis resource untuk log dari feed statis yang menggunakan Storage Transfer Service (STS).
  • storagetransfer.googleapis.com/transfer_activity: ID log untuk log aktivitas STS.

Ringkasan analisis aktivitas feed

Menganalisis aktivitas feed di Cloud Logging melibatkan beberapa langkah utama:

  1. Mengakses Logs Explorer: Buka Logs Explorer di Google Cloud konsol dan pilih Google Cloud project yang benar. Untuk mengetahui informasi selengkapnya, lihat dokumentasi antarmuka Logs Explorer.
  2. Membuat kueri log: Buat kueri untuk memfilter log berdasarkan berbagai parameter, seperti rentang waktu, namespace, ID log, mekanisme penyerapan, ID feed, atau ID pengumpul. Untuk mengetahui aturan sintaksis, lihat Bahasa kueri logging. Panduan ini memberikan contoh untuk skenario pemfilteran umum.
  3. Menyelidiki jenis feed tertentu: Pelajari cara membuat kueri log untuk feed menggunakan metode penyerapan yang berbeda, termasuk yang menggunakan Storage Transfer Service (STS), yang memiliki format log unik.
  4. Menggunakan alat konsol: Manfaatkan fitur konsol Google SecOps bawaan, seperti Debug with logs dan Gemini Cloud Assist, untuk menyederhanakan proses analisis dan proses debug.
  5. Memahami skema log: Lihat referensi skema untuk memahami kolom dan jenis data dalam payload log, yang membantu analisis dan pemecahan masalah yang lebih mendalam.

Bagian berikut memberikan informasi mendetail untuk membantu Anda memantau kesehatan pipeline penyerapan data secara efektif, men-debug masalah, dan memecahkan masalah error.

Melihat dan membuat kueri log aktivitas feed

Untuk melihat dan membuat kueri log aktivitas feed, lakukan hal berikut:

  1. Buka halaman Logs Explorer di Google Cloud konsol.
  2. Pilih Google Cloud project yang terkait dengan instance Google SecOps Anda.
  3. Masukkan ekspresi kueri di panel Query untuk memfilter log.
  4. Klik Run query.

Contoh kueri untuk skenario umum ditampilkan di beberapa bagian berikutnya.

Memfilter menurut namespace Google SecOps

Untuk mengambil semua log yang terkait dengan ekosistem Google SecOps, gunakan kueri berikut:

labels.namespace="chronicle-siem"

Memfilter menurut aliran log aktivitas penyerapan

Untuk mengisolasi log yang secara khusus terkait dengan pipeline penyerapan data, gunakan kueri berikut:

log_id("chronicle.googleapis.com/ingestion_activity")

Memfilter menurut mekanisme penyerapan

Untuk menargetkan log untuk mekanisme penyerapan tertentu, seperti API pihak ketiga, gunakan kolom labels.ingestion_mechanism dalam kueri Anda:

labels.ingestion_mechanism="Third Party API"

Memfilter menurut ID feed atau ID pengumpul

Untuk melihat log untuk feed atau pengumpul penyerapan tertentu, gunakan kolom labels.feed_id atau labels.collector_id. Untuk mengetahui informasi tentang cara mengonfigurasi feed, lihat Mengelola feed data dan Ringkasan feed data. Untuk pengumpul, lihat Penyerapan dan penguraian log:

labels.feed_id="FEED_ID"

Ganti FEED_ID dengan ID unik feed Anda.

labels.collector_id="COLLECTOR_ID"

Ganti COLLECTOR_ID dengan ID unik pengumpul Anda.

Melihat log Storage Transfer Service

Log untuk feed statis yang menggunakan Storage Transfer Service (STS) dirutekan dari lingkungan tenant ke project Google Cloud Anda dan menggunakan jenis resource dan nama log yang berbeda. Untuk mengetahui informasi umum tentang STS, lihat dokumentasi Storage Transfer Service.

  • Sasaran: Melihat aktivitas log STS.
    Tindakan: Jalankan kueri berikut: none resource.type="storage_transfer_job" AND log_id("storagetransfer.googleapis.com/transfer_activity")

  • Kemungkinan kegagalan: Penelusuran dengan log_id("chronicle.googleapis.com/ingestion_activity") tidak akan menampilkan log untuk feed statis ini.

  • Langkah korektif: Gunakan resource.type="storage_transfer_job" dan log_id STS tertentu.

Menggunakan alat konsol untuk men-debug feed

Google SecOps menyediakan integrasi konsol untuk mengakses log aktivitas:

  • Ask Gemini Cloud Assist: Di halaman Feeds, pilih Ask Gemini Cloud Assist untuk membuka panel chat. Anda dapat mengajukan pertanyaan tentang volume dan error feed Anda. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Gemini di Google SecOps.
  • Debug with logs: Di halaman Feed management, buka menu tindakan untuk feed tertentu dan pilih Debug with logs. Opsi ini juga tersedia dari halaman View feed. Opsi ini akan membuka Logs Explorer di tab baru, yang telah difilter sebelumnya untuk ID feed yang dipilih.

Referensi skema log

Log aktivitas feed menggunakan struktur payload JSON terpadu.

Kolom log aktivitas penyerapan

Kolom Jenis data Deskripsi
request_start_time string Stempel waktu (RFC 3339) saat aktivitas dimulai.
activity_duration string Total durasi aktivitas yang telah berlalu (misalnya, "1.500s").
transfer_id string ID unik operasi transfer data atau file tertentu.
feed_id string ID unik feed penyerapan Google SecOps.
collector_id string ID unik pengumpul yang menjalankan penyerapan.
log_type string Format log yang diserap (misalnya, DUO, OFFICE_365). Untuk mengetahui daftar string format, lihat Pengurai default yang didukung.
file string Nama file atau penampung blob yang diproses (untuk sumber berbasis file).
request_urls array of strings URL target yang digunakan untuk mengambil atau mentransfer data (untuk sumber berbasis API).
http_status_code integer Kode status HTTP yang diterima dari operasi pengambilan API.
bytes_transferred integer Jumlah byte mentah yang berhasil ditransfer selama aktivitas.
record_count integer Jumlah entri log individual yang diproses, diambil, atau diuraikan.
activity string Nama tugas yang sedang dijalankan (misalnya, File Processing, File Transfer).
details string Metadata atau detail tambahan untuk aktivitas penyerapan.
error_details object Informasi error mendetail jika aktivitas mengalami kegagalan. Lihat Kolom detail error.

Kolom detail error

Kolom Jenis data Deskripsi
error_message string Penjelasan error yang dapat dibaca manusia.
error_code string Kode atau ID error (mendukung kode string numerik dan deskriptif).
error_type string Klasifikasi atau kategori error.
is_retriable boolean Menunjukkan apakah operasi yang menyebabkan error dapat dicoba lagi.

Contoh payload log

Contoh log aktivitas penyerapan yang berhasil

{
  "request_start_time": "2026-06-30T19:00:00Z",
  "activity_duration": "0.500s",
  "transfer_id": "transfer-12345",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "file": "audit_log_2026_06_30.json",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 200,
  "bytes_transferred": 4512000,
  "record_count": 12500,
  "activity": "File Processing",
  "details": "Successfully processed and validated 12500 records from Workday."
}

Contoh log aktivitas penyerapan yang gagal

{
  "request_start_time": "2026-06-30T19:05:00Z",
  "activity_duration": "1.200s",
  "transfer_id": "transfer-12346",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 401,
  "bytes_transferred": 0,
  "record_count": 0,
  "activity": "File Transfer",
  "details": "Authorization failure during API request.",
  "error_details": {
    "error_message": "Invalid API token or credential expired.",
    "error_code": "401",
    "error_type": "AUTHORIZATION_ERROR",
    "is_retriable": true
  }
}

Pemecahan masalah

Bagian ini menguraikan batasan dan masalah umum.

Batasan

  • Kolom Storage Transfer Service (STS): Log untuk feed statis yang dirutekan dari STS menggunakan jenis resource storage_transfer_job dan nama log storagetransfer.googleapis.com/transfer_activity, bukan chronicle.googleapis.com/ingestion_activity.
  • Korelasi telemetri: Kolom kardinalitas tinggi seperti feed_id disertakan sebagai label metadata dalam log, bukan label resource dalam definisi resource yang dimonitor. Kemampuan korelasi Gemini Cloud Assist menggunakan label metadata tunduk pada evaluasi berkelanjutan.

Perbaikan error

Deskripsi masalah Perbaiki
Log untuk feed statis tidak ada dalam kueri standar Pastikan Anda membuat kueri menggunakan jenis resource khusus STS storage_transfer_job dan ID log storagetransfer.googleapis.com/transfer_activity. Lihat Melihat log Storage Transfer Service.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.