Menganalisis aktivitas feed dengan Cloud Logging

Didukung di:

Panduan ini membantu engineer dan administrator keamanan memantau, men-debug, dan memecahkan masalah pipeline dan feed penyerapan dalam Google SecOps SIEM. Untuk ringkasan yang lebih luas tentang pemantauan penyerapan data, lihat Memeriksa kondisi penyerapan data dan Memecahkan masalah penyerapan data. Panduan ini menjelaskan cara mengirim, melihat, dan membuat kueri log aktivitas penyerapan dan feed di Cloud Logging. Dengan menggunakan Cloud Logging, Anda dapat mendiagnosis masalah pengiriman log—seperti log yang tidak ada, tertunda, atau gagal—dan mengurangi waktu yang diperlukan untuk menyelesaikan anomali penyerapan. Visibilitas ke mekanisme penyerapan berbasis push dan pull ini juga memungkinkan Anda menggunakan Gemini Cloud Assist untuk menyelidiki telemetri logging dan metrik.

Sebelum memulai

  • Untuk mendapatkan izin yang diperlukan guna melihat log, minta administrator Anda untuk memberi Anda salah satu peran Identity and Access Management (IAM) berikut di project Anda:

    • Logs Viewer (roles/logging.viewer)
    • Private Logs Viewer (roles/logging.privateLogViewer)

    Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

  • Pahami implikasi biaya. Cloud Logging adalah layanan yang dapat ditagih. Paket gratis tersedia sebagai bagian dari Program Gratis Google Cloud . Untuk mengetahui informasi selengkapnya, lihat Harga ObservabilitasGoogle Cloud .

Terminologi utama

  • chronicle-siem: Label namespace untuk log yang terkait dengan ekosistem Google SecOps.
  • chronicle.googleapis.com/ingestion_activity: ID log untuk aliran log yang terkait secara khusus dengan pipeline penyerapan data Google SecOps.
  • storage_transfer_job: Jenis resource untuk log dari feed statis yang menggunakan Storage Transfer Service (STS).
  • storagetransfer.googleapis.com/transfer_activity: ID log untuk log aktivitas STS.

Ringkasan analisis aktivitas feed

Menganalisis aktivitas feed di Cloud Logging melibatkan beberapa langkah utama:

  1. Mengakses Logs Explorer: Buka Logs Explorer di konsol Google Cloud , lalu pilih project Google Cloud yang benar. Untuk mengetahui informasi selengkapnya, lihat dokumentasi Antarmuka Logs Explorer.
  2. Pembuatan kueri log: Buat kueri untuk memfilter log berdasarkan berbagai parameter, seperti rentang waktu, namespace, ID log, mekanisme penyerapan, ID feed, atau ID pengumpul. Untuk aturan sintaksis, lihat Bahasa kueri logging. Panduan ini memberikan contoh untuk skenario pemfilteran umum.
  3. Menyelidiki jenis feed tertentu: Pelajari cara membuat kueri log untuk feed menggunakan berbagai metode penyerapan, termasuk yang menggunakan Storage Transfer Service (STS), yang memiliki format log unik.
  4. Menggunakan alat konsol: Manfaatkan fitur bawaan konsol Google SecOps, seperti Debug dengan log dan Gemini Cloud Assist, untuk menyederhanakan proses analisis dan pen-debug-an.
  5. Memahami skema log: Lihat referensi skema untuk memahami kolom dan jenis data dalam payload log, yang membantu analisis dan pemecahan masalah yang lebih mendalam.

Bagian berikut memberikan informasi mendetail untuk membantu Anda memantau secara efektif kondisi pipeline penyerapan data, men-debug masalah, dan memecahkan masalah error.

Melihat dan membuat kueri log aktivitas feed

Untuk melihat dan membuat kueri log aktivitas feed, lakukan hal berikut:

  1. Buka halaman Logs Explorer di konsol Google Cloud .
  2. Pilih project Google Cloud yang terkait dengan instance Google SecOps Anda.
  3. Masukkan ekspresi kueri di panel Query untuk memfilter log.
  4. Klik Run query.

Contoh kueri untuk skenario umum ditampilkan di beberapa bagian berikutnya.

Memfilter menurut namespace Google SecOps

Untuk mengambil semua log yang terkait dengan ekosistem Google SecOps, gunakan kueri berikut:

labels.namespace="chronicle-siem"

Memfilter menurut aliran log aktivitas penyerapan

Untuk mengisolasi log yang secara khusus terkait dengan pipeline penyerapan data, gunakan kueri berikut:

log_id("chronicle.googleapis.com/ingestion_activity")

Memfilter menurut mekanisme penyerapan

Untuk menargetkan log untuk mekanisme penyerapan tertentu, seperti API pihak ketiga, gunakan kolom labels.ingestion_mechanism dalam kueri Anda:

labels.ingestion_mechanism="Third Party API"

Memfilter menurut ID feed atau ID pengumpul

Untuk melihat log feed atau pengumpul data penyerapan tertentu, gunakan kolom labels.feed_id atau labels.collector_id. Untuk mengetahui informasi tentang cara mengonfigurasi feed, lihat Mengelola feed data dan Ringkasan feed data. Untuk pengumpul, lihat Penyerapan dan parsing log:

labels.feed_id="FEED_ID"

Ganti FEED_ID dengan ID unik feed Anda.

labels.collector_id="COLLECTOR_ID"

Ganti COLLECTOR_ID dengan ID unik pengumpul data Anda.

Melihat log Storage Transfer Service

Log untuk feed statis menggunakan Layanan Transfer Storage (STS) dirutekan dari lingkungan tenant ke project Google Cloud Anda dan menggunakan jenis resource dan nama log yang berbeda. Untuk mengetahui informasi umum tentang STS, lihat dokumentasi Storage Transfer Service.

  • Sasaran: Melihat aktivitas log STS.
    Tindakan: Jalankan kueri berikut: none resource.type="storage_transfer_job" AND log_id("storagetransfer.googleapis.com/transfer_activity")

  • Kegagalan yang diantisipasi: Penelusuran dengan log_id("chronicle.googleapis.com/ingestion_activity") tidak akan menampilkan log untuk feed statis ini.

  • Langkah perbaikan: Gunakan resource.type="storage_transfer_job" dan STS log_id tertentu.

Mengecualikan log tertentu menggunakan Log Router

Anda memiliki kontrol terperinci dan penuh atas log aktivitas feed mana yang dirutekan ke Cloud Logging. Dengan mengonfigurasi filter pengecualian di project Google Cloud , Anda dapat berhenti menerima log tertentu, seperti log untuk ID feed tertentu.

Untuk membuat filter pengecualian dan berhenti menerima log tertentu, lakukan hal berikut:

  1. Di konsol Google Cloud , pilih project Anda.
  2. Di kotak penelusuran, telusuri Log Router.
  3. Di daftar Log Router Sinks, klik menu More (tiga titik) di samping sink _Default, lalu pilih Edit sink.
  4. Di halaman Edit sink, buka bagian Choose logs to filter out of sink (optional), lalu tambahkan pengecualian sesuai kebutuhan.

Misalnya, untuk memfilter log Storage Transfer Service (STS), tambahkan filter pengecualian dan berikan ekspresi filter berikut:

resource.type="storage_transfer_job"

Jika Anda mengalami masalah dan ingin menonaktifkan sepenuhnya semua logging aktivitas feed, Anda dapat membuka kasus dukungan dan meminta tindakan ini. Google SecOps dapat menonaktifkan logging sepenuhnya di pihak mereka, tetapi tindakan ini bersifat "semua atau tidak sama sekali"—tindakan ini akan menonaktifkan log sepenuhnya untuk semua feed akun Anda, bukan baris atau feed tertentu.

Menggunakan alat konsol untuk men-debug feed

Google SecOps menyediakan integrasi konsol untuk mengakses log aktivitas:

  • Minta Gemini Cloud Assist: Di halaman Feed, pilih Minta Gemini Cloud Assist untuk membuka panel chat. Anda dapat mengajukan pertanyaan tentang volume dan error feed. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Gemini di Google SecOps.
  • Men-debug dengan log: Di halaman Pengelolaan feed, buka menu tindakan untuk feed tertentu, lalu pilih Men-debug dengan log. Opsi ini juga tersedia dari halaman Lihat feed. Tindakan ini akan membuka Logs Explorer di tab baru, yang telah difilter sebelumnya untuk ID feed yang dipilih.

Referensi skema log

Log aktivitas feed menggunakan struktur payload JSON terpadu.

Kolom log aktivitas penyerapan

Kolom Jenis data Deskripsi
request_start_time string Stempel waktu (RFC 3339) saat aktivitas dimulai.
activity_duration string Total durasi aktivitas yang telah berlalu (misalnya, "1.500 detik").
transfer_id string ID unik dari operasi transfer file atau data tertentu.
feed_id string ID unik feed penyerapan Google SecOps.
collector_id string ID unik pengumpul yang menjalankan penyerapan.
log_type string Format log yang di-ingest (misalnya, DUO, OFFICE_365). Untuk mengetahui daftar string format, lihat Parser default yang didukung.
file string Nama file atau container blob yang diproses (untuk sumber berbasis file).
request_urls array of strings URL target yang digunakan untuk menarik atau mentransfer data (untuk sumber berbasis API).
http_status_code integer Kode status HTTP yang diterima dari operasi pengambilan API.
bytes_transferred integer Jumlah byte mentah yang berhasil ditransfer selama aktivitas.
record_count integer Jumlah entri log individual yang diproses, ditarik, atau diuraikan.
activity string Nama tugas yang sedang dijalankan (misalnya, File Processing, File Transfer).
details string Metadata atau detail tambahan untuk aktivitas penyerapan.
error_details object Informasi error mendetail jika aktivitas mengalami kegagalan. Lihat Kolom detail error.

Kolom detail error

Kolom Jenis data Deskripsi
error_message string Penjelasan error yang dapat dibaca manusia.
error_code string Kode atau ID error (mendukung kode string deskriptif dan numerik).
error_type string Klasifikasi atau kategori error.
is_retriable boolean Menunjukkan apakah operasi yang menyebabkan error dapat dicoba lagi.

Contoh payload log

Contoh log aktivitas penyerapan yang berhasil

{
  "request_start_time": "2026-06-30T19:00:00Z",
  "activity_duration": "0.500s",
  "transfer_id": "transfer-12345",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "file": "audit_log_2026_06_30.json",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 200,
  "bytes_transferred": 4512000,
  "record_count": 12500,
  "activity": "File Processing",
  "details": "Successfully processed and validated 12500 records from Workday."
}

Contoh log aktivitas penyerapan yang gagal

{
  "request_start_time": "2026-06-30T19:05:00Z",
  "activity_duration": "1.200s",
  "transfer_id": "transfer-12346",
  "feed_id": "feed-998877",
  "collector_id": "collector-abcd",
  "log_type": "WORKDAY_AUDIT",
  "request_urls": [
    "https://api.workday.com/ccx/v1/tenant/logs"
  ],
  "http_status_code": 401,
  "bytes_transferred": 0,
  "record_count": 0,
  "activity": "File Transfer",
  "details": "Authorization failure during API request.",
  "error_details": {
    "error_message": "Invalid API token or credential expired.",
    "error_code": "401",
    "error_type": "AUTHORIZATION_ERROR",
    "is_retriable": true
  }
}

Pemecahan masalah

Bagian ini menguraikan batasan dan masalah umum.

Batasan

  • Kolom Storage Transfer Service (STS): Log untuk feed statis yang dirutekan dari STS menggunakan jenis resource storage_transfer_job dan nama log storagetransfer.googleapis.com/transfer_activity, bukan chronicle.googleapis.com/ingestion_activity.
  • Korelasi telemetri: Kolom kardinalitas tinggi seperti feed_id disertakan sebagai label metadata dalam log, bukan label resource dalam definisi resource yang dimonitor. Kemampuan korelasi Gemini Cloud Assist menggunakan label metadata tunduk pada evaluasi berkelanjutan.

Perbaikan error

Deskripsi masalah Perbaiki
Log tidak ada untuk feed statis dalam kueri standar Pastikan Anda membuat kueri menggunakan jenis resource khusus STS storage_transfer_job dan ID log storagetransfer.googleapis.com/transfer_activity. Lihat Melihat log Storage Transfer Service.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.