Halaman ini diterjemahkan oleh Cloud Translation API.

Mengekspor log mentah ke bucket Storage yang dikelola sendiri Google Cloud

Didukung di:

Google secops SIEM

Data Export API memfasilitasi ekspor massal data keamanan Anda dari Google Security Operations ke bucket Google Cloud Storage yang Anda kontrol. Kemampuan ini mendukung retensi data jangka panjang yang penting, dan mendukung analisis forensik historis, serta persyaratan kepatuhan yang ketat (seperti SOX, HIPAA, GDPR).

Penting: Setelah mengaktifkan API baru yang ditingkatkan, Anda tidak dapat menggunakan API untuk mengakses tugas lama yang ada.

Untuk mengetahui detail selengkapnya tentang Data Export API, lihat Data Export API (yang ditingkatkan)

Data Export API menyediakan solusi yang skalabel dan andal untuk ekspor data pada satu titik waktu dan menangani permintaan hingga 100 TB.

Sebagai pipeline terkelola, pipeline ini menawarkan fitur penting tingkat perusahaan, termasuk:

Percobaan ulang otomatis pada error sementara
Pemantauan status tugas yang komprehensif
Jejak audit lengkap untuk setiap tugas ekspor

API secara logis mempartisi data yang diekspor menurut tanggal dan waktu dalam bucket Google Cloud Storage Anda.

Fitur ini memungkinkan Anda membuat alur kerja pelepasan data skala besar. Google SecOps mengelola kompleksitas proses ekspor untuk memberikan stabilitas dan performa.

Manfaat utama

Data Export API menyediakan solusi yang tangguh dan dapat diaudit untuk mengelola siklus proses data keamanan Anda.

Keandalan: Layanan ini menangani transfer data berskala besar. Sistem menggunakan strategi backoff eksponensial untuk otomatis mencoba ulang tugas ekspor yang mengalami masalah sementara (misalnya, masalah jaringan sementara), sehingga menjadikannya tangguh. Jika tugas ekspor Anda gagal karena error sementara, tugas tersebut akan otomatis dicoba ulang beberapa kali. Jika tugas gagal secara permanen setelah semua percobaan ulang, sistem akan memperbarui statusnya menjadi FINISHED_FAILURE, dan respons API untuk tugas tersebut berisi pesan error mendetail yang menjelaskan penyebabnya.
Kemampuan audit yang komprehensif: Untuk memenuhi standar kepatuhan dan keamanan yang ketat, sistem mencatat setiap tindakan yang terkait dengan tugas ekspor dalam jejak audit yang tidak dapat diubah. Log ini mencakup pembuatan, mulai, keberhasilan, atau kegagalan setiap tugas, beserta pengguna yang memulai tindakan, stempel waktu, dan parameter tugas.

Catatan: Versi API saat ini tidak memiliki penjadwal bawaan untuk menyiapkan ekspor harian untuk kepatuhan. Untuk menyiapkan ekspor harian berulang, Anda harus membuat otomatisasi sendiri.
Dioptimalkan untuk performa dan skala: API menggunakan sistem pengelolaan tugas yang andal. Sistem ini mencakup antrean dan prioritas untuk memberikan stabilitas platform dan mencegah satu tenant memonopoli resource.
Integritas dan aksesibilitas data yang ditingkatkan: Sistem secara otomatis mengatur data ke dalam struktur direktori logis dalam bucket Google Cloud Storage Anda, yang membantu Anda menemukan dan membuat kueri rentang waktu tertentu untuk analisis historis.

Istilah dan konsep utama

Tugas ekspor: Operasi asinkron tunggal untuk mengekspor rentang waktu data log tertentu ke bucket Google Cloud Storage. Sistem melacak setiap tugas dengan dataExportId unik.
Status tugas: Status tugas ekspor saat ini dalam siklus prosesnya (misalnya, IN_QUEUE, PROCESSING, FINISHED_SUCCESS).
Bucket Google Cloud Storage: Bucket Google Cloud Storage milik pengguna yang berfungsi sebagai tujuan untuk data yang diekspor.
Jenis log: Ini adalah kategori log tertentu yang dapat Anda ekspor (misalnya, NIX_SYSTEM, WINDOWS_DNS, CB_EDR). Untuk mengetahui detail selengkapnya, lihat daftar semua jenis log yang didukung.

Memahami struktur data yang diekspor

Saat tugas berhasil diselesaikan, sistem akan menulis data ke bucket Google Cloud Storage Anda. Struktur ini menggunakan struktur direktori berpartisi tertentu untuk menyederhanakan akses dan kueri data.

Struktur jalur direktori: gs://<gcs-bucket-name>/<export-job-name>/<logtype>/<event-time-bucket>/<epoch_execution_time>/<file-shard-name>.csv

gcs-bucket-name: Nama bucket Google Cloud Storage Anda.
export-job-name: Nama unik tugas ekspor Anda.
logtype: Nama jenis log untuk data yang diekspor.
event-time-bucket: Rentang jam stempel waktu peristiwa dari log yang diekspor.

Formatnya adalah stempel waktu UTC: year/month/day/UTC-timestamp (dengan UTC-timestamp adalah hour/minute/second).
Misalnya, 2025/08/25/01/00/00 merujuk ke UTC 01:00:00 AM, August 25, 2025.
epoch-execution-time: Nilai waktu epoch Unix, yang menunjukkan kapan tugas ekspor dimulai.
file-shard-name: Nama file yang di-shard yang berisi log mentah. Setiap shard file memiliki batas ukuran file atas sebesar 100 MB.

Performa dan batasan

Layanan ini memiliki batas tertentu untuk memastikan stabilitas platform dan alokasi resource yang adil.

Volume data maksimum per tugas: Setiap tugas ekspor individual dapat meminta data hingga 100 TB. Untuk set data yang lebih besar, sebaiknya bagi ekspor menjadi beberapa tugas dengan rentang waktu yang lebih kecil.
Tugas serentak: Setiap tenant pelanggan dapat menjalankan atau mengantrekan maksimum 3 tugas ekspor secara serentak. Sistem menolak permintaan pembuatan tugas baru yang melebihi batas ini.
Waktu penyelesaian tugas: Volume data yang diekspor menentukan waktu penyelesaian tugas. Satu tugas dapat memerlukan waktu hingga 18 jam.
Format ekspor dan cakupan data: API ini mendukung ekspor massal dan pada satu titik waktu, dengan batasan dan fitur berikut:
- Log mentah saja: Anda hanya dapat mengekspor log mentah, (bukan log UDM, peristiwa UDM, atau deteksi). Untuk mengekspor data UDM, lihat Mengonfigurasi ekspor data ke BigQuery di project yang dikelola sendiri Google Cloud.
- Kompresi data: API mengekspor data sebagai teks yang tidak dikompresi.

Prasyarat dan arsitektur

Bagian ini menguraikan arsitektur sistem dan persyaratan yang diperlukan untuk menggunakan Data Export API dan menjelaskan arsitektur sistem. Gunakan informasi ini untuk memverifikasi bahwa lingkungan Anda telah dikonfigurasi dengan benar.

Sebelum memulai

Sebelum menggunakan Data Export API, selesaikan langkah-langkah prasyarat berikut untuk menyiapkan tujuan Google Cloud Storage dan memberikan izin yang diperlukan.

Beri izin kepada pengguna API: Untuk menggunakan Data Export API, Anda memerlukan peran IAM berikut.
- Chronicle administrator (creating/managing jobs): Memberikan izin penuh untuk membuat, memperbarui, membatalkan, dan melihat tugas ekspor menggunakan API.
- Chronicle Viewer: Memberikan akses hanya baca untuk melihat konfigurasi dan histori tugas menggunakan API.
Buat bucket Google Cloud Storage: Di project Anda, buat bucket Google Cloud Storage baru (tujuan untuk data yang diekspor) di region yang sama dengan tenant Google SecOps Anda. Google CloudBuat menjadi pribadi untuk mencegah akses yang tidak sah. Untuk mengetahui detailnya, lihat Membuat bucket.
Memberikan izin ke Akun Layanan: Berikan peran IAM yang diperlukan kepada Akun Layanan Google SecOps, yang ditautkan ke tenant Google SecOps Anda, untuk menulis data ke bucket Anda.
1. Panggil endpoint API FetchServiceAccountForDataExport untuk mengidentifikasi Akun Layanan unik instance Google SecOps Anda. API menampilkan email Akun Layanan.
  
  Contoh permintaan:
```
{
  "parent": "projects/myproject/locations/us/instances/aaaaaaaa-bbbb-cccc-dddd-eeeeeeeeeeee"
}
```
  Contoh Respons:
```
{
  "service_account_email": "service-1234@gcp-sa-chronicle.iam.gserviceaccount.com"
}
```
2. Berikan pokok Akun Layanan Google SecOps peran IAM berikut untuk bucket Google Cloud Storage tujuan: Peran ini memungkinkan layanan Google SecOps menulis file data yang diekspor ke bucket Google Cloud Storage Anda.
  - Storage object administrator (roles/storage.objectAdmin)
  - Legacy bucket reader (roles/storage.legacyBucketReader)
  Untuk mengetahui detailnya, lihat Memberikan akses ke Akun Layanan Google SecOps.
Menyelesaikan autentikasi: Data Export API mengautentikasi panggilan Anda. Untuk menyiapkan autentikasi ini, ikuti petunjuk di bagian berikut:
1. Metode autentikasi untuk layanan Google Cloud
2. Kredensial default aplikasi

Kasus penggunaan utama

Data Export API menyediakan serangkaian endpoint untuk membuat tugas ekspor data dan mengelola seluruh siklus proses ekspor data massal. Anda melakukan semua interaksi menggunakan panggilan API.

Kasus penggunaan berikut menjelaskan cara membuat, memantau, dan mengelola tugas pengeksporan data.

Alur kerja inti

Bagian ini menjelaskan cara mengelola siklus proses tugas ekspor Anda.

Membuat tugas ekspor data baru

Sistem menyimpan spesifikasi tugas ekspor data di instance Google SecOps resource induk. Instance ini adalah sumber data log untuk tugas ekspor.

Identifikasi Akun Layanan unik untuk instance Google SecOps Anda. Untuk mengetahui detailnya, lihat FetchServiceAccountForDataExports.
Untuk memulai ekspor baru, kirim permintaan POST ke endpoint dataExports.create.
Untuk mengetahui detailnya, lihat endpoint CreateDataExport.

Memantau status tugas ekspor data

Lihat detail dan status tugas ekspor data untuk tugas ekspor tertentu, atau tetapkan filter untuk melihat jenis tugas tertentu.

Untuk melihat tugas ekspor tertentu, lihat GetDataExport.
Untuk mencantumkan jenis tugas ekspor data tertentu menggunakan filter, lihat ListDataExport.

Mengelola tugas dalam antrean

Anda dapat mengubah atau membatalkan tugas saat tugas tersebut berstatus IN_QUEUE.

Untuk mengubah parameter (seperti rentang waktu, daftar jenis log, atau bucket tujuan), lihat UpdateDataExport.
Untuk membatalkan tugas yang diantrekan, lihat CancelDataExport.

Memecahkan masalah umum

API ini memberikan pesan error mendetail untuk membantu mendiagnosis masalah.

Kode Kanonis	Pesan Error
INVALID_ARGUMENT	INVALID_REQUEST: Parameter permintaan tidak valid <Parameter1, Parameter2,..>. Perbaiki parameter permintaan dan coba lagi.
NOT_FOUND	BUCKET_NOT_FOUND: Bucket Google Cloud Storage tujuan <bucketName> tidak ada. Buat bucket Google Cloud Storage tujuan, lalu coba lagi.
NOT_FOUND	REQUEST_NOT_FOUND: dataExportId:<dataExportId> tidak ada. Tambahkan dataExportId yang valid, lalu coba lagi.
FAILED_PRECONDITION	BUCKET_INVALID_REGION: Region bucket Google Cloud Storage <bucketId>:<region1> tidak sama dengan region tenant SecOps:<region2>. Buat bucket Google Cloud Storage di region yang sama dengan tenant SecOps, lalu coba lagi.
FAILED_PRECONDITION	INSUFFICIENT_PERMISSIONS: Akun Layanan <P4SA> tidak memiliki izin `storage.objects.create`, `storage.objects.get`, dan `storage.buckets.get` pada bucket Google Cloud Storage tujuan <bucketName>. Berikan akses yang diperlukan ke Akun Layanan dan coba lagi.
FAILED_PRECONDITION	INVALID_UPDATE: Status permintaan berada dalam tahap <status> dan tidak dapat diperbarui. Anda hanya dapat memperbarui permintaan jika statusnya berada di tahap IN_QUEUE.
FAILED_PRECONDITION	INVALID_CANCELLATION: Status permintaan berada di tahap <status> dan tidak dapat dibatalkan. Anda hanya dapat membatalkan permintaan jika statusnya berada di tahap IN_QUEUE.
RESOURCE_EXHAUSTED	CONCURRENT_REQUEST_LIMIT_EXCEEDED: Batas permintaan serentak maksimum <limit> tercapai untuk ukuran permintaan <sizelimit>. Harap tunggu hingga permintaan yang ada selesai, lalu coba lagi.
RESOURCE_EXHAUSTED	REQUEST_SIZE_LIMIT_EXCEEDED: Estimasi volume ekspor: <estimatedVolume> untuk permintaan lebih besar daripada volume ekspor maksimum yang diizinkan: <allowedVolume> per permintaan. Coba lagi dengan permintaan dalam batas volume ekspor yang diizinkan.
INTERNAL	INTERNAL_ERROR: Terjadi error internal. Coba lagi.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.