Elasticsearch

Versi integrasi: 39.0

Mengakses Elasticsearch

Google Security Operations mengakses Elasticsearch melalui RESTful API di port TCP 9200 secara default. Server SecOps Google akan memerlukan akses ke node Elasticsearch yang relevan di TCP 9200 (default) atau port alternatif jika port default tidak digunakan selama deployment Elasticsearch.

Mengonfigurasi integrasi Elasticsearch di Google SecOps

Untuk mendapatkan petunjuk mendetail terkait cara mengonfigurasi integrasi di Google SecOps, lihat Mengonfigurasi integrasi.

Mengonfigurasi integrasi Elasticsearch dengan sertifikat CA

Anda dapat memverifikasi koneksi dengan file sertifikat CA jika diperlukan.

Sebelum memulai, pastikan Anda memiliki hal berikut:

  • File sertifikat CA
  • Versi integrasi Elasticsearch terbaru

Untuk mengonfigurasi integrasi dengan sertifikat CA, selesaikan langkah-langkah berikut:

  1. Parse file sertifikat CA Anda ke dalam String Base64.
  2. Buka halaman parameter konfigurasi integrasi.
  3. Masukkan string di kolom CA Certificate File.
  4. Untuk menguji bahwa integrasi berhasil dikonfigurasi, centang kotak Verifikasi SSL, lalu klik Uji.

Parameter integrasi

Gunakan parameter berikut untuk mengonfigurasi integrasi:

Nama Tampilan Parameter Jenis Nilai Default Wajib diisi Deskripsi
Nama Instance String T/A Tidak Nama Instance yang ingin Anda konfigurasi integrasinya.
Deskripsi String T/A Tidak Deskripsi Instance.
Alamat Server Sring x.x.x.x Ya Alamat IP server Elasticsearch.
Nama pengguna String T/A Ya Alamat email pengguna yang harus digunakan untuk terhubung ke Elasticsearch.
Sandi Sandi T/A Ya Sandi pengguna yang sesuai.
Autentikasikan Kotak centang Tidak dicentang Tidak T/A
Verifikasi SSL Kotak centang Tidak dicentang Tidak Gunakan kotak centang ini jika koneksi Elasticsearch Anda memerlukan verifikasi SSL.
Menjalankan dari Jarak Jauh Kotak centang Tidak dicentang Tidak Centang kolom untuk menjalankan integrasi yang dikonfigurasi dari jarak jauh. Setelah dicentang, opsi akan muncul untuk memilih pengguna jarak jauh (agen).

Tindakan

Deskripsi

Pengujian Elasticsearch yang sudah dibuat sebelumnya, dan menampilkan kamus kata.

Parameter

Parameter Jenis Nilai Default Wajib Deskripsi
Indeks String * Tidak

Pola penelusuran untuk indeks Elasticsearch.

Di Elasticsearch, indeks seperti DatabaseName, dan data disimpan di berbagai indeks.Parameter ini menentukan indeks yang akan ditelusuri. Nama tersebut dapat berupa nama persis, misalnya: "smp_playbooks-2019.06.13" atau Anda dapat menggunakan karakter pengganti untuk menelusuri berdasarkan pola, misalnya: "smp_playbooks-2019.06 "atau "smp".

Untuk mempelajari lebih lanjut indeks Elasticsearch, buka https://www.elastic.co/blog/what-is-an-elasticsearch-index
Kueri String * Tidak

Kueri penelusuran yang akan dilakukan. Dalam sintaksis Lucene.

IE1: "*" (ini adalah karakter pengganti yang akan menampilkan semua data)

IE2: "level:error"

IE3: "level:information"

IE4: "level:error OR level:warning"

Untuk mempelajari sintaksis Lucene lebih lanjut, buka https://www.elastic.co/guide/en/kibana/current/lucene-query.html#lucene-query\r\nhttps://www.elastic.co/guide/en/elasticsearch/reference/7.1/query-dsl-query-string-query.html#query-string-syntax
Batas String 100 Tidak

Membatasi jumlah dokumen yang ditampilkan, misalnya: 10.

0 = Tidak ada batas.
Kolom Tampilan String * Tidak

Membatasi kolom yang ditampilkan. Default "*" = Menampilkan semua kolom.

Anda dapat menyatakan satu kolom. Misalnya: "level"
Kolom Penelusuran String _all Tidak

Kolom penelusuran untuk kueri teks bebas (Jika kueri tidak menentukan nama kolom).

Defaultnya adalah "_all", yang berarti semua kolom ditelusuri. Sebaiknya gunakan sintaksis Lucene yang tepat pada kolom "_all", atau penelusuran tekstual pada kolom tertentu.

Ie1: Search Field = "_all". Kueri = "level:error" Kueri akan menampilkan semua catatan yang memiliki kolom "level", sama dengan "error".

Ie2: Kolom Penelusuran = "Message", kueri = "Login Alarm". Kueri akan menampilkan semua data yang kolom "Message"-nya berisi teks "Login Alarm"
Kolom Stempel Waktu String @timestamp Tidak Nama kolom untuk menjalankan pemfilteran berbasis waktu. Default-nya adalah @timestamp. Jika Earliest Date dan Oldest Date kosong, tidak ada pemfilteran berbasis waktu yang akan terjadi.
Tanggal Terlama String now-1d Tidak

Tanggal mulai penelusuran. Penelusuran hanya akan menampilkan data yang sama dengan atau setelah titik waktu ini.

Input dapat berupa UTC persis:

Format: YYYY-MM-DDTHH:MM:SSZ

misalnya: 2019-06-04T10:00:00Z

Input juga dapat dalam bentuk relatif (menggunakan perhitungan tanggal): tie: "now", "now-1d", "now-1d/d", "now-2h/h"

Untuk mempelajari lebih lanjut date-math, buka https://www.elastic.co/guide/en/elasticsearch/reference/7.1/common-options.html#date-math
Tanggal Paling Awal String sekarang Tidak

Tanggal akhir penelusuran. Penelusuran hanya akan menampilkan data yang sama dengan atau sebelum titik waktu ini.

Input dapat berupa UTC persis:

Format: YYYY-MM-DDTHH:MM:SSZ

misalnya: 2019-06-04T10:00:00Z

Input juga dapat dalam bentuk relatif (menggunakan matematika tanggal):

yaitu: "now", "now-1d", "now-1d/d", "now-2h/h"

Untuk mempelajari lebih lanjut date-math, buka https://www.elastic.co/guide/en/elasticsearch/reference/7.1/common-options.html#date-math

Run On

Tindakan ini dijalankan di semua entity.

Hasil Tindakan

Hasil Skrip
Nama Hasil Skrip Opsi Nilai Contoh
hasil T/A T/A

Deskripsi

Menelusuri semua yang ada di Elasticsearch dan menampilkan kembali hasil dalam format kamus. Tindakan ini hanya mendukung kueri tanpa rentang waktu. Jika Anda ingin menggunakan rentang waktu dalam kueri, gunakan tindakan Advanced ES Search.

Parameter

Parameter Jenis Nilai Default Wajib Deskripsi
Indeks String * Tidak

Pola penelusuran untuk indeks Elasticsearch.

Di Elasticsearch, indeks seperti DatabaseName, dan data disimpan di berbagai indeks.

Parameter ini menentukan indeks yang akan ditelusuri. Nama tersebut dapat berupa nama persis, misalnya: \"smp_playbooks-2019.06.13\"\r\natau Anda dapat menggunakan karakter pengganti () untuk menelusuri berdasarkan pola. Misalnya: \"smp_playbooks-2019.06\" atau \"smp*\".

Untuk mempelajari lebih lanjut indeks Elasticsearch, buka https://www.elastic.co/blog/what-is-an-elasticsearch-index
Kueri String * Tidak

Kueri penelusuran yang akan dilakukan. Dalam sintaksis Lucene.

IE1: \"*\" (ini adalah karakter pengganti yang akan menampilkan semua data)

IE2: \"level:error\"

IE3: \"level:information\"

IE4: \"level:error OR level:warning\"

Untuk mempelajari sintaksis Lucene lebih lanjut, buka https://www.elastic.co/guide/en/kibana/current/lucene-query.html#lucene-query\r\nhttps://www.elastic.co/guide/en/elasticsearch/reference/7.1/query-dsl-query-string-query.html#query-string-syntax
Batas String 100 Tidak

NoLimits jumlah dokumen yang ditampilkan, yaitu: 10.

0 = Tanpa batas

Run On

Tindakan ini dijalankan di semua entity.

Hasil Tindakan

Hasil Skrip
Nama Hasil Skrip Opsi Nilai Contoh
hasil T/A T/A
Hasil JSON
[
    {
        "_score": 0.2876821,
        "_type": "person",
        "_id": "2",
        "_source": {
            "lastname": "Smith",
            "name": "John",
            "job_description": "Systems administrator"
        },
        "_index": "accounts"
    }, {
        "_score": 0.28582606,
        "_type": "person",
        "_id": "1",
        "_source":
        {
            "lastname": "Doe",
            "name": "John",
            "job_description": "Systems administrator and Linux specialist"
        },
        "_index": "accounts"
    }
]

Ping

Deskripsi.

Test Memverifikasi konektivitas ke server Elasticsearch.

Parameter

T/A

Run On

Tindakan ini dijalankan di semua entity.

Hasil Tindakan

Hasil Skrip
Nama Hasil Skrip Opsi Nilai Contoh
is_success Benar/Salah is_success:False

Deskripsi

Tindakan menelusuri semua yang ada di Elasticsearch dan menampilkan kembali hasil dalam format kamus.

Parameter

Parameter Jenis Nilai Default Wajib Deskripsi
Indeks String * Tidak

Pola penelusuran untuk indeks Elasticsearch.

Di Elasticsearch, indeks seperti DatabaseName, dan data disimpan di berbagai indeks.

Parameter ini menentukan indeks yang akan ditelusuri. Nama tersebut dapat berupa nama persis, misalnya: \"smp_playbooks-2019.06.13\" atau Anda dapat menggunakan karakter pengganti () untuk menelusuri berdasarkan pola. Misalnya: \"smp_playbooks-2019.06\" atau \"smp*\".

Untuk mempelajari lebih lanjut indeks Elasticsearch, buka https://www.elastic.co/blog/what-is-an-elasticsearch-index
Kueri String * Tidak

Kueri penelusuran yang akan dilakukan. Dalam sintaksis Lucene.

IE1: \"*\" (ini adalah karakter pengganti yang akan menampilkan semua data)

IE2: \"level:error\"

IE3: \"level:information\"

IE4: \"level:error OR level:warning\"

Untuk mempelajari sintaksis Lucene lebih lanjut, buka https://www.elastic.co/guide/en/kibana/current/lucene-query.html#lucene-query\r\nhttps://www.elastic.co/guide/en/elasticsearch/reference/7.1/query-dsl-query-string-query.html#query-string-syntax
Batas String 100 Tidak

Membatasi jumlah dokumen yang ditampilkan, misalnya: 10.

0 = Tidak ada batas.

Run On

Tindakan ini dijalankan di semua entity.

Hasil Tindakan

Hasil Skrip
Nama Hasil Skrip Opsi Nilai Contoh
hasil T/A T/A
Hasil JSON
[{
    "_score": 0.2876821,
    "_type": "person",
    "_id": "2",
    "_source":
        {
          "lastname": "Smith",
          "name": "John",
          "job_description": "Systems administrator"
         },
     "_index": "accounts"
 },
 {
     "_score": 0.28582606,
     "_type": "person",
     "_id": "1",
     "_source":
       {
         "lastname": "Doe",
         "name": "John",
         "job_description": "Systems administrator and Linux specialist"
       },
    "_index": "accounts"
  }
 ]

Konektor

Mengonfigurasi konektor Elasticsearch di Google SecOps

Untuk mendapatkan petunjuk mendetail tentang cara mengonfigurasi konektor di Google SecOps, lihat Mengonfigurasi konektor.

Untuk mengonfigurasi konektor yang dipilih, gunakan parameter khusus konektor yang tercantum dalam tabel berikut:

Konektor Elasticsearch

Deskripsi

Topik ini menunjukkan cara Google SecOps mengintegrasikan Elasticsearch dengan mekanisme dan konfigurasi untuk penyerapan dan pemrosesan.

Penerusan pemberitahuan Elasticsearch ke Google SecOps

Google SecOps akan menelusuri indeks Elasticsearch tertentu dengan kueri yang diberikan (menggunakan sintaksis kueri Lucene) dan menampilkan dokumen Elasticsearch yang akan diterjemahkan dan diberi konteks sebagai "alert" untuk kasus.

Parameter konektor

Gunakan parameter berikut untuk mengonfigurasi konektor:

Nama Tampilan Parameter Jenis Nilai Default Wajib Deskripsi
Lingkungan Default String T/A Tidak Pilih lingkungan yang diperlukan. Misalnya, "Pelanggan Satu".
Jalankan Setiap Bilangan bulat 0:0:0:10 Tidak Pilih durasi waktu untuk menjalankan koneksi. Misalnya, "setiap hari".
Nama Kolom Produk String device_product Ya Nama kolom yang digunakan untuk menentukan produk perangkat. Contoh: _type.
Nama Kolom Peristiwa String nama Ya Nama kolom yang digunakan untuk menentukan nama peristiwa (sub-jenis). Contoh: _source_match_event_id.
Waktu Tunggu Skrip (Detik) String 60 Ya Batas waktu tunggu (dalam detik) untuk proses python yang menjalankan skrip saat ini.
Alamat Server String T/A Ya Alamat server Elasticsearch, misalnya: http://{ip_address}:{port}
Nama pengguna String T/A Ya Nama pengguna Elasticsearch.
Sandi Sandi T/A Ya Sandi Elasticsearch.
Autentikasikan Kotak centang Tidak dicentang Ya Apakah akan melakukan autentikasi pada koneksi atau tidak.
Verifikasi SSL Kotak centang Tidak dicentang Tidak Apakah akan menggunakan SSL pada koneksi atau tidak.
Kolom Nama Pemberitahuan String T/A Ya Nama kolom tempat nama pemberitahuan berada (jalur kolom datar). Contoh: _source_alert_info_alert
Kolom Stempel Waktu String T/A Ya Nama kolom tempat stempel waktu berada (jalur kolom datar). Contoh: source@timestamp
Kolom Lingkungan String T/A Tidak Nama kolom tempat lingkungan berada (jalur kolom datar). Contoh: _source_environment
Indeks String T/A Tidak Pola indeks yang akan ditelusuri. Contoh: '*'
Kueri String T/A Tidak Kueri pola penelusuran (sintaksis kueri Lucene). Contoh: '*'
Batas Jumlah Pemberitahuan Bilangan bulat 20 Ya Jumlah maksimum pemberitahuan yang akan ditarik dalam satu siklus. Contoh: 20
Maksimum Hari Mundur Bilangan bulat 1 Ya Jumlah maksimum hari untuk mengambil pemberitahuan sejak. Contoh: 3.
Nama Kolom Tingkat Keparahan String T/A Tidak Jika ingin memetakan tingkat keparahan berdasarkan nilai string, Anda harus membuat file pemetaan. Lihat portal dokumentasi untuk mengetahui detail selengkapnya.
Alamat Server Proxy String T/A Tidak Alamat server proxy yang akan digunakan.
Nama Pengguna Proxy String T/A Tidak Nama pengguna proxy untuk melakukan autentikasi.
Sandi Proxy Sandi T/A Tidak Sandi proxy untuk mengautentikasi.
Pola Regex Lingkungan String .* Tidak

Pola regex untuk dijalankan pada nilai yang ditemukan di kolom "Nama Kolom Lingkungan".

Defaultnya adalah .* untuk mencakup semua dan menampilkan nilai yang tidak berubah.

Digunakan untuk mengizinkan pengguna memanipulasi kolom lingkungan melalui logika regex

Jika pola regex adalah null atau kosong, atau nilai lingkungan adalah null, hasil lingkungan akhir adalah "".
File Sertifikat CA String T/A Tidak File Sertifikat CA

Cara memetakan tingkat keparahan di konektor

Untuk memetakan tingkat keparahan, Anda harus menentukan kolom yang akan digunakan untuk mendapatkan nilai tingkat keparahan dalam parameter "Nama Kolom Tingkat Keparahan". Dalam respons, Anda bisa mendapatkan 3 jenis nilai: bilangan bulat, float, dan string. Untuk bilangan bulat dan float, Anda tidak perlu melakukan konfigurasi tambahan apa pun. Konektor akan membaca nilai tersebut dan memetakannya sesuai dengan standar Google SecOps. Pengingat singkat tentang cara nilai bilangan bulat dipetakan:

  • 100 - Kritis
  • 100 > x >= 80 Tinggi
  • 80 > x >=60 Sedang
  • 60 > x >=40 Rendah
  • 40 > x Informasi

Jika dalam respons, kita bekerja dengan string, maka konfigurasi tambahan diperlukan. Di folder tempat skrip konektor berada, Anda akan memiliki nama file konfigurasi severity_map_config.json. File ini menentukan aturan pemetaan untuk tingkat keparahan.

Awalnya, file akan terlihat seperti ini:

{
    "Default": 50
}

Bayangkan situasi saat nilai yang diperlukan berada di event.severity. event.severity dapat berisi nilai berikut: "Malicious", "Benign", "Unknown".

Pertama, kita harus menentukan dalam parameter "Severity Field Name" bahwa kita akan menggunakan event.severity.

Kedua, kita harus memperbarui file konfigurasi.

Setelah perubahan, file severity_map_config.json akan terlihat seperti ini:

{
    "event.severity": {
        "Malicious": 100,
        "Unknown": 60,
        "Benign": -1
    },
    "Default": 50
}

Sekarang, saat konektor mendapatkan peristiwa dengan event.severity = "Malicious", konektor akan memberikan tingkat keparahan Kritis.

Aturan konektor

Daftar yang diizinkan/Daftar yang tidak diizinkan

Konektor tidak mendukung Daftar yang diizinkan/Daftar yang tidak diizinkan.

Dukungan proxy

Konektor mendukung proxy.

Konektor DSL Elasticsearch

Deskripsi

Konektor ini berfungsi dengan melakukan panggilan REST API dengan kueri DSL.

Kasus penggunaan dan contoh

Kemampuan untuk menggunakan kueri DSL sebagai parameter penelusuran di Elasticsearch.

Parameter konektor

Gunakan parameter berikut untuk mengonfigurasi konektor:

Nama Tampilan Parameter Jenis Nilai Default Wajib Deskripsi
Nama Kolom Produk String device_product Ya Mendeskripsikan nama kolom tempat nama produk disimpan.
Nama Kolom Lingkungan String "" Tidak

Mendeskripsikan nama kolom tempat nama lingkungan disimpan.

Jika kolom lingkungan tidak ditemukan, lingkungannya adalah "".
Pola Regex Lingkungan String .* Tidak

Pola regex untuk dijalankan pada nilai yang ditemukan di kolom "Nama Kolom Lingkungan".

Defaultnya adalah .* untuk mencakup semua dan menampilkan nilai yang tidak berubah.

Digunakan untuk mengizinkan pengguna memanipulasi kolom lingkungan melalui logika regex

Jika pola regex adalah null atau kosong, atau nilai lingkungan adalah null, hasil lingkungan akhir adalah "".
Waktu Tunggu Skrip (Detik) Bilangan bulat 60 Ya Batas waktu untuk proses python yang menjalankan skrip saat ini.
Alamat Server String T/A Ya Alamat IP server Elasticsearch API.
Port String T/A Ya Port server API Elasticsearch.
Kueri String T/A Ya

Kueri DSL yang digunakan untuk penelusuran.

Diperlukan format JSON yang valid.

Untuk membuat konektor lebih stabil, sebaiknya tambahkan kunci stempel waktu pengurutan dalam urutan menaik.
Indeks String T/A Ya

Indeks yang digunakan untuk penelusuran.

Misalnya: _all
Kolom Stempel Waktu String T/A Ya

Nama kolom tempat stempel waktu berada.

Contoh: source@timestamp
Nama Kolom Pemberitahuan String T/A Ya

Nama kolom tempat nama pemberitahuan berada.

Contoh: _source_info_alertname
Kolom Deskripsi String T/A Tidak

Nama kolom tempat deskripsi berada.

Contoh: _source_alert_info_description
Keparahan String Sedang Ya

Tingkat keparahan pemberitahuan.
Kemungkinan nilai:

Info

Rendah

Sedang

Tinggi

Kritis
Batas Jumlah Pemberitahuan Bilangan bulat 100 Tidak Membatasi jumlah pemberitahuan yang ditampilkan oleh konektor per 1 iterasi.
Autentikasikan Kotak centang Tidak dicentang Tidak Apakah akan melakukan autentikasi pada koneksi atau tidak.
Nama pengguna String T/A Tidak Nama pengguna akun Elasticsearch.
Sandi Sandi T/A Tidak Sandi akun Elasticsearch.
Use SSL Kotak centang Tidak dicentang Tidak Opsi untuk mengaktifkan koneksi SSL/TLS.
Nama Kolom Tingkat Keparahan String T/A Tidak Jika ingin memetakan tingkat keparahan berdasarkan nilai string, Anda harus membuat file pemetaan. Lihat portal dokumentasi untuk mengetahui detail selengkapnya.
Tingkat Keseriusan Pemberitahuan String T/A Tidak

Tingkat keparahan notifikasi.

Kemungkinan nilai: Info, Rendah, Sedang, Tinggi, Kritis.

Catatan: parameter ini memiliki prioritas lebih tinggi daripada "Nama Kolom Tingkat Keparahan". Jika Anda ingin menggunakan "Nama Kolom Tingkat Keparahan", kolom ini harus dibiarkan kosong.
Alamat Server Proxy String T/A Tidak Alamat server proxy yang akan digunakan.
Nama Pengguna Proxy String T/A Tidak Nama pengguna proxy untuk melakukan autentikasi.
Sandi Proxy Sandi T/A Tidak Sandi proxy untuk mengautentikasi.

Notasi yang Didukung

Konektor mendukung tiga notasi. Misalnya, jika Anda ingin menggunakan event.type di parameter "Nama Kolom Peristiwa". Dalam hal ini, Anda dapat memberikan _source_event_type, event_type, atau event.type. Semua nilai ini akan berperilaku sama.

Untuk parameter:

  • Nama Kolom Produk
  • Nama Kolom Peristiwa
  • Nama Kolom Tingkat Keparahan
  • Kolom Lingkungan
  • Kolom Stempel Waktu
  • Kolom Nama Pemberitahuan
  • Kolom Deskripsi Pemberitahuan - yang ini hanya untuk konektor DSL

Cara memetakan tingkat keparahan di konektor

Untuk memetakan tingkat keparahan, Anda harus menentukan kolom yang akan digunakan untuk mendapatkan nilai tingkat keparahan dalam parameter "Nama Kolom Tingkat Keparahan". Dalam respons, Anda bisa mendapatkan 3 jenis nilai: bilangan bulat, float, dan string. Untuk bilangan bulat dan float, Anda tidak perlu melakukan konfigurasi tambahan apa pun. Konektor akan membaca nilai tersebut dan memetakannya sesuai dengan standar Google SecOps. Pengingat singkat tentang cara nilai bilangan bulat dipetakan:

  • 100 - Kritis
  • 100 > x >= 80 Tinggi
  • 80 > x >=60 Sedang
  • 60 > x >=40 Rendah
  • 40 > x Informasi

Jika dalam respons, kita bekerja dengan string, maka konfigurasi tambahan diperlukan. Di folder tempat skrip konektor berada, Anda akan memiliki nama file konfigurasi severity_map_config.json. File ini menentukan aturan pemetaan untuk tingkat keparahan.

Awalnya, file akan terlihat seperti ini:

{
    "Default": 50
}

Bayangkan situasi saat nilai yang diperlukan berada di event.severity. event.severity dapat berisi nilai berikut: "Malicious", "Benign", "Unknown".

Pertama, kita harus menentukan dalam parameter "Severity Field Name" bahwa kita akan menggunakan event.severity.

Kedua, kita harus memperbarui file konfigurasi.

Setelah perubahan, file severity_map_config.json akan terlihat seperti ini:

{
    "event.severity": {
        "Malicious": 100,
        "Unknown": 60,
        "Benign": -1
    },
    "Default": 50
}

Sekarang, saat konektor mendapatkan peristiwa dengan event.severity = "Malicious", konektor akan memberikan tingkat keparahan Kritis.

Aturan konektor

Daftar yang diizinkan/Daftar yang tidak diizinkan

Konektor tidak mendukung Daftar yang diizinkan/Daftar yang tidak diizinkan.

Dukungan proxy

Konektor mendukung proxy.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.