Arsitektur referensi solusi: Men-deploy fitur AI generatif Elastic Stack di GDC dengan air gap

Ringkasan

Arsitektur referensi ini menentukan desain konseptual untuk men-deploy Elastic Stack (Elasticsearch dan Kibana) di Google Distributed Cloud (GDC) dengan air gap dan mengintegrasikannya dengan layanan Model Bahasa Besar (LLM) untuk mengaktifkan fitur AI generatif Elastic.

Elastic Stack adalah platform analisis keamanan, kemampuan observasi, dan penelusuran yang banyak digunakan. Rilis Elastic terbaru menambahkan kemampuan AI generatif ke Kibana, termasuk Elastic AI Agent, agen kustom yang dibangun dengan Agent Builder, dan Attack Discovery. Fitur ini mengandalkan LLM untuk menerjemahkan permintaan bahasa alami menjadi kueri Elasticsearch, mengorkestrasi panggilan alat multi-langkah, dan menghubungkan pemberitahuan keamanan.

Arsitektur ini men-deploy Elastic Stack menggunakan operator Elastic Cloud on Kubernetes (ECK) resmi yang tersedia di Marketplace GDC dengan air gap, dan menghubungkan Kibana ke endpoint inferensi LLM yang dihosting di dalam batas GDC, baik layanan Gemini terkelola di GDC maupun server inferensi yang kompatibel dengan OpenAI yang dikelola sendiri seperti Ollama atau vLLM.

Fitur dan kemampuan

Solusi ini menyediakan beberapa komponen fungsional inti untuk penelusuran, kemampuan observasi, dan analisis keamanan yang didukung AI:

  • Pengelolaan Siklus Proses Berbasis Marketplace: Instal operator ECK dari Marketplace GDC dengan air gap ke dalam namespace project di cluster bersama, dan biarkan operator tersebut mengotomatiskan penyediaan, konfigurasi, dan rekonsiliasi resource kustom Elasticsearch dan Kibana.
  • Investigasi Data Bahasa Alami: Gunakan Elastic AI Agent untuk menjelajahi data Elasticsearch dalam bahasa alami. Agen menemukan indeks dan pemetaan, membuat dan menjalankan kueri ES|QL, serta menyintesis temuan tanpa memerlukan pengetahuan sebelumnya tentang skema yang mendasarinya.
  • Agen Kustom dan Alur Kerja Otomatis: Gunakan Agent Builder untuk membuat agen yang dibuat khusus yang menggabungkan petunjuk kustom dengan alat bawaan, alat ES|QL kustom, dan Alur Kerja Kibana (misalnya, membuka Kasus Keamanan Kibana secara otomatis dengan temuan investigasi).
  • Korelasi Notifikasi Keamanan Berbasis AI: Gunakan Attack Discovery untuk menganalisis notifikasi Elastic Security yang terbuka, memetakannya ke framework MITRE ATT&CK, dan menghubungkan notifikasi, alamat IP, dan akun pengguna terkait ke dalam rantai serangan.
  • Kompatibilitas Air-Gap: Image container operator ECK, Elasticsearch, dan Kibana diambil dari registry Harbor GDC lokal, dan semua traffic inferensi LLM tetap berada di jaringan GDC internal.
  • Backend LLM yang Dapat Dipasang: Hubungkan Kibana ke Gemini terkelola di GDC atau ke server inferensi yang dikelola sendiri yang mengekspos API /v1/chat/completions yang kompatibel dengan OpenAI melalui konektor OpenAI Kibana.

Prinsip arsitektur

  • Model Tanggung Jawab Bersama: GDC menyediakan cluster bersama, paket Marketplace, registry Harbor, dan jaringan. Pelanggan mengoperasikan deployment Elastic Stack, mengelola pemberian lisensi Elastic, serta memiliki pemilihan dan pengoperasian layanan LLM yang dikelola sendiri (jika digunakan).
  • Kedaulatan Data: Semua data operasional dan keamanan, perintah, serta respons model tetap berada dalam batas GDC dengan air gap. Tidak ada traffic yang dikirim ke layanan LLM publik atau yang dihosting Elastic.
  • Operasi Berbasis Cloud: Menggunakan pola operator Kubernetes untuk mengelola workload Elastic stateful secara deklaratif, sehingga memastikan deployment yang konsisten dan dapat diulang.
  • Standardisasi Protokol: Mengandalkan API penyelesaian chat yang kompatibel dengan OpenAI dan didukung secara luas dengan panggilan fungsi native, yang memisahkan Kibana dari mesin inferensi atau vendor model tertentu.

Arsitektur

Arsitektur ini terdiri dari deployment Elastic Stack yang dikelola oleh operator ECK di dalam namespace project pada cluster pengguna bersama GDC. Kibana berkomunikasi melalui jaringan GDC internal dengan endpoint inferensi LLM.

Diagram arsitektur Elastic Stack.

Komponen utama arsitektur ini meliputi:

  • Cluster bersama GDC: Cluster Kubernetes bersama dengan cakupan organisasi yang terpasang ke beberapa project, yang menghosting paket software dan workload aplikasi GDC Marketplace.
  • Project GDC: Namespace project di cluster bersama yang mengisolasi operator ECK, cluster Elasticsearch, instance Kibana, serta Secret dan NetworkPolicy Kubernetes terkait.
  • Operator Elastic Cloud on Kubernetes (ECK): Diinstal dari GDC Marketplace ke namespace project, operator mengelola resource kustom Elasticsearch dan Kibana serta menyelaraskan lisensi Elastic yang diperlukan untuk fitur AI generatif dan konektor LLM eksternal.
  • Elasticsearch: Menyimpan dan mengindeks data operasional dan keamanan, serta mengeksekusi kueri penelusuran dan ES|QL yang dihasilkan oleh fitur AI dan agen Kibana.
  • Kibana: Menghosting fitur AI generatif Elastic (Elastic AI Agent, Agent Builder, dan Attack Discovery) serta mengelola konektor tindakan LLM yang mengorkestrasi panggilan alat multilangkah antara pengguna, Elasticsearch, dan layanan LLM.
  • Layanan LLM: Layanan LLM terkelola (seperti Gemini di GDC) atau server inferensi yang dikelola sendiri (seperti Ollama atau vLLM) yang menyediakan kemampuan penyelesaian chat dan pemanggilan alat ke Kibana melalui jaringan GDC internal.

Konsep dan teknologi

Bagian ini menjelaskan komponen fungsional, tanggung jawabnya, dan cara berkomunikasi dalam sistem.

Infrastruktur dan platform

  • Cluster Bersama GDC: Lingkungan komputasi utama tempat pod ECK operator, Elasticsearch, dan Kibana berada dalam namespace project.
  • GDC Marketplace: Katalog yang digunakan untuk menginstal dan mengupgrade paket Elastic Marketplace, yang mendaftarkan CustomResourceDefinitions Elastic dan men-deploy StatefulSet elastic-operator.
  • Harbor Registry: Sumber tepercaya lokal yang aman untuk image container operator ECK, Elasticsearch, dan Kibana di lingkungan air-gapped.
  • Penyimpanan persisten: PersistentVolumeClaims yang disediakan melalui volumeClaimTemplates Elasticsearch menyediakan block storage yang tahan lama untuk data Elasticsearch.
  • Jaringan GDC: Layanan LoadBalancer mengekspos Elasticsearch (port 9200) dan Kibana (port 5601), sementara resource NetworkPolicy Kubernetes dan ProjectNetworkPolicy global mengatur traffic masuk dan lintas project, termasuk konektivitas ke layanan LLM.

Layanan dan logika

  • Operator ECK: Pengontrol yang memantau resource kustom Elasticsearch dan Kibana serta merekonsiliasinya ke dalam StatefulSet, Deployment, Service, dan Secret. license-controller-nya terus merekonsiliasi lisensi cluster dengan Secret lisensi di namespace operator.
  • Elastic AI Agent: Agen percakapan default di Kibana. Asisten ini menggunakan alat Agent Builder bawaan (platform.core.list_indices, platform.core.get_index_mapping, platform.core.search, dan platform.core.execute_esql) untuk menemukan data, membuat ES|QL, dan meringkas hasil.
  • Agent Builder: Framework untuk membuat agen kustom yang menggabungkan petunjuk sistem kustom dengan alat bawaan dan alat yang ditentukan pengguna (esql, index_search, workflow, dan mcp).
  • Alur Kerja Kibana: Otomatisasi deklaratif yang ditentukan YAML (misalnya, cases.createCase) yang dapat didaftarkan sebagai alat Agent Builder untuk memungkinkan agen mengambil tindakan seperti membuka Kasus Keamanan Kibana.
  • Attack Discovery: Fitur keamanan Elastic Security yang mengirimkan konteks pemberitahuan anonim ke LLM untuk menghubungkan pemberitahuan dari indeks .alerts-security.alerts-default ke dalam rantai serangan yang dipetakan ke taktik MITRE ATT&CK.
  • Layanan LLM: Memberikan penyelesaian chat yang disesuaikan dengan petunjuk dan dukungan panggilan alat native. Model harus menghasilkan pemanggilan alat yang valid, JSON terstruktur, dan kueri ES|QL dengan andal.

Aliran data dan antarmuka

  • API penyelesaian chat yang kompatibel dengan OpenAI (/v1/chat/completions): Antarmuka antara konektor OpenAI (.gen-ai) Kibana dan layanan LLM, yang dikonfigurasi dengan penyedia Other (OpenAI Compatible Service), pemanggilan fungsi native diaktifkan, dan streaming Server-Sent Events.
  • REST Elasticsearch dan ES|QL API: Digunakan oleh Kibana dan agennya untuk memeriksa pemetaan, menjalankan penelusuran, dan menjalankan agregasi ES|QL.
  • Kibana REST API: Digunakan untuk pengelolaan konektor (/api/actions), agen dan alat (/api/agent_builder), alur kerja (/api/workflows), aturan deteksi (/api/detection_engine), dan Attack Discovery (/api/attack_discovery) secara terprogram.
  • HTTPS dengan autentikasi bawaan: Endpoint Elasticsearch dan Kibana disajikan melalui TLS menggunakan sertifikat yang dihasilkan ECK, dengan kredensial yang disimpan di Secret Kubernetes yang dikelola ECK.

Pertimbangan

  • Skalabilitas dan performa:
    • Permintaan resource, batas, jumlah node, dan ukuran penyimpanan Elasticsearch dan Kibana harus disesuaikan dari default evaluasi agar sesuai dengan volume data produksi dan konkurensi kueri.
    • Konektor OpenAI Kibana menerapkan waktu tunggu default 60 detik per giliran streaming. Layanan LLM harus berjalan pada akselerasi GPU dengan pengoptimalan seperti Flash Attention untuk menjaga setiap giliran dalam batas ini.
    • Satu giliran agen dapat memicu sub-panggilan LLM bertingkat. Server inferensi harus mempertahankan beberapa slot cache KV paralel (misalnya, OLLAMA_NUM_PARALLEL=2) untuk mencegah sub-panggilan mengeluarkan konteks percakapan utama yang di-cache.
  • Persyaratan model LLM:
    • Model harus di-tuning dengan instruksi dan memiliki dukungan pemanggilan fungsi native. Pemanggilan fungsi native harus diaktifkan di konektor Kibana, karena pemanggilan fungsi simulasi berbasis perintah kurang dapat diandalkan untuk panggilan alat bertingkat.
    • Jendela konteks minimal 128.000 token sangat direkomendasikan, karena investigasi multi-langkah yang menggabungkan definisi alat, skema indeks, dokumentasi ES|QL, dan hasil penelusuran dapat melebihi 70.000 token.
    • Batas token output minimal 8.192 token dan penalti pengulangan yang ringan direkomendasikan untuk model yang mampu melakukan penalaran, karena Kibana memperlakukan alasan penyelesaian length sebagai error fatal dan menggunakan decoding serakah.
    • Attack Discovery memerlukan model kelas 30B atau yang lebih besar (seperti gemma4:31b) untuk menyintesis output terstruktur multi-pemberitahuan dengan andal.
  • Keamanan dan kepatuhan:
    • Semua perintah, data yang diambil, dan respons model tetap berada di jaringan GDC internal.
    • Kebijakan jaringan harus diperketat dari setelan evaluasi permisif untuk membatasi akses masuk ke Elasticsearch dan Kibana ke klien yang diizinkan dan untuk membatasi egress ke endpoint layanan LLM.
    • Akses ke Kibana dan Elasticsearch harus diatur melalui kontrol akses berbasis peran Elastic, bukan superuser elastic.
  • Pengelolaan resource dan pemberian lisensi:
    • Fitur AI generatif Elastic dan konektor LLM eksternal memerlukan lisensi Enterprise (atau uji coba Enterprise 30 hari yang aktif), yang harus disediakan melalui Secret lisensi ECK agar tetap ada di seluruh siklus rekonsiliasi operator.
  • Ketersediaan dan keandalan:
    • Deployment produksi harus menggunakan beberapa node Elasticsearch dengan shard replika dan beberapa instance Kibana untuk menghindari titik tunggal kegagalan.
    • Ketersediaan fitur AI bergantung pada ketersediaan dan latensi layanan LLM.
  • Pengelolaan operasional:
    • Pelanggan bertanggung jawab untuk mengupgrade paket Elastic Marketplace dan versi Elastic Stack, mengelola lisensi, serta mencadangkan data Elasticsearch.
    • Jika layanan LLM yang dikelola sendiri digunakan, pelanggan memiliki deployment, perencanaan kapasitas GPU, update model, dan penyesuaiannya.

Keputusan desain

Pilihan arsitektur utama untuk solusi ini berfokus pada pengaktifan fitur AI generatif Elastic dalam batasan lingkungan yang terisolasi.

Operator ECK dari GDC Marketplace

Operator ECK diinstal dari Marketplace GDC dengan air gap, bukan di-deploy secara manual. Paket Marketplace telah dikonfigurasi sebelumnya untuk menarik image container dari registry Harbor lokal, mendaftarkan CustomResourceDefinitions yang diperlukan, dan terintegrasi dengan peran IAM tingkat project GDC. Hal ini mengurangi upaya pencerminan gambar dan menjaga deployment tetap selaras dengan siklus proses software GDC.

Deployment cluster bersama

Solusi ini men-deploy Elastic Stack ke namespace project di cluster bersama GDC. Dengan begitu, pelanggan dapat menggunakan software Marketplace bersama dengan workload project lainnya tanpa menyediakan dan mengoperasikan cluster khusus, sementara namespace project memberikan isolasi resource, Secret, dan kebijakan jaringan.

Opsi layanan LLM

Gemini terkelola di GDC adalah opsi yang direkomendasikan jika tersedia, karena menghilangkan beban operasional dalam menghosting infrastruktur inferensi. Jika tidak tersedia, atau jika pelanggan memerlukan model terbuka tertentu, Kibana dapat terhubung ke server inferensi yang dikelola sendiri yang mengekspos endpoint /v1/chat/completions yang kompatibel dengan OpenAI. Standardisasi pada API ini membuat konfigurasi Elastic tidak bergantung pada mesin inferensi (seperti Ollama atau vLLM).

Pemanggilan fungsi native

Pemanggilan fungsi native diaktifkan di konektor Kibana sehingga pemformatan panggilan alat didelegasikan ke protokol tools OpenAI server inferensi. Pemanggilan fungsi simulasi berbasis perintah default Kibana kurang dapat diandalkan selama panggilan alat bertingkat dan dapat gagal dengan error penguraian.

Rekonsiliasi lisensi yang dikelola ECK

Lisensi Enterprise (atau uji coba) dideklarasikan sebagai Secret lisensi ECK, bukan diaktifkan langsung melalui API lisensi Elasticsearch. Karena ECK terus merekonsiliasi lisensi cluster, lisensi yang diterapkan di luar ECK akan dikembalikan ke basic pada siklus rekonsiliasi berikutnya.

Asumsi dan batasan

Asumsi

  • Cluster bersama GDC dan project terlampir tersedia, dengan kapasitas penyimpanan persisten dan komputasi yang memadai untuk operator ECK, Elasticsearch, dan Kibana.
  • Paket Elastic Marketplace serta image container Elasticsearch dan Kibana yang cocok tersedia di Marketplace GDC dengan air gap dan registry Harbor lokal.
  • Pengguna memiliki peran project yang diperlukan (namespace-admin, project-viewer, marketplace-editor, dan project-networkpolicy-admin).
  • Layanan LLM (Gemini terkelola di GDC atau server inferensi yang kompatibel dengan OpenAI yang dikelola sendiri) di-deploy dan dapat dijangkau dari pod Kibana melalui jaringan GDC internal.
  • Lisensi Elastic Enterprise tersedia, atau uji coba Enterprise selama 30 hari digunakan untuk evaluasi.

Batasan

  • Layanan LLM di luar cakupan: Men-deploy dan mengoperasikan layanan LLM yang dikelola sendiri, termasuk infrastruktur GPU, tidak tercakup dalam arsitektur ini.
  • Tidak ada layanan AI yang dihosting Elastic: LLM Terkelola Elastic dan layanan AI Elastic lainnya yang dihosting di cloud tidak tersedia di lingkungan air-gapped.
  • Kualitas yang bergantung pada model: Akurasi dan keandalan hasil AI Agent, Agent Builder, dan Attack Discovery bergantung pada kemampuan model yang dipilih dan konfigurasi runtime-nya.
  • Default tingkat evaluasi: Implementasi referensi menggunakan cluster Elasticsearch node tunggal, sertifikat yang ditandatangani sendiri, dan kebijakan jaringan permisif, yang harus diperkuat untuk penggunaan produksi.
  • Kekhususan versi: Solusi ini divalidasi dengan Elastic v9.4.0, Elastic Kubernetes Operator v3.4.0, dan GDC v1.16.2. Versi lain mungkin memerlukan penyesuaian.

Materi tambahan

Implementasi Referensi Solusi (SRI): Men-deploy fitur AI generatif Elastic Stack di GDC dengan air gap