Elasticsearch

Dokumen ini menjelaskan cara mengonfigurasi deployment Google Kubernetes Engine sehingga Anda dapat menggunakan Google Cloud Managed Service for Prometheus untuk mengumpulkan metrik dari Elasticsearch. Dokumen ini menunjukkan cara melakukan hal berikut:

  • Menyiapkan pengeksport untuk Elasticsearch guna melaporkan metrik.
  • Mengakses dasbor bawaan di Cloud Monitoring untuk melihat metrik.
  • Mengonfigurasi aturan pemberitahuan untuk memantau metrik.

Petunjuk ini hanya berlaku jika Anda menggunakan koleksi terkelola dengan Managed Service for Prometheus. Jika Anda menggunakan koleksi yang di-deploy sendiri, lihat repositori sumber untuk pengeksport Elasticsearch guna mengetahui informasi penginstalan.

Petunjuk ini diberikan sebagai contoh dan diharapkan berfungsi di sebagian besar lingkungan Kubernetes. Jika Anda mengalami masalah saat menginstal aplikasi atau pengeksport karena kebijakan organisasi atau keamanan yang ketat, sebaiknya lihat dokumentasi open source untuk mendapatkan dukungan.

Untuk mengetahui informasi tentang Elasticsearch, lihat Elasticsearch.

Prasyarat

Untuk mengumpulkan metrik dari Elasticsearch menggunakan Managed Service for Prometheus dan koleksi terkelola, deployment Anda harus memenuhi persyaratan berikut:

  • Cluster Anda harus menjalankan Google Kubernetes Engine versi 1.28.15-gke.2475000 atau yang lebih baru.
  • Anda harus menjalankan Managed Service for Prometheus dengan koleksi terkelola yang diaktifkan. Untuk mengetahui informasi selengkapnya, lihat Mulai menggunakan koleksi terkelola.

  • Untuk menggunakan dasbor yang tersedia di Cloud Monitoring untuk integrasi Elasticsearch, Anda harus menggunakan elasticsearch_exporter versi v1.3.0 atau yang lebih baru.

    Untuk mengetahui informasi selengkapnya tentang dasbor yang tersedia, lihat Melihat dasbor.

Menginstal pengeksport Elasticsearch

Sebaiknya instal pengeksport Elasticsearch, elasticsearch_exporter, menggunakan konfigurasi berikut:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: elasticsearch-exporter
  labels:
    app.kubernetes.io/name: elasticsearch-exporter
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: elasticsearch-exporter
  template:
    metadata:
      labels:
        app.kubernetes.io/name: elasticsearch-exporter
    spec:
      containers:
      - name: exporter
        image: quay.io/prometheuscommunity/elasticsearch-exporter:v1.3.0
        args:
        - '--es.uri=https://user:password@elasticsearch-es-internal-http:9200'
        ports:
        - containerPort: 9114
          name: prometheus
Pengeksport Elasticsearch dapat dikonfigurasi dengan flag, yang dapat ditetapkan sebagai argumen container. Anda dapat menyesuaikan konfigurasi pengeksport agar sesuai dengan konfigurasi Elasticsearch. Perbarui flag --es.uri agar sesuai dengan nama layanan clusterIP, sandi, dan nama pengguna lingkungan Anda.

Untuk menerapkan perubahan konfigurasi dari file lokal, jalankan perintah berikut: 

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Anda juga dapat menggunakan Terraform untuk mengelola konfigurasi.

Menentukan resource PodMonitoring

Untuk penemuan target, Managed Service for Prometheus Operator memerlukan resource PodMonitoring yang sesuai dengan pengeksport Elasticsearch di namespace yang sama.

Anda dapat menggunakan konfigurasi PodMonitoring berikut:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: elasticsearch
  labels:
    app.kubernetes.io/name: elasticsearch
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: prometheus
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      app.kubernetes.io/name: elasticsearch-exporter

Untuk menerapkan perubahan konfigurasi dari file lokal, jalankan perintah berikut: 

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Anda juga dapat menggunakan Terraform untuk mengelola konfigurasi.

Menentukan aturan dan pemberitahuan

Anda dapat menggunakan konfigurasi Rules berikut untuk menentukan pemberitahuan pada metrik Elasticsearch:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: Rules
metadata:
  name: elasticsearch-rules
  labels:
    app.kubernetes.io/component: rules
    app.kubernetes.io/name: elasticsearch-rules
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  groups:
  - name: elasticsearch
    interval: 30s
    rules:
    - alert: ElasticsearchHighJVMMemoryUsage
      annotations:
        description: |-
          Elasticsearch high jvm memory usage
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Elasticsearch high jvm memory usage (instance {{ $labels.instance }})
      expr: (elasticsearch_jvm_memory_used_bytes / elasticsearch_jvm_memory_max_bytes) > 0.9
      for: 5m
      labels:
        severity: critical
    - alert: ElasticsearchRedClusterStatus
      annotations:
        description: |-
          Elasticsearch red cluster status
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Elasticsearch red cluster status (instance {{ $labels.instance }})
      expr: sum(elasticsearch_cluster_health_status{color="red"}) > 0
      for: 5m
      labels:
        severity: critical
    - alert: ElasticsearchYellowClusterStatus
      annotations:
        description: |-
          Elasticsearch yellow cluster status
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Elasticsearch yellow cluster status (instance {{ $labels.instance }})
      expr: sum(elasticsearch_cluster_health_status{color="yellow"}) > 0
      for: 5m
      labels:
        severity: warning

Untuk menerapkan perubahan konfigurasi dari file lokal, jalankan perintah berikut: 

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Anda juga dapat menggunakan Terraform untuk mengelola konfigurasi.

Untuk mengetahui informasi selengkapnya tentang cara menerapkan aturan ke cluster, lihat Evaluasi dan pemberitahuan aturan terkelola.

Anda dapat menyesuaikan nilai minimum pemberitahuan agar sesuai dengan aplikasi Anda.

Memverifikasi konfigurasi

Anda dapat menggunakan Metrics Explorer untuk memverifikasi bahwa Anda telah mengonfigurasi pengeksport Elasticsearch dengan benar. Cloud Monitoring mungkin memerlukan waktu satu atau dua menit untuk menyerap metrik Anda.

Untuk memverifikasi bahwa metrik telah diserap, lakukan hal berikut:

  1. Di Google Cloud konsol, buka halaman  Metrics explorer:

    Buka Metrics explorer

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Di toolbar panel pembuat kueri, pilih tombol yang namanya  PromQL.
  3. Masukkan dan jalankan kueri berikut:
    up{job="elasticsearch", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

Melihat dasbor

Integrasi Cloud Monitoring mencakup dasbor Ringkasan Prometheus Elasticsearch. Dasbor akan otomatis diinstal saat Anda mengonfigurasi integrasi. Anda juga dapat melihat pratinjau statis dasbor tanpa menginstal integrasi.

Untuk melihat dasbor yang terinstal, lakukan hal berikut:

  1. Di Google Cloud konsol, buka halaman  Dashboards:

    Buka Dashboards

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Pilih tab Dashboard List.
  3. Pilih kategori Integrations.
  4. Klik nama dasbor, misalnya, Elasticsearch Prometheus Overview.

Untuk melihat pratinjau statis dasbor, lakukan hal berikut:

  1. Di Google Cloud konsol, buka halaman  Integrations:

    Buka Integrations

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Klik filter platform deployment Kubernetes Engine.
  3. Temukan integrasi Elasticsearch, lalu klik View Details.
  4. Pilih tab Dashboards.

Pemecahan masalah

Untuk mengetahui informasi tentang cara memecahkan masalah penyerapan metrik, lihat Masalah dengan pengumpulan dari pengeksport di Memecahkan masalah sisi penyerapan.