Mengumpulkan metrik AWS CloudWatch menggunakan Prometheus CloudWatch Exporter

Dokumen ini menjelaskan cara menggunakan eksportir Prometheus CloudWatch open source dan Agen Operasional yang berjalan di instance Compute Engine untuk mengumpulkan metrik AWS CloudWatch dan menyimpannya dalam Google Cloud project.

Dokumen ini ditujukan bagi developer dan administrator sistem yang perlu mengumpulkan metrik AWS CloudWatch. Dokumen ini menjelaskan cara menyiapkan eksportir Prometheus CloudWatch untuk mengumpulkan metrik AWS CloudWatch.

Dengan Cloud Monitoring, Anda dapat melihat metrik AWS dalam konteks yang sama dengan metrik Google Cloud . Misalnya, Anda dapat membuat dasbor dengan diagram yang menampilkan pemakaian CPU untuk instance Amazon EC2 dan untuk instance Compute Engine Anda. Anda juga dapat membuat kebijakan pemberitahuan untuk memantau metrik AWS. Untuk informasi selengkapnya, lihat bagian berikut:

Sebelum memulai

Untuk mengumpulkan metrik AWS CloudWatch menggunakan pengekspor CloudWatch Prometheus, Anda memerlukan hal berikut:

  • Project Google Cloud dengan izin untuk melakukan hal berikut:
    • Membuat VM
    • Menulis log ke Cloud Logging
    • Menulis metrik ke Cloud Monitoring
  • Akun AWS dengan kredensial AWS yang dapat digunakan oleh pengekspor Prometheus untuk mengambil metrik. Untuk mengetahui informasi selengkapnya, lihat Menjalankan eksportir Prometheus.

Membuat VM Compute Engine

Sebaiknya buat VM Compute Engine Linux untuk digunakan secara khusus guna menjalankan Agen Operasional dan Prometheus CloudWatch exporter. VM ini bertindak sebagai situs pengumpulan untuk semua metrik AWS.

  1. Untuk membuat VM Debian Linux bernama aws-exporter-test di zona yang Anda tentukan, jalankan perintah berikut:

    gcloud compute instances create \
  --image-project debian-cloud \
  --image-family debian-11 \
  --zone ZONE \
  aws-exporter-test

    Konfigurasi perintah sebagai berikut:

    • Ganti ZONE dengan zona untuk VM baru Anda
    • Opsional. Ganti aws-exporter-test dengan nama yang berbeda untuk VM Anda.

    Untuk mengetahui informasi selengkapnya tentang perintah ini, lihat referensi gcloud compute instances create.

  2. Untuk mengakses VM agar Anda dapat menginstal eksportir Prometheus CloudWatch dan Agen Operasional, Anda dapat menggunakan perintah berikut:

    gcloud compute ssh --zone ZONE  --project PROJECT_ID  aws-exporter-test

    Konfigurasi perintah sebagai berikut:

    • Ganti ZONE dengan zona tempat Anda membuat VM
    • Ganti PROJECT_ID dengan ID project Google Cloud Anda
    • Ganti aws-exporter-test jika Anda membuat VM dengan nama yang berbeda

    Untuk mengetahui informasi selengkapnya tentang perintah ini, lihat referensi gcloud compute ssh.

Menyiapkan pengekspor Prometheus CloudWatch

Bagian berikut menjelaskan prosedur untuk mendownload, menginstal, dan mengonfigurasi eksportir Prometheus CloudWatch di VM Compute Engine Anda.

Download exporter Prometheus dan JRE

Untuk menjalankan Prometheus CloudWatch exporter, Anda perlu mendownload exporter dan Java Runtime Environment (JRE), versi 11 atau yang lebih baru.

  1. Untuk mendownload file JAR yang berisi eksportir Prometheus CloudWatch, jalankan perintah berikut di instance Compute Engine Anda:

    curl -sSO https://github.com/prometheus/cloudwatch_exporter/releases/download/v0.15.1/cloudwatch_exporter-0.15.1-jar-with-dependencies.jar

  2. Untuk menginstal JRE, Anda dapat menggunakan perintah seperti berikut:

    sudo apt install default-jre

Mengonfigurasi pengekspor Prometheus

Untuk mengonfigurasi pengekspor Prometheus CloudWatch, Anda membuat file konfigurasi untuk layanan AWS yang metriknya ingin Anda kumpulkan. Untuk informasi umum, lihat dokumentasi konfigurasi Prometheus CloudWatch exporter.

  • Memigrasikan pengguna: Jika Anda memigrasikan metrik AWS CloudWatch yang ada ke pengekspor Prometheus CloudWatch, Anda dapat menggunakan file konfigurasi di Konfigurasi pengekspor Prometheus CloudWatch untuk migrasi. File konfigurasi ini dirancang untuk mereplikasi metrik yang ada sedekat mungkin, tetapi tidak mengumpulkan semua metrik yang tersedia dengan menggunakan eksportir Prometheus CloudWatch untuk layanan AWS.

  • Pengguna baru: Jika Anda tidak memigrasikan metrik yang ada, sebaiknya jangan gunakan konfigurasi migrasi. Lihat dokumentasi layanan AWS CloudWatch untuk mengetahui informasi tentang cara menentukan konfigurasi eksportir untuk layanan lain. Anda juga dapat menemukan contoh tambahan di repositori GitHub Prometheus CloudWatch exporter.

Anda dapat menggabungkan konfigurasi untuk beberapa layanan AWS ke dalam satu file konfigurasi. Contoh dalam dokumen ini mengasumsikan bahwa file konfigurasi Anda diberi nama config.yml.

Menjalankan pengekspor Prometheus

Sebelum dapat menjalankan eksportir Prometheus CloudWatch, Anda harus memberikan kredensial dan otorisasi ke eksportir. Pengekspor Prometheus CloudWatch menggunakan AWS Java SDK, yang menawarkan cara untuk memberikan kredensial dengan menggunakan variabel lingkungan berikut:

  • AWS_ACCESS_KEY
  • AWS_SECRET_ACCESS_KEY
  • AWS_SESSION_TOKEN, jika Anda menggunakan kredensial sementara

Untuk mengetahui informasi selengkapnya tentang cara memberikan kredensial ke SDK, lihat AWS SDK for Java 2.x.

Anda juga harus memiliki izin untuk menggunakan CloudWatch API guna mengambil metrik. Anda memerlukan izin CloudWatch AWS IAM berikut:

  • cloudwatch:ListMetrics
  • cloudwatch:GetMetricStatistics
  • cloudwatch:GetMetricData

Penggunaan fitur aws_tag_select juga memerlukan izin AWS IAM tag:GetResources.

Untuk mengetahui informasi selengkapnya tentang cara mengizinkan akses ke layanan AWS, lihat AWS Identity and Access Management.

Untuk menjalankan eksportir Prometheus CloudWatch, lakukan hal berikut:

  1. Untuk memberikan kredensial bagi pengekspor, tetapkan variabel lingkungan access-key:

    export AWS_ACCESS_KEY=YOUR_ACCESS_KEY
export AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY
export AWS_SESSION_TOKEN=YOUR_SESSION_TOKEN

    Ganti variabel YOUR_KEY dengan kunci akses Anda. Anda hanya perlu menetapkan variabel lingkungan AWS_SESSION_TOKEN jika Anda menggunakan kredensial sementara.

  2. Untuk menguji konfigurasi, mulai pengekspor dan muat file konfigurasi, jalankan perintah berikut:

    java -jar cloudwatch_exporter-0.15.1-jar-with-dependencies.jar 9106 config.yml

    Ubah nilai port (9106) dan file konfigurasi (config.yml) jika perlu.

    Jika Anda mengubah file config.yml saat pengekspor berjalan, Anda dapat memuat ulang pengekspor dengan menjalankan perintah berikut:

    curl -X POST localhost:9106/-/reload

    Untuk digunakan di lingkungan produksi, Anda dapat mengonfigurasi pengekspor agar dimulai ulang jika VM dimulai ulang. Misalnya, di sistem Debian, Anda dapat menggunakan pengelola sistem dan layanan, systemd.

Menyiapkan Agen Operasional

Bagian berikut menjelaskan cara menginstal, mengonfigurasi, dan memulai Agen Operasional. Bagian ini memberikan informasi penyiapan minimal untuk Agen Operasional untuk digunakan dengan pengekspor Prometheus CloudWatch. Untuk mengetahui informasi selengkapnya tentang topik ini, lihat Ringkasan Agen Operasional.

Menginstal Agen Operasional

Untuk menginstal Agen Operasional, gunakan perintah berikut untuk mendownload dan menjalankan skrip penginstalan agen:

curl -sSO https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.sh
sudo bash add-google-cloud-ops-agent-repo.sh --also-install

Mengonfigurasi Agen Operasional

Untuk mengonfigurasi Agen Operasional, Anda menambahkan elemen konfigurasi ke file konfigurasi pengguna agen. Di Linux, file konfigurasi pengguna adalah /etc/google-cloud-ops-agent/config.yaml.

Saat mengonfigurasi Agen Operasional untuk mengumpulkan metrik AWS dari pengekspor Prometheus CloudWatch, Anda menggunakan penerima Prometheus agen. Dokumen ini menjelaskan dua konfigurasi dasar untuk Agen Operasi. Pilih salah satu konfigurasi dan tambahkan ke file konfigurasi pengguna:

sudo vim /etc/google-cloud-ops-agent/config.yaml

Konfigurasi dasar untuk Agen Operasional

Konfigurasi berikut memberikan konfigurasi minimal untuk Agen Operasional. Konfigurasi ini melakukan hal berikut:

  • Membuat penerima bernama aws dari jenis prometheus. Penerima dikonfigurasi untuk meng-scrape metrik dari tugas aws_exporter. Port yang ditentukan harus cocok dengan port tempat pengekspor Prometheus CloudWatch mengekspor metrik; lihat Menjalankan pengekspor Prometheus.

  • Membuat pipeline bernama aws_pipeline yang menggunakan penerima metrik aws.

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

Konfigurasi yang menghilangkan metrik JVM

Konfigurasi berikut melakukan semua yang dilakukan konfigurasi dasar, tetapi juga menambahkan konfigurasi pelabelan ulang yang menghilangkan metrik JVM yang dihasilkan oleh exporter. Menghapus metrik ini akan mengurangi data metrik yang di-ingest, tetapi dapat membuat masalah pada eksportir lebih sulit di-debug, karena Anda tidak mendapatkan metrik eksportir itu sendiri:

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
            # Drop the exporter's own JVM metrics to reduce noise.
            metric_relabel_configs:
              - source_labels: [ __name__ ]
                regex: 'jvm_.*'
                action: drop
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

Anda dapat membuat konfigurasi yang jauh lebih kompleks untuk Agen Operasional.

Mulai ulang Agen Operasional

Untuk menerapkan perubahan konfigurasi ke Agen Operasional, Anda harus memulai ulang agen.

  1. Untuk memulai ulang agen, jalankan perintah berikut di instance Anda: 
    sudo service google-cloud-ops-agent restart
  2. Untuk mengonfirmasi bahwa agen telah dimulai ulang, jalankan perintah berikut dan pastikan komponen "Metrics Agent" dan "Logging Agent" telah dimulai: 
    sudo systemctl status google-cloud-ops-agent"*"

Melihat metrik di Cloud Monitoring

Di Cloud Monitoring, Anda dapat membuat kueri metrik AWS CloudWatch dan membuat diagram seperti yang Anda lakukan untuk metrik lainnya. Dari antarmuka Metrics Explorer, Anda dapat menggunakan PromQL atau antarmuka pembuat kueri. Untuk informasi selengkapnya, lihat Membuat diagram dengan Metrics Explorer.

Jika Anda telah membuat diagram yang ingin disimpan, Anda dapat menyimpannya ke dasbor kustom. Untuk mengetahui informasi selengkapnya, lihat Ringkasan dasbor.

Diagram berikut menunjukkan kueri PromQL untuk metrik aws_ec2_cpuutilization_sum untuk VM AWS:

Diagram menampilkan hasil pengambilan statistik aws_ec2_cpuutilization_sum untuk VM AWS menggunakan PromQL.

Untuk mengetahui informasi selengkapnya tentang penggunaan PromQL di Cloud Monitoring, lihat PromQL untuk Cloud Monitoring.

Pemberitahuan tentang perilaku metrik

Di Cloud Monitoring, Anda dapat membuat kebijakan pemberitahuan untuk memantau metrik AWS CloudWatch dan memberi tahu Anda tentang lonjakan, penurunan, atau tren dalam nilai metrik.

Memantau beberapa wilayah

Konfigurasi pengekspor Prometheus CloudWatch hanya mendukung penggunaan satu region per file konfigurasi. Jika Anda perlu memantau beberapa region, sebaiknya jalankan beberapa instance eksportir Prometheus, yang masing-masing dikonfigurasi untuk setiap region yang ingin Anda pantau. Anda dapat menjalankan beberapa pengekspor di satu VM, atau mendistribusikannya di beberapa VM. Image Docker Prometheus exporter mungkin berguna dalam situasi ini.

Anda dapat mengonfigurasi Agen Operasional yang berjalan di VM Compute Engine untuk melakukan scraping beberapa endpoint Prometheus. Sebaiknya, saat mengonfigurasi beberapa instance eksportir Prometheus, Anda menggunakan nama job yang berbeda untuk setiap konfigurasi pengambilan, sehingga Anda dapat membedakan instance eksportir jika perlu memecahkan masalahnya.

Untuk mengetahui informasi tentang cara mengonfigurasi Agen Operasional dan penerima Prometheus, lihat Mengonfigurasi Agen Operasional.

Biaya

Amazon mengenakan biaya untuk setiap permintaan CloudWatch API atau untuk setiap metrik CloudWatch yang Anda minta; untuk harga saat ini, lihat Harga Amazon CloudWatch. Exporter Prometheus CloudWatch memiliki kueri karakteristik berikut, yang dapat memengaruhi biaya Amazon Anda:

  • Saat menggunakan metode GetMetricStatistics (default), setiap metrik memerlukan satu permintaan API. Setiap permintaan dapat menyertakan beberapa statistik.
  • Saat menggunakan aws_dimensions, eksportir harus melakukan permintaan API untuk menentukan metrik yang akan diminta. Jumlah permintaan dimensi biasanya tidak signifikan dibandingkan dengan jumlah permintaan metrik.

Cloud Monitoring mengenakan biaya untuk metrik AWS CloudWatch dari pengekspor Prometheus berdasarkan jumlah sampel yang diserap. Untuk mengetahui harga saat ini, lihat bagian Cloud Monitoring di halaman Harga Google Cloud Observability.

Konfigurasi pengekspor Prometheus CloudWatch untuk migrasi

Bagian ini memberikan konfigurasi yang mereplikasi, sedekat mungkin, metrik layanan AWS yang didokumentasikan dalam daftar metrik AWS. File konfigurasi ini ditujukan untuk digunakan oleh pelanggan yang bermigrasi ke pengekspor Prometheus CloudWatch dari solusi lama. Jika Anda menyiapkan pengekspor Prometheus CloudWatch sebagai pengguna baru, bukan pengguna yang melakukan migrasi, dan Anda menggunakan konfigurasi ini, Anda tidak akan mengumpulkan semua metrik AWS yang disediakan oleh pengekspor Prometheus CloudWatch.

Untuk melihat contoh file konfigurasi untuk metrik AWS CloudWatch, luaskan salah satu bagian berikut.