Mengekspor metrik Connect Agent ke Cloud Monitoring

Halaman ini menjelaskan cara mengekspor metrik Connect Agent ke Cloud Monitoring dari Google Distributed Cloud, GKE di AWS, atau cluster Kubernetes terdaftar lainnya.

Ringkasan

Di cluster Google Distributed Cloud atau GKE di AWS, Prometheus mengumpulkan metrik dan menyimpannya secara lokal dalam cluster. Mendaftarkan cluster di luar Google Cloud fleet akan membuat Deployment bernama Connect Agent di cluster. Prometheus mengumpulkan metrik yang berguna dari Connect Agent, seperti error saat terhubung ke Google dan jumlah koneksi terbuka. Agar metrik ini tersedia untuk Cloud Monitoring, Anda harus:

  • Mengekspos Connect Agent menggunakan Layanan.
  • Men-deploy prometheus-to-sd, komponen sederhana yang meng-scrape metrik Prometheus dan mengekspornya ke Cloud Monitoring.

Setelah itu, Anda dapat melihat metrik menggunakan Monitoring di Google Cloud konsol, atau dengan meneruskan port Layanan dan menggunakan curl.

Membuat variabel untuk namespace Connect Agent

Connect Agent biasanya berjalan di namespace gke-connect.

Connect Agent memiliki label, hub.gke.io/project. Server HTTP memproses di port 8080.

Buat variabel, AGENT_NS, untuk namespace:

AGENT_NS=$(kubectl get ns --kubeconfig KUBECONFIG -o jsonpath={.items..metadata.name} -l hub.gke.io/project=PROJECT_ID)

Ganti kode berikut:

  • KUBECONFIG: file kubeconfig untuk cluster Anda
  • PROJECT_ID: project ID

Mengekspos Deployment Connect Agent

  1. Salin konfigurasi berikut ke file YAML bernama gke-connect-agent.yaml. Konfigurasi ini membuat Layanan, gke-connect-agent, yang mengekspos Deployment Connect Agent.

    apiVersion: v1
    kind: Service
    metadata:
      labels:
        app: gke-connect-agent
      name: gke-connect-agent
    spec:
      ports:
      - port: 8080
        protocol: TCP
        targetPort: 8080
      selector:
        app: gke-connect-agent
      type: ClusterIP
  2. Terapkan file YAML ke namespace Connect Agent di cluster Anda, dengan KUBECONFIG adalah jalur ke file kubeconfig cluster:

    kubectl apply -n ${AGENT_NS} --kubeconfig KUBECONFIG -f gke-connect-agent.yaml
  3. Ikat peran IAM roles/monitoring.metricWriter ke akun layanan Google fleet:

    gcloud projects add-iam-policy-binding PROJECT_ID \
        --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" \
        --role="roles/monitoring.metricWriter"

Men-deploy prometheus-to-sd

  1. Salin konfigurasi berikut ke file YAML, bernama prometheus-to-sd.yaml dengan:

    • PROJECT_ID adalah Google Cloud project ID Anda. Pelajari cara menemukan nilai ini.
    • CLUSTER_NAME adalah nama cluster Kubernetes tempat Connect Agent berjalan.
    • REGION adalah lokasi yang secara geografis dekat dengan tempat cluster Anda berjalan. Pilih a Google Cloud zona yang secara geografis dekat dengan lokasi fisik cluster.
    • ZONE adalah lokasi di dekat datacenter lokal Anda. Pilih zona yang secara geografis dekat dengan tempat traffic mengalir. Google Cloud

    Konfigurasi ini membuat dua resource:

    • ConfigMap, prom-to-sd-user-config, yang mendeklarasikan beberapa variabel untuk digunakan oleh Deployment
    • Deployment, prometheus-to-monitoring, yang menjalankan prometheus-to-sd dalam satu Pod.
    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: prom-to-sd-user-config
    data:
      # The project that the Connect Agent uses. Accepts ID or number.
      project: PROJECT_ID
      # A name for the cluster, which shows up in Cloud Monitoring.
      cluster_name: CLUSTER_NAME
      # cluster_location must be valid (e.g. us-west1-a); shows up in Cloud Monitoring.
      cluster_location: REGION
      # A zone name to report (e.g. us-central1-a).
      zone: ZONE
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: prometheus-to-monitoring
    spec:
      progressDeadlineSeconds: 600
      replicas: 1
      revisionHistoryLimit: 2
      selector:
        matchLabels:
          run: prometheus-to-monitoring
      template:
        metadata:
          labels:
            run: prometheus-to-monitoring
        spec:
          containers:
            - args:
                - /monitor
                # 'gke-connect-agent' is the text that will show up in the Cloud Monitoring metric name.
                - --source=gke-connect-agent:http://gke-connect-agent:8080
                - --monitored-resource-types=k8s
                - --stackdriver-prefix=custom.googleapis.com
                - --project-id=$(PROM_PROJECT)
                - --cluster-name=$(PROM_CLUSTER_NAME)
                - --cluster-location=$(PROM_CLUSTER_LOCATION)
                - --zone-override=$(PROM_ZONE)
                # A node name to report. This is a dummy value.
                - --node-name=MyGkeConnectAgent
              env:
                - name: GOOGLE_APPLICATION_CREDENTIALS
                  value: /etc/creds/creds-gcp.json
                - name: PROM_PROJECT
                  valueFrom:
                    configMapKeyRef:
                      name: prom-to-sd-user-config
                      key: project
                - name: PROM_CLUSTER_NAME
                  valueFrom:
                    configMapKeyRef:
                      name: prom-to-sd-user-config
                      key: cluster_name
                - name: PROM_CLUSTER_LOCATION
                  valueFrom:
                    configMapKeyRef:
                      name: prom-to-sd-user-config
                      key: cluster_location
                - name: PROM_ZONE
                  valueFrom:
                    configMapKeyRef:
                      name: prom-to-sd-user-config
                      key: zone
              image: gcr.io/google-containers/prometheus-to-sd:v0.7.1
              imagePullPolicy: IfNotPresent
              name: prometheus-to-monitoring
              resources: {}
              terminationMessagePath: /dev/termination-log
              terminationMessagePolicy: File
              volumeMounts:
                - mountPath: /etc/creds
                  name: creds-gcp
                  readOnly: true
          restartPolicy: Always
          schedulerName: default-scheduler
          securityContext: {}
          terminationGracePeriodSeconds: 30
          volumes:
            - name: creds-gcp
              secret:
                defaultMode: 420
                # This secret is already set up for the Connect Agent.
                secretName: creds-gcp
  2. Terapkan file YAML ke namespace Connect Agent di cluster Anda, dengan KUBECONFIG adalah jalur ke file kubeconfig cluster:

    kubectl apply -n ${AGENT_NS} --kubeconfig KUBECONFIG -f prometheus-to-sd.yaml

Melihat metrik

Konsol

  1. Buka halaman Monitoring di Google Cloud konsol.

    Buka halaman Monitoring

  2. Dari menu sebelah kiri, klik Metrics Explorer.

  3. Metrik Connect Agent diawali dengan custom.googleapis.com/gke-connect-agent/, dengan gke-connect-agent adalah string yang ditentukan dalam argumen --source. Misalnya, custom.googleapis.com/gke-connect-agent/gkeconnect_dialer_connection_errors_total

cURL

  1. Di shell, gunakan kubectl untuk meneruskan port Layanan gke-connect-monitoring:

    kubectl -n ${AGENT_NS} port-forward svc/gke-connect-monitoring 8080
  2. Buka shell lain, lalu jalankan:

    curl localhost:8080/metrics

Pembersihan

Untuk menghapus resource yang Anda buat dalam topik ini:

AGENT_NS=$(kubectl get ns --kubeconfig KUBECONFIG -o jsonpath={.items..metadata.name} -l hub.gke.io/project)
kubectl delete configmap prom-to-sd-user-config --kubeconfig KUBECONFIG -n ${AGENT_NS}
kubectl delete service gke-connect-agent --kubeconfig KUBECONFIG -n ${AGENT_NS}
kubectl delete deployment prometheus-to-monitoring --kubeconfig KUBECONFIG -n ${AGENT_NS}