GKE に Elastic Stack を設定する

このチュートリアルでは、Elastic Cloud on Kubernetes(ECK)オペレーターを使用して GKE で Elastic Stack を実行する方法について説明します。

Elastic Stack は、リアルタイムのデータのロギング、モニタリング、分析に使用される一般的なオープンソース ソリューションです。GKE で Elastic Stack を使用すると、GKE Autopilot と強力な Elastic Stack 機能により、優れたスケーラビリティと信頼性を利用できます。

このチュートリアルは、Kubernetes 管理者またはサイト信頼性エンジニアを対象としています。

目標

  • GKE クラスタを作成する。
  • ECK オペレーターをデプロイする。
  • ECK オペレーターを使用して Elasticsearch クラスタと Kibana を構成する。
  • ECK オペレーターを使用して、完全な Elastic Stack をデプロイする。
  • Elasticsearch クラスタを自動スケーリングし、Elastic Stack Deployment をアップグレードする。
  • Elastic Stack を使用して Kubernetes 環境をモニタリングする。

費用

このドキュメントでは、課金対象である次の Google Cloudコンポーネントを使用します。

料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを生成できます。

新規の Google Cloud ユーザーは無料トライアルをご利用いただける場合があります。

このドキュメントに記載されているタスクの完了後、作成したリソースを削除すると、それ以上の請求は発生しません。詳細については、クリーンアップをご覧ください。

始める前に

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. Install the Google Cloud CLI.

  3. 外部 ID プロバイダ(IdP)を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

  4. gcloud CLI を初期化するには、次のコマンドを実行します。

    gcloud init
  5. Create or select a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the GKE API:

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    gcloud services enable container.googleapis.com
  8. Install the Google Cloud CLI.

  9. 外部 ID プロバイダ(IdP)を使用している場合は、まず連携 ID を使用して gcloud CLI にログインする必要があります。

  10. gcloud CLI を初期化するには、次のコマンドを実行します。

    gcloud init
  11. Create or select a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  12. Verify that billing is enabled for your Google Cloud project.

  13. Enable the GKE API:

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    gcloud services enable container.googleapis.com
  14. Grant roles to your user account. Run the following command once for each of the following IAM roles: roles/container.clusterAdmin

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Replace the following:

    • PROJECT_ID: Your project ID.
    • USER_IDENTIFIER: The identifier for your user account. For example, myemail@example.com.
    • ROLE: The IAM role that you grant to your user account.
    • ドメイン名を所有している必要があります。ドメイン名は 63 文字以下にする必要があります。Cloud Domains または他の登録事業者を使用できます。

    環境を準備する

    このチュートリアルでは、Cloud Shell を使用して Google Cloudでホストされているリソースを管理します。Cloud Shell には、kubectlHelmgcloud CLI など、このチュートリアルに必要なソフトウェアがプリインストールされています。

    Cloud Shell を使用して環境を設定するには、次の操作を行います。

    1. Google Cloud コンソールCloud Shell 有効化アイコンCloud Shell をアクティブにする)をクリックして、 Google Cloud コンソールから Cloud Shell セッションを起動します。これにより、 Google Cloud コンソールの下部ペインでセッションが起動します。

    2. Helm チャート リポジトリを追加して更新します。

      helm repo add elastic https://helm.elastic.co
      helm repo update
      
    3. GitHub リポジトリのクローンを作成します。

      git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples.git
      
    4. 作業ディレクトリを変更します。

      cd kubernetes-engine-samples/observability/elastic-stack-tutorial
      

    GKE クラスタを作成する

    コントロール プレーンの指標の収集を有効にして GKE クラスタを作成します。

    gcloud container clusters create-auto elk-stack \
        --location="us-central1" \
        --monitoring="SYSTEM,WORKLOAD,API_SERVER,SCHEDULER,CONTROLLER_MANAGER"
    

    ECK オペレーターをデプロイする

    Elastic Cloud on Kubernetes(ECK)は、Kubernetes クラスタに Elastic Stack をデプロイして管理するためのプラットフォームです。

    ECK は、Elastic Stack クラスタのデプロイと管理を自動化し、Kubernetes での Elastic Stack の設定とメンテナンスのプロセスを簡素化します。提供される Kubernetes カスタム リソースのセットを使用すると、Elasticsearch、Kibana、Application Performance Management Server、その他の Elastic Stack コンポーネントを Kubernetes で作成し、構成できます。これにより、デベロッパーと DevOps チームは、Elastic Stack クラスタを大規模に構成して管理できます。

    ECK は、複数の Elasticsearch ノード、自動アプリケーション フェイルオーバー、シームレス アップグレード、SSL 暗号化をサポートしています。ECK には、Elasticsearch のパフォーマンスをモニタリングしてトラブルシューティングできる機能も含まれています。

    1. ECK Helm チャートをインストールします。

      helm upgrade --install "elastic-operator" "elastic/eck-operator" \
          --version="2.8.0" \
          --create-namespace \
          --namespace="elastic-system" \
          --set="resources.limits.cpu=250m" \
          --set="resources.limits.memory=512Mi" \
          --set="resources.limits.ephemeral-storage=1Gi" \
          --set="resources.requests.cpu=250m" \
          --set="resources.requests.memory=512Mi" \
          --set="resources.requests.ephemeral-storage=1Gi"
      
    2. オペレーターの準備ができるまで待ちます。

      watch kubectl get pods -n elastic-system
      

      出力は次のようになります。

      NAME                 READY   STATUS    RESTARTS   AGE
      elastic-operator-0   1/1     Running   0          31s
      

      オペレーター STATUSRunning の場合は、Ctrl+C を押してコマンドラインに戻ります。

    ECK を使用して Elastic Stack を構成する

    Elastic Stack をフリートモードで動作する Elasticsearch、Kibana、Elastic Agent とともに使用すると、Kibana を使用してデータの管理と可視化を行う強力でスケーラブルなフルマネージド ソリューションを設定できます。

    Kibana は、Elasticsearch でデータを検索、分析、可視化できるオープンソースのデータ分析および可視化ツールです。

    Elastic Agent は、ログや指標などのさまざまなソースからデータを収集し、自動的に Elasticsearch に送信する軽量のデータシッパーです。

    Elastic Fleet は、Elastic エージェントが中央のフリート サーバーに報告し、構成と管理を処理する運用モードです。フリート サーバーにより、Elastic エージェントのデプロイ、構成、スケーリングが簡素化され、大規模で複雑なデプロイの管理が容易になります。

    Elasticsearch 自動スケーリングは、オペレーターが定義したポリシーに基づいて追加のリソースが必要になったときに報告を行うセルフ モニタリング機能です。たとえば、利用可能なディスク容量に基づいて特定のティアをスケーリングするようにポリシーで指定できます。Elasticsearch では、ディスク容量をモニタリングし、不足が予測された場合にスケーリングを提案できます。必要なリソースを追加するかどうかはオペレーターの判断によります。Elasticsearch 自動スケーリングの詳細については、Elasticsearch ドキュメントの自動スケーリングをご覧ください。

    Elasticsearch クラスタを構成する

    Elasticsearch は、大量のデータを迅速かつ効率的に保存および検索するように設計された、分散型の RESTful 検索および分析エンジンを提供します。

    Kubernetes に Elastic Stack をデプロイする場合は、Elasticsearch に必要な VM 設定(特に vm.max_map_count setting)を管理する必要があります。vm.max_map_count は、プロセスがファイルに割り当てることができるメモリ領域の数を指定します。Elasticsearch を最適に実行するには、この値を少なくとも 262144 に設定する必要があります。詳細については、ECK ドキュメントの仮想メモリをご覧ください。

    1. 次のマニフェストを確認します。

      # Copyright 2023 Google LLC
      #
      # Licensed under the Apache License, Version 2.0 (the "License");
      # you may not use this file except in compliance with the License.
      # You may obtain a copy of the License at
      #
      #      https://www.apache.org/licenses/LICENSE-2.0
      #
      # Unless required by applicable law or agreed to in writing, software
      # distributed under the License is distributed on an "AS IS" BASIS,
      # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
      # See the License for the specific language governing permissions and
      # limitations under the License.
      
      apiVersion: scheduling.k8s.io/v1
      kind: PriorityClass
      metadata:
        name: user-daemonset-priority
      value: 999999999
      preemptionPolicy: PreemptLowerPriority
      globalDefault: false
      description: "User DaemonSet priority"
      ---
      apiVersion: apps/v1
      kind: DaemonSet
      metadata:
        name: max-map-count-setter
        namespace: elastic-system
        labels:
          k8s-app: max-map-count-setter
      spec:
        selector:
          matchLabels:
            name: max-map-count-setter
        template:
          metadata:
            labels:
              name: max-map-count-setter
          spec:
            priorityClassName: user-daemonset-priority
            nodeSelector:
              cloud.google.com/compute-class: "Balanced"
            initContainers:
              - name: max-map-count-setter
                image: docker.io/bash:5.2.15
                resources:
                  requests:
                    cpu: 10m
                    memory: 10Mi
                    ephemeral-storage: 10Mi
                  limits:
                    cpu: 50m
                    memory: 32Mi
                    ephemeral-storage: 10Mi
                securityContext:
                  privileged: true
                  runAsUser: 0
                command: ["/usr/local/bin/bash", "-e", "-c", "echo 262144 > /proc/sys/vm/max_map_count"]
            containers:
              - name: sleep
                image: docker.io/bash:5.2.15
                command: ["sleep", "infinity"]
                resources:
                  requests:
                    cpu: 10m
                    memory: 10Mi
                    ephemeral-storage: 10Mi
                  limits:
                    cpu: 10m
                    memory: 10Mi
                    ephemeral-storage: 10Mi
      

      このマニフェストでは、ホストでカーネル設定を直接構成する DaemonSet を記述しています。DaemonSet は、Pod のコピーがクラスタ内の各ノードで実行されるようにする Kubernetes コントローラです。

      上記のマニフェストは、Autopilot で実行するための許可リストに登録されています。このマニフェスト(コンテナ イメージを含む)は変更しないでください。

    2. このマニフェストをクラスタに適用します。

      kubectl apply -f max-map-count-setter-ds.yaml
      
    3. 次のマニフェストを確認します。

      apiVersion: elasticsearch.k8s.elastic.co/v1
      kind: Elasticsearch
      metadata:
        name: elasticsearch
        namespace: elastic-system
      spec:
        version: "8.9.0"
        volumeClaimDeletePolicy: DeleteOnScaledownOnly
        podDisruptionBudget:
          spec:
            minAvailable: 2
            selector:
              matchLabels:
                elasticsearch.k8s.elastic.co/cluster-name: elasticsearch
        nodeSets:
          - name: default
            config:
              node.roles: ["master", "data", "ingest", "ml", "remote_cluster_client"]
            podTemplate:
              metadata:
                labels:
                  app.kubernetes.io/name: elasticsearch
                  app.kubernetes.io/version: "8.9.0"
                  app.kubernetes.io/component: "elasticsearch"
                  app.kubernetes.io/part-of: "elk"
              spec:
                nodeSelector:
                  cloud.google.com/compute-class: "Balanced"
                initContainers:
                  - name: max-map-count-check
                    command:
                      - sh
                      - -c
                      - while true; do mmc=$(cat /proc/sys/vm/max_map_count); if test ${mmc} -eq 262144; then exit 0; fi; sleep 1; done
                    resources:
                      requests:
                        cpu: 10m
                        memory: 16Mi
                        ephemeral-storage: 16Mi
                      limits:
                        cpu: 10m
                        memory: 16Mi
                        ephemeral-storage: 16Mi
                containers:
                  - name: elasticsearch
                    resources:
                      requests:
                        cpu: 990m
                        memory: 4080Mi
                        ephemeral-storage: 1008Mi
                      limits:
                        cpu: 1000m
                        memory: 4080Mi
                        ephemeral-storage: 1008Mi
                    env:
                      - name: ES_JAVA_OPTS
                        value: "-Xms2g -Xmx2g"
            count: 3
            volumeClaimTemplates:
              - metadata:
                  name: elasticsearch-data # Do not change this name unless you set up a volume mount for the data path.
                spec:
                  accessModes:
                    - ReadWriteOnce
                  resources:
                    requests:
                      storage: 2Gi
                  storageClassName: standard-rwo

      このマニフェストでは、次のフィールドを使用して Elasticsearch クラスタを定義しています。

      • initContainers: 仮想メモリホストのカーネル設定が変更されるまで待機します。
      • podDisruptionBudget: Pod のデフラグ プロセス中にクラスタを破棄しないことを指定します。
      • config.node.roles: Elasticsearch ノードロールの構成。ノードロールの詳細については、Elasticsearch ドキュメントでノードをご覧ください。
    4. このマニフェストをクラスタに適用します。

      kubectl apply -f elasticsearch.yaml
      
    5. Elasticsearch クラスタの準備が整うまで待ちます。

      watch kubectl --namespace elastic-system get elasticsearches.elasticsearch.k8s.elastic.co
      

      出力は次のようになります。

      NAME            HEALTH   NODES   VERSION   PHASE   AGE
      elasticsearch   green    3       8.8.0     Ready   5m3s
      

      Elasticsearch クラスタ HEALTHgreen で、PHASEReady の場合は、Ctrl+C を押してコマンドラインに戻ります。

    Kibana を構成する

    1. 次のマニフェストを確認します。

      apiVersion: kibana.k8s.elastic.co/v1
      kind: Kibana
      metadata:
        name: kibana
        namespace: elastic-system
      spec:
        version: "8.9.0"
        count: 1
        elasticsearchRef:
          name: elasticsearch
          namespace: elastic-system
        http:
          tls:
            selfSignedCertificate:
              disabled: true
        config:
          server.publicBaseUrl: https://elk.BASE_DOMAIN
          xpack.reporting.kibanaServer.port: 5601
          xpack.reporting.kibanaServer.protocol: http
          xpack.reporting.kibanaServer.hostname: kibana-kb-http.elastic-system.svc
          xpack.fleet.agents.elasticsearch.hosts: ["https://elasticsearch-es-http.elastic-system.svc:9200"]
          xpack.fleet.agents.fleet_server.hosts: ["https://fleet-server-agent-http.elastic-system.svc:8220"]
          xpack.fleet.packages:
          - name: system
            version: latest
          - name: elastic_agent
            version: latest
          - name: fleet_server
            version: latest
          - name: kubernetes
            version: latest
          xpack.fleet.agentPolicies:
          - name: Fleet Server on ECK policy
            id: eck-fleet-server
            namespace: default
            monitoring_enabled:
            - logs
            - metrics
            unenroll_timeout: 900
            package_policies:
            - name: fleet_server-1
              id: fleet_server-1
              package:
                name: fleet_server
          - name: Elastic Agent on ECK policy
            id: eck-agent
            namespace: default
            monitoring_enabled:
            - logs
            - metrics
            unenroll_timeout: 900
            package_policies:
            - package:
                name: system
              name: system-1
            - package:
                name: kubernetes
              name: kubernetes-1
        podTemplate:
          metadata:
            labels:
              app.kubernetes.io/name: kibana
              app.kubernetes.io/version: "8.9.0"
              app.kubernetes.io/component: "ui"
              app.kubernetes.io/part-of: "elk"
          spec:
            containers:
            - name: kibana
              resources:
                requests:
                  memory: 1Gi
                  cpu: 500m
                  ephemeral-storage: 1Gi
                limits:
                  memory: 1Gi
                  cpu: 500m
                  ephemeral-storage: 1Gi

      このマニフェストでは、フリート サーバーとエージェントのエージェント ポリシーを構成する Kibana カスタム リソースを記述しています。

    2. このマニフェストをクラスタに適用します。

      kubectl apply -f kibana.yaml
      
    3. Pod の準備が整うまで待ちます。

      watch kubectl --namespace elastic-system get kibanas.kibana.k8s.elastic.co
      

      出力は次のようになります。

      NAME     HEALTH   NODES   VERSION   AGE
      kibana   green    1       8.8.0     6m47s
      

      Pod の HEALTHgreen になったら、Ctrl+C を押してコマンドラインに戻ります。

    Kibana にアクセスするようにロードバランサを構成する

    Kibana にアクセスするには、Kubernetes Ingress オブジェクト、Google マネージド証明書、グローバル IP アドレス、DNS ゾーンを作成します。

    1. グローバル外部 IP アドレスを作成します。

      gcloud compute addresses create "elastic-stack" --global
      
    2. Cloud DNS でマネージド ゾーンとレコードセットを作成します。

      gcloud dns managed-zones create "elk" \
          --description="DNS Zone for Airflow" \
          --dns-name="elk.BASE_DOMAIN" \
          --visibility="public"
      
      gcloud dns record-sets create "elk.BASE_DOMAIN" \
          --rrdatas="$(gcloud compute addresses describe "elastic-stack" --global --format="value(address)")" \
          --ttl="300" \
          --type="A" \
          --zone="elk"
      
    3. ネームサーバーのリストを含む NS レコードセットを作成して、DNS ゾーンをベースドメインのサブドメインとして委任します。ネームサーバーのリストを取得するには、次のコマンドを使用します。

      gcloud dns record-sets describe elk.BASE_DOMAIN \
          --type="NS" \
          --zone="elk" \
          --format="value(DATA)"
      
    4. 次のマニフェストを確認します。

      # Copyright 2023 Google LLC
      #
      # Licensed under the Apache License, Version 2.0 (the "License");
      # you may not use this file except in compliance with the License.
      # You may obtain a copy of the License at
      #
      #      https://www.apache.org/licenses/LICENSE-2.0
      #
      # Unless required by applicable law or agreed to in writing, software
      # distributed under the License is distributed on an "AS IS" BASIS,
      # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
      # See the License for the specific language governing permissions and
      # limitations under the License.
      
      apiVersion: networking.gke.io/v1beta1
      kind: FrontendConfig
      metadata:
        name: elastic-stack
        namespace: elastic-system
      spec:
        redirectToHttps:
          enabled: true
          responseCodeName: MOVED_PERMANENTLY_DEFAULT
      ---
      apiVersion: networking.gke.io/v1
      kind: ManagedCertificate
      metadata:
        name: elastic-stack
        namespace: elastic-system
      spec:
        domains:
          - elk.BASE_DOMAIN
      ---
      apiVersion: networking.k8s.io/v1
      kind: Ingress
      metadata:
        name: kibana
        namespace: elastic-system
        annotations:
          networking.gke.io/managed-certificates: elastic-stack
          networking.gke.io/v1beta1.FrontendConfig: elastic-stack
          kubernetes.io/ingress.global-static-ip-name: elastic-stack
          kubernetes.io/ingress.class: gce
      spec:
        defaultBackend:
          service:
            name: kibana-kb-http
            port:
              number: 5601
      

      このマニフェストでは、TLS 接続を確立するための SSL 証明書をプロビジョニングする ManagedCertificate を記述しています。

    5. マニフェストをクラスタに適用します。

      kubectl apply -f ingress.yaml
      

    Elastic エージェントを構成する

    1. 次のマニフェストを確認します。

      apiVersion: agent.k8s.elastic.co/v1alpha1
      kind: Agent
      metadata:
        name: fleet-server
        namespace: elastic-system
      spec:
        version: 8.9.0
        kibanaRef:
          name: kibana
          namespace: elastic-system
        elasticsearchRefs:
          - name: elasticsearch
            namespace: elastic-system
        mode: fleet
        fleetServerEnabled: true
        policyID: eck-fleet-server
        deployment:
          replicas: 1
          podTemplate:
            metadata:
              labels:
                app.kubernetes.io/name: fleet-server
                app.kubernetes.io/version: "8.9.0"
                app.kubernetes.io/component: "agent"
                app.kubernetes.io/part-of: "elk"
            spec:
              containers:
                - name: agent
                  resources:
                    requests:
                      memory: 512Mi
                      cpu: 250m
                      ephemeral-storage: 10Gi
                    limits:
                      memory: 512Mi
                      cpu: 250m
                      ephemeral-storage: 10Gi
              volumes:
                - name: "agent-data"
                  ephemeral:
                    volumeClaimTemplate:
                      spec:
                        accessModes: ["ReadWriteOnce"]
                        storageClassName: "standard-rwo"
                        resources:
                          requests:
                            storage: 10Gi
              serviceAccountName: fleet-server
              automountServiceAccountToken: true
              securityContext:
                runAsUser: 0

      このマニフェストでは、ECK を使用してフリート サーバーを構成する Elastic Agent を記述しています。

    2. このマニフェストをクラスタに適用します。

      kubectl apply -f fleet-server-and-agents.yaml
      
    3. Pod の準備が整うまで待ちます。

      watch kubectl --namespace elastic-system get agents.agent.k8s.elastic.co
      

      出力は次のようになります。

      NAME            HEALTH   AVAILABLE   EXPECTED   VERSION   AGE
      elastic-agent   green    5           5          8.8.0     14m
      fleet-server    green    1           1          8.8.0     16m
      

      Pod の HEALTHgreen になったら、Ctrl+C を押してコマンドラインに戻ります。

    ロギングとモニタリングを構成する

    Elastic Stack は、kube-state-metrics エクスポーターを使用してクラスタレベルの指標を収集できます。

    1. Kube 状態指標をインストールします。

      helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
      helm repo update
      helm install kube-state-metrics prometheus-community/kube-state-metrics --namespace elastic-system
      
    2. デフォルトの Kibana elastic ユーザー認証情報を取得します。

      kubectl get secret elasticsearch-es-elastic-user -o yaml -n elastic-system -o jsonpath='{.data.elastic}' | base64 -d
      
    3. ブラウザで https://elk.BASE_DOMAIN を開き、認証情報を使用して Kibana にログインします。

    4. メニューから [Analytics]、[Dashboards] の順に選択します。

    5. 検索テキスト フィールドに「Kubernetes overview」と入力し、[Overview dashboard] を選択して基本指標を表示します。

      GKE では、Kibana がクラスタ指標の取得に使用するコントロール プレーン エンドポイントの一部に対するアクセスを制限しているため、一部のダッシュボード パネルにデータやエラー メッセージが表示されない場合があります。

    クリーンアップ

    このチュートリアルで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、リソースを含むプロジェクトを削除するか、プロジェクトを維持して個々のリソースを削除します。

    プロジェクトを削除する

      Delete a Google Cloud project:

      gcloud projects delete PROJECT_ID

    個々のリソースの削除

    既存のプロジェクトを削除しない場合は、リソースを個別に削除します。

    1. Elastic Stack コンポーネント、ECK オペレーター、kube-state-metrics を削除します。

      kubectl --namespace elastic-system delete ingresses.networking.k8s.io elastic-stack
      kubectl --namespace elastic-system delete managedcertificates.networking.gke.io elastic-stack
      kubectl --namespace elastic-system delete frontendconfigs.networking.gke.io elastic-stack
      kubectl --namespace elastic-system delete agents.agent.k8s.elastic.co elastic-agent
      kubectl --namespace elastic-system delete agents.agent.k8s.elastic.co fleet-server
      kubectl --namespace elastic-system delete kibanas.kibana.k8s.elastic.co kibana
      kubectl --namespace elastic-system delete elasticsearches.elasticsearch.k8s.elastic.co elasticsearch
      kubectl --namespace elastic-system delete daemonsets.apps max-map-count-setter
      kubectl --namespace elastic-system delete pvc --selector='elasticsearch.k8s.elastic.co/cluster-name=elasticsearch'
      helm --namespace elastic-system uninstall kube-state-metrics
      helm --namespace elastic-system uninstall elastic-operator
      
    2. DNS レコードセット、IP アドレス、DNS マネージド ゾーン、GKE クラスタを削除します。

      gcloud dns record-sets delete "elk.BASE_DOMAIN" \
          --type="A" \
          --zone="elk" \
          --quiet
      
      gcloud compute addresses delete "elastic-stack" \
          --global \
          --quiet
      
      gcloud dns managed-zones delete "elk" --quiet
      
      gcloud container clusters delete "elk-stack" \
          --location="us-central1" \
          --quiet
      

    次のステップ