Mulai menggunakan Endpoint untuk GKE dengan ESPv2

Tutorial ini menunjukkan cara men-deploy layanan gRPC contoh sederhana dengan Extensible Service Proxy V2 (ESPv2) di Google Kubernetes Engine (GKE). Tutorial ini menggunakan contoh bookstore-grpc versi Python. Lihat bagian Langkah berikutnya untuk contoh gRPC dalam bahasa lain.

Tutorial ini menggunakan image container bawaan dari kode contoh dan ESPv2, yang disimpan di Artifact Registry. Jika Anda belum memahami container, lihat informasi selengkapnya di bawah:

Untuk ringkasan Cloud Endpoints, lihat Tentang Endpoints dan Arsitektur Endpoints.

Tujuan

Gunakan daftar tugas tingkat tinggi berikut saat Anda mengerjakan tutorial ini. Semua tugas diperlukan agar berhasil mengirim permintaan ke API.

  1. Siapkan Google Cloud project, lalu download software yang diperlukan. Lihat Sebelum memulai.
  2. Salin dan konfigurasi file dari contoh bookstore-grpc. Lihat Mengonfigurasi Endpoint.
  3. Deploy konfigurasi Endpoints untuk membuat layanan Endpoints. Lihat Men-deploy konfigurasi Endpoints.
  4. Buat backend untuk menayangkan API dan men-deploy API. Lihat Men-deploy backend API.
  5. Dapatkan alamat IP eksternal layanan. Lihat Mendapatkan alamat IP eksternal layanan.
  6. Kirim permintaan ke API. Lihat Mengirim permintaan ke API.
  7. Hindari timbulnya biaya pada akun Google Cloud Anda. Lihat Pembersihan.

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Setelah menyelesaikan tugas yang dijelaskan dalam dokumen ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui informasi selengkapnya, baca bagian Pembersihan.

Sebelum memulai

  1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  5. Verify that billing is enabled for your Google Cloud project.

  6. Catat ID project Google Cloud karena akan diperlukan nanti.
  7. Instal dan lakukan inisialisasi Google Cloud CLI.
  8. Update gcloud CLI dan instal komponen Endpoints.
    gcloud components update
  9. Pastikan Google Cloud CLI (gcloud) diizinkan untuk mengakses data dan layanan Anda di Google Cloud:
    gcloud auth login
    Tab browser baru akan terbuka dan Anda akan diminta untuk memilih akun.
  10. Tetapkan project default ke project ID Anda.
    gcloud config set project YOUR_PROJECT_ID

    Ganti YOUR_PROJECT_ID dengan project ID Anda.

    Jika Anda memiliki project Google Cloud lain, dan ingin menggunakan gcloud untuk mengelolanya, lihat Mengelola konfigurasi gcloud CLI.

  11. Instal kubectl:
    gcloud components install kubectl
  12. Dapatkan kredensial pengguna baru untuk digunakan sebagai kredensial default aplikasi. Kredensial pengguna diperlukan untuk memberikan otorisasi kubectl.
    gcloud auth application-default login
    Di tab browser baru yang terbuka, pilih akun.
  13. Ikuti langkah-langkah di panduan memulai gRPC Python untuk menginstal gRPC dan alat gRPC.

Mengonfigurasi Endpoint

Contoh bookstore-grpc berisi file yang perlu Anda salin secara lokal dan dikonfigurasi.

  1. Create a self-contained protobuf descriptor file from your service .proto file:
    1. Save a copy of bookstore.proto from the example repository. This file defines the Bookstore service's API.
    2. Create the following directory: mkdir generated_pb2
    3. Create the descriptor file, api_descriptor.pb, by using the protoc protocol buffers compiler. Run the following command in the directory where you saved bookstore.proto:
      python -m grpc_tools.protoc \
          --include_imports \
          --include_source_info \
          --proto_path=. \
          --descriptor_set_out=api_descriptor.pb \
          --python_out=generated_pb2 \
          --grpc_python_out=generated_pb2 \
          bookstore.proto

      In the preceding command, --proto_path is set to the current working directory. In your gRPC build environment, if you use a different directory for .proto input files, change --proto_path so the compiler searches the directory where you saved bookstore.proto.

  2. Create a gRPC API configuration YAML file:
    1. Save a copy of the api_config.yamlfile. This file defines the gRPC API configuration for the Bookstore service.
    2. Replace MY_PROJECT_ID in your api_config.yaml file with your Google Cloud project ID. For example:
      #
      # Name of the service configuration.
      #
      name: bookstore.endpoints.example-project-12345.cloud.goog
      

      Note that the apis.name field value in this file exactly matches the fully-qualified API name from the .proto file; otherwise deployment won't work. The Bookstore service is defined in bookstore.proto inside package endpoints.examples.bookstore. Its fully-qualified API name is endpoints.examples.bookstore.Bookstore, just as it appears in the api_config.yaml file.

      apis:
        - name: endpoints.examples.bookstore.Bookstore

Lihat Mengonfigurasi Endpoint untuk mengetahui informasi selengkapnya.

Men-deploy konfigurasi Endpoint

Untuk men-deploy konfigurasi Endpoints, Anda menggunakan perintah gcloud endpoints services deploy. Perintah ini menggunakan Service Management untuk membuat layanan terkelola.

  1. Make sure you are in the directory where the api_descriptor.pb and api_config.yaml files are located.
  2. Confirm that the default project that the gcloud command-line tool is currently using is the Google Cloud project that you want to deploy the Endpoints configuration to. Validate the project ID returned from the following command to make sure that the service doesn't get created in the wrong project.
    gcloud config list project
    

    If you need to change the default project, run the following command:

    gcloud config set project YOUR_PROJECT_ID
    
  3. Deploy the proto descriptor file and the configuration file by using the Google Cloud CLI:
    gcloud endpoints services deploy api_descriptor.pb api_config.yaml
    

    As it is creating and configuring the service, Service Management outputs information to the terminal. When the deployment completes, a message similar to the following is displayed:

    Service Configuration [CONFIG_ID] uploaded for service [bookstore.endpoints.example-project.cloud.goog]

    CONFIG_ID is the unique Endpoints service configuration ID created by the deployment. For example:

    Service Configuration [2017-02-13r0] uploaded for service [bookstore.endpoints.example-project.cloud.goog]
    

    In the previous example, 2017-02-13r0 is the service configuration ID and bookstore.endpoints.example-project.cloud.goog is the service name. The service configuration ID consists of a date stamp followed by a revision number. If you deploy the Endpoints configuration again on the same day, the revision number is incremented in the service configuration ID.

Memeriksa layanan yang diperlukan

Minimal, Endpoints dan ESP memerlukan layanan Google berikut diaktifkan:
Nama Judul
servicemanagement.googleapis.com Service Management API
servicecontrol.googleapis.com Service Control API

Dalam sebagian besar kasus, perintah gcloud endpoints services deploy mengaktifkan layanan yang diperlukan ini. Namun, perintah gcloud berhasil diselesaikan, tetapi tidak mengaktifkan layanan yang diperlukan dalam keadaan berikut:

  • Jika Anda menggunakan aplikasi pihak ketiga seperti Terraform, dan Anda tidak menyertakan layanan ini.

  • Anda men-deploy konfigurasi Endpoints ke projectGoogle Cloud yang sudah ada dan layanan ini dinonaktifkan secara eksplisit di project tersebut.

Gunakan perintah berikut untuk mengonfirmasi bahwa layanan yang diperlukan sudah diaktifkan:

gcloud services list

Jika Anda tidak melihat layanan yang diperlukan tercantum, aktifkan layanan tersebut:

gcloud services enable servicemanagement.googleapis.com
gcloud services enable servicecontrol.googleapis.com

Aktifkan juga layanan Endpoints Anda:

gcloud services enable ENDPOINTS_SERVICE_NAME

Untuk menentukan ENDPOINTS_SERVICE_NAME, Anda dapat:

  • Setelah men-deploy konfigurasi Endpoints, buka halaman Endpoints di Konsol Cloud. Daftar ENDPOINTS_SERVICE_NAME yang mungkin ditampilkan di kolom Nama layanan.

  • Untuk OpenAPI, ENDPOINTS_SERVICE_NAME adalah yang Anda tentukan di kolom host spesifikasi OpenAPI. Untuk gRPC, ENDPOINTS_SERVICE_NAME adalah yang Anda tentukan di kolom name konfigurasi gRPC Endpoints.

Untuk mengetahui informasi selengkapnya tentang perintah gcloud, lihat layanan gcloud.

Jika Anda menerima pesan error, lihat Memecahkan masalah deployment konfigurasi Endpoints.

Lihat Men-deploy konfigurasi Endpoints untuk mengetahui informasi tambahan.

Men-deploy backend API

Sejauh ini Anda telah men-deploy konfigurasi layanan ke Service Management, tetapi Anda belum men-deploy kode yang melayani backend API. Bagian ini akan memandu Anda membuat cluster GKE untuk menghosting backend API dan men-deploy API.

Membuat cluster container

Cluster memerlukan IP alias untuk menggunakan load balancing berbasis container. Untuk membuat cluster container dengan alias IP untuk contoh kita:

gcloud container clusters create espv2-demo-cluster \
    --enable-ip-alias \
    --create-subnetwork="" \
    --network=default \
    --zone=us-central1-a

Perintah di atas akan membuat cluster, espv2-demo-cluster, dengan subnetwork yang disediakan otomatis di zona us-central1-a.

Mengautentikasi kubectl ke cluster penampung

Untuk menggunakan kubectl guna membuat dan mengelola resource cluster, Anda harus mendapatkan kredensial cluster dan menyediakannya untuk kubectl. Untuk melakukannya, jalankan perintah berikut, dengan mengganti NAME dengan nama cluster baru dan ZONE dengan zona cluster-nya.

gcloud container clusters get-credentials NAME --zone ZONE

Memeriksa izin yang diperlukan

ESP dan ESPv2 memanggil layanan Google yang menggunakan IAM untuk memverifikasi apakah identitas yang memanggil memiliki izin yang cukup untuk mengakses resource IAM yang digunakan. Identitas panggilan adalah akun layanan terlampir yang men-deploy ESP dan ESPv2.

Saat di-deploy di pod GKE, akun layanan terlampir adalah akun layanan node. Biasanya berupa akun layanan default Compute Engine. Ikuti rekomendasi izin ini untuk memilih akun layanan node yang tepat.

Jika Workload Identity digunakan, akun layanan terpisah selain akun layanan node dapat digunakan untuk berkomunikasi dengan layanan Google. Anda dapat membuat akun layanan Kubernetes agar pod dapat menjalankan ESP dan ESPv2, membuat akun layanan Google, serta mengaitkan akun layanan Kubernetes dengan akun layanan Google.

Ikuti langkah-langkah berikut untuk mengaitkan akun layanan Kubernetes dengan akun layanan Google. Akun layanan Google ini adalah akun layanan terlampir.

Jika akun layanan yang dilampirkan adalah akun layanan default Compute Engine project dan konfigurasi layanan endpoint di-deploy di project yang sama, akun layanan harus memiliki izin yang cukup untuk mengakses resource IAM, sehingga langkah penyiapan peran IAM dapat dilewati. Jika tidak, peran IAM berikut harus ditambahkan ke akun layanan yang terlampir.

Tambahkan peran IAM yang diperlukan:

Bagian ini menjelaskan resource IAM yang digunakan oleh ESP dan ESPv2 serta peran IAM yang diperlukan agar akun layanan terlampir dapat mengakses resource ini.

Konfigurasi Layanan Endpoint

ESP dan ESPv2 memanggil Service Control yang menggunakan konfigurasi layanan endpoint. Konfigurasi layanan endpoint adalah resource IAM dan ESP serta ESPv2 memerlukan peran Service Controller untuk mengaksesnya.

Peran IAM ada pada konfigurasi layanan endpoint, bukan pada project. Project dapat memiliki beberapa konfigurasi layanan endpoint.

Gunakan perintah gcloud berikut untuk menambahkan peran ke akun layanan yang terlampir untuk konfigurasi layanan endpoint.

gcloud endpoints services add-iam-policy-binding SERVICE_NAME \
  --member serviceAccount:SERVICE_ACCOUNT_NAME@DEPLOY_PROJECT_ID.iam.gserviceaccount.com \
  --role roles/servicemanagement.serviceController

Dengan
* SERVICE_NAME adalah nama layanan endpoint
* SERVICE_ACCOUNT_NAME@DEPLOY_PROJECT_ID.iam.gserviceaccount.com adalah akun layanan terlampir.

Cloud Trace

ESP dan ESPv2 memanggil layanan Cloud Trace untuk mengekspor Trace ke project. Project ini disebut project pelacakan. Di ESP, project pelacakan dan project yang memiliki konfigurasi layanan endpoint sama. Di ESPv2, project pelacakan dapat ditentukan oleh flag --tracing_project_id, dan secara default ditetapkan ke project yang di-deploy.

ESP dan ESPv2 memerlukan peran Cloud Trace Agent untuk mengaktifkan Cloud Trace.

Gunakan perintah gcloud berikut untuk menambahkan peran ke akun layanan yang terlampir:

gcloud projects add-iam-policy-binding TRACING_PROJECT_ID \
  --member serviceAccount:SERVICE_ACCOUNT_NAME@DEPLOY_PROJECT_ID.iam.gserviceaccount.com \
  --role roles/cloudtrace.agent

Dengan
* TRACING_PROJECT_ID adalah project ID pelacakan
* SERVICE_ACCOUNT_NAME@DEPLOY_PROJECT_ID.iam.gserviceaccount.com adalah akun layanan yang terpasang. Untuk mengetahui informasi selengkapnya, lihat Apa yang dimaksud dengan peran dan izin?

Mengonfigurasi kunci dan sertifikat SSL Anda

Load balancing berbasis container menggunakan LB HTTP2 yang harus dienkripsi TLS. Hal ini memerlukan deployment sertifikat TLS ke ingress GKE dan ESPv2. Anda dapat menggunakan sertifikat Anda sendiri atau menggunakan sertifikat yang ditandatangani sendiri.

  1. Buat sertifikat dan kunci yang ditandatangani sendiri menggunakan openssl. Pastikan Anda memasukkan FQDN yang sama bookstore.endpoints.MY_PROJECT_ID.cloud.goog saat diminta untuk memasukkan "Nama Umum(CN)". Nama ini digunakan oleh klien untuk memverifikasi sertifikat server.

    openssl req -x509 -nodes -days 365 -newkey rsa:2048 \
    -keyout ./server.key -out ./server.crt
  2. Buat secret Kubernetes dengan kunci dan sertifikat SSL Anda. Perhatikan bahwa sertifikat disalin ke dua tempat, server.crt dan tls.crt, karena rahasia disediakan untuk ingress GKE dan ESPv2. Ingress GKE mencari jalur sertifikat tls.crt dan ESPv2 mencari jalur sertifikat server.crt.

    kubectl create secret generic esp-ssl \
    --from-file=server.crt=./server.crt --from-file=server.key=./server.key \
    --from-file=tls.crt=./server.crt --from-file=tls.key=./server.key

Men-deploy API contoh dan ESPv2 ke cluster

Untuk men-deploy layanan gRPC sampel ke cluster agar dapat digunakan oleh klien:

  1. git clone this repo dan buka untuk mengedit file manifes deployment grpc-bookstore.yaml.
  2. Ganti SERVICE_NAME dengan nama layanan Endpoints Anda untuk container ESPv2 dan ingress. Ini adalah nama yang sama yang Anda konfigurasi di kolom name dalam file api_config.yaml.
    # Copyright 2016 Google Inc.
    #
    # Licensed under the Apache License, Version 2.0 (the "License");
    # you may not use this file except in compliance with the License.
    # You may obtain a copy of the License at
    #
    #     http://www.apache.org/licenses/LICENSE-2.0
    #
    # Unless required by applicable law or agreed to in writing, software
    # distributed under the License is distributed on an "AS IS" BASIS,
    # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
    # See the License for the specific language governing permissions and
    # limitations under the License
    
    # Use this file to deploy the container for the grpc-bookstore sample
    # and the container for the Extensible Service Proxy (ESP) to
    # Google Kubernetes Engine (GKE).
    
    apiVersion: networking.k8s.io/v1beta1
    kind: Ingress
    metadata:
      name: esp-grpc-bookstore
      annotations:
        kubernetes.io/ingress.class: "gce"
        kubernetes.io/ingress.allow-http: "false"
    spec:
      tls:
      - hosts:
        - SERVICE_NAME
        secretName: esp-ssl
      backend:
        serviceName: esp-grpc-bookstore
        servicePort: 443
    ---
    apiVersion: cloud.google.com/v1
    kind: BackendConfig
    metadata:
      name: esp-grpc-bookstore
    spec:
      healthCheck:
        type: HTTP2
        requestPath: /healthz
        port: 9000
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: esp-grpc-bookstore
      annotations:
        service.alpha.kubernetes.io/app-protocols: '{"esp-grpc-bookstore":"HTTP2"}'
        cloud.google.com/neg: '{"ingress": true, "exposed_ports": {"443":{}}}'
        cloud.google.com/backend-config: '{"default": "esp-grpc-bookstore"}'
    spec:
      ports:
      # Port that accepts gRPC and JSON/HTTP2 requests over TLS.
      - port: 443
        targetPort: 9000
        protocol: TCP
        name: esp-grpc-bookstore
      selector:
        app: esp-grpc-bookstore
      type: ClusterIP
    ---
    apiVersion: apps/v1
    kind: Deployment
    metadata:
      name: esp-grpc-bookstore
    spec:
      replicas: 1
      selector:
        matchLabels:
          app: esp-grpc-bookstore
      template:
        metadata:
          labels:
            app: esp-grpc-bookstore
        spec:
          volumes:
          - name: esp-ssl
            secret:
              secretName: esp-ssl
          containers:
          - name: esp
            image: gcr.io/endpoints-release/endpoints-runtime:2
            args: [
              "--listener_port=9000",
              "--service=SERVICE_NAME",
              "--rollout_strategy=managed",
              "--backend=grpc://127.0.0.1:8000",
              "--healthz=/healthz",
              "--ssl_server_cert_path=/etc/esp/ssl",
            ]
            ports:
              - containerPort: 9000
            volumeMounts:
            - mountPath: /etc/esp/ssl
              name:  esp-ssl
              readOnly: true
          - name: bookstore
            image: gcr.io/endpointsv2/python-grpc-bookstore-server:1
            ports:
              - containerPort: 8000
    

    Opsi --rollout_strategy=managed mengonfigurasi ESPv2 untuk menggunakan konfigurasi layanan yang di-deploy terbaru. Saat Anda menentukan opsi ini, dalam waktu satu menit setelah Anda men-deploy konfigurasi layanan baru, ESPv2 akan mendeteksi perubahan dan otomatis mulai menggunakannya. Sebaiknya tentukan opsi ini, bukan memberikan ID konfigurasi tertentu untuk digunakan ESPv2. Untuk mengetahui detail selengkapnya tentang argumen ESPv2, lihat Opsi startup ESPv2.

    Contoh:

        spec:
          containers:
          - name: esp
            image: gcr.io/endpoints-release/endpoints-runtime:2
            args: [
              "--listener_port=9000",
              "--service=bookstore.endpoints.example-project-12345.cloud.goog",
              "--rollout_strategy=managed",
              "--backend=grpc://127.0.0.1:8000"
            ]

    Men-deploy konfigurasi layanan ke Endpoints

    Jika Anda menjalankan banyak Endpoint (lebih dari 100) dalam project Google Cloud yang sama, sebaiknya pasang konfigurasi layanan untuk penampung, bukan menggunakan flag --rollout_strategy=managed untuk menarik konfigurasi layanan dari Service Management API.

    Service Management API memiliki kuota default. Jika banyak proxy ESPv2 menggunakan --rollout_strategy=managed, semuanya akan melakukan polling untuk mendapatkan konfigurasi layanan terbaru. Kumpulan instance dapat melampaui kuota dan menyebabkan kegagalan update konfigurasi layanan.

    Ikuti langkah-langkah di bawah untuk memasang konfigurasi layanan:
    1. Download konfigurasi JSON config layanan.
    2. curl -o "/tmp/service_config.json" -H "Authorization: Bearer $(gcloud auth print-access-token)" \
        "https://servicemanagement.googleapis.com/v1/services/SERVICE/configs/CONFIG_ID?view=FULL"
      
    3. Buat resource peta konfigurasi kubernetes dari konfigurasi JSON.
    4. kubectl create configmap service-config-configmap \
        --from-file=service_config.json:/tmp/service_config.json
      
    5. Pasang resource config map ke penampung dan gunakan tanda --service_config_path untuk menentukan jalur file config.
    6. Contoh:

        containers:
        - args:
          - --listener_port=8081
          - --backend=http://127.0.0.1:8080
          - --service_json_path=/etc/espv2_config/service_config.json
          - --healthz=/healthz
          image: gcr.io/endpoints-release/endpoints-runtime:2
          name: esp
          ports:
          - containerPort: 8081
            protocol: TCP
          volumeMounts:
          - mountPath: /etc/espv2_config
            name: service-config-volume
        volumes:
        - configMap:
            defaultMode: 420
            name: service-config-configmap
          name: service-config-volume
      
  3. Mulai layanan:
    kubectl create -f grpc-bookstore.yaml
    

Jika Anda menerima pesan error, lihat Memecahkan Masalah Endpoint di GKE.

Mendapatkan alamat IP eksternal layanan

Anda memerlukan alamat IP eksternal layanan untuk mengirim permintaan ke contoh API. Mungkin perlu waktu beberapa menit setelah Anda memulai layanan di dalam penampung sebelum alamat IP eksternal siap.

  1. Lihat alamat IP eksternal:

    kubectl get ingress

  2. Catat nilai untuk EXTERNAL-IP dan simpan dalam variabel lingkungan SERVER_IP. Alamat IP eksternal digunakan untuk mengirim permintaan ke contoh API.

    export SERVER_IP=YOUR_EXTERNAL_IP
    

Mengirim permintaan ke API

Untuk mengirim permintaan ke contoh API, Anda dapat menggunakan contoh klien gRPC yang ditulis dalam Python.

  1. Clone repositori git tempat kode klien gRPC dihosting:

    git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git
       

  2. Ubah direktori kerja Anda:

    cd python-docs-samples/endpoints/bookstore-grpc/
      

  3. Instal dependensi:

    pip install virtualenv
    virtualenv env
    source env/bin/activate
    python -m pip install -r requirements.txt

  4. Buat CA root untuk sertifikat yang ditandatangani sendiri

    openssl x509 -in server.crt -out client.pem -outform PEM
      

  5. Kirim permintaan ke API contoh:

    python bookstore_client.py --host SERVER_IP --port 443 \
    --servername bookstore.endpoints.MY_PROJECT_ID.cloud.goog --use_tls true --ca_path=client.pem
    

Jika Anda tidak mendapatkan respons yang berhasil, lihat Memecahkan masalah error respons.

Anda baru saja men-deploy dan menguji API di Endpoints.

Pembersihan

Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

  1. Hapus API:

    gcloud endpoints services delete SERVICE_NAME
    

    Ganti SERVICE_NAME dengan nama API Anda.

  2. Hapus cluster GKE:

    gcloud container clusters delete NAME --zone ZONE
    

Langkah berikutnya