Criar um cluster e implantar uma carga de trabalho usando o Terraform

Um cluster do Kubernetes fornece serviços de computação, armazenamento, rede e outros serviços para aplicativos, semelhante a um data center virtual. Os apps e os serviços associados que são executados no Kubernetes são chamados de cargas de trabalho.

Neste tutorial, você vai conferir rapidamente um cluster do Google Kubernetes Engine em execução e uma carga de trabalho de exemplo configurados com o Terraform. Depois, confira a carga de trabalho no console Google Cloud antes de seguir para nosso programa de aprendizado mais aprofundado ou começar a planejar e criar seu próprio cluster pronto para produção. Neste tutorial, presumimos que você já conhece o Terraform.

Se você preferir configurar o cluster e a carga de trabalho de exemplo no console do Google Cloud , consulte Criar um cluster no console do Google Cloud .

Antes de começar

Siga estas etapas para ativar a API do Kubernetes Engine:

  1. Faça login na sua conta do Google Cloud . Se você começou a usar o Google Cloud, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
  2. Instale a CLI do Google Cloud.

  3. Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

  4. Para inicializar a gcloud CLI, execute o seguinte comando:

    gcloud init
  5. Crie ou selecione um Google Cloud projeto.

    Funções necessárias para selecionar ou criar um projeto

    • Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
    • Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos (roles/resourcemanager.projectCreator), que contém a permissão resourcemanager.projects.create. Saiba como conceder papéis.
    • Crie um projeto do Google Cloud :

      gcloud projects create PROJECT_ID

      Substitua PROJECT_ID por um nome para o projeto Google Cloud que você está criando.

    • Selecione o projeto Google Cloud que você criou:

      gcloud config set project PROJECT_ID

      Substitua PROJECT_ID pelo nome do projeto do Google Cloud .

  6. Verifique se o faturamento está ativado para o projeto do Google Cloud .

  7. Ative a API GKE:

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter o papel do IAM de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

    gcloud services enable container.googleapis.com
  8. Instale a CLI do Google Cloud.

  9. Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

  10. Para inicializar a gcloud CLI, execute o seguinte comando:

    gcloud init
  11. Crie ou selecione um Google Cloud projeto.

    Funções necessárias para selecionar ou criar um projeto

    • Selecionar um projeto: não é necessário um papel específico do IAM para selecionar um projeto. Você pode escolher qualquer projeto em que tenha recebido um papel.
    • Criar um projeto: para criar um projeto, é necessário ter o papel de Criador de projetos (roles/resourcemanager.projectCreator), que contém a permissão resourcemanager.projects.create. Saiba como conceder papéis.
    • Crie um projeto do Google Cloud :

      gcloud projects create PROJECT_ID

      Substitua PROJECT_ID por um nome para o projeto Google Cloud que você está criando.

    • Selecione o projeto Google Cloud que você criou:

      gcloud config set project PROJECT_ID

      Substitua PROJECT_ID pelo nome do projeto do Google Cloud .

  12. Verifique se o faturamento está ativado para o projeto do Google Cloud .

  13. Ative a API GKE:

    Funções necessárias para ativar APIs

    Para ativar as APIs, é necessário ter o papel do IAM de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin), que contém a permissão serviceusage.services.enable. Saiba como conceder papéis.

    gcloud services enable container.googleapis.com
  14. Atribua papéis à sua conta de usuário. Execute o seguinte comando uma vez para cada um dos seguintes papéis do IAM: roles/container.admin, roles/compute.networkAdmin, roles/iam.serviceAccountUser

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Substitua:

    • PROJECT_ID: o ID do projeto.
    • USER_IDENTIFIER: o identificador da sua conta de usuário . Por exemplo, myemail@example.com.
    • ROLE: o papel do IAM concedido à sua conta de usuário.

Prepare o ambiente

Neste tutorial, você vai usar o Cloud Shell para gerenciar recursos hospedados no Google Cloud. O Cloud Shell vem pré-instalado com o software necessário para este tutorial, incluindo Terraform, kubectl e a Google Cloud CLI.

  1. Inicie uma sessão do Cloud Shell no console do Google Cloud clicando no ícone de ativação Ativar o Cloud Shell Botão "Ativar shell". Isso inicia uma sessão no painel inferior do console Google Cloud .

    As credenciais de serviço associadas a essa máquina virtual são automáticas. Dessa forma, não é necessário configurar nem fazer o download de uma chave de conta de serviço.

  2. Antes de executar comandos, defina o projeto padrão na CLI gcloud usando o seguinte comando:

    gcloud config set project PROJECT_ID
    

    Substitua PROJECT_ID pelo ID do projeto.

  3. Clone o repositório do GitHub:

    git clone https://github.com/terraform-google-modules/terraform-docs-samples.git --single-branch
    
  4. Mude para o diretório de trabalho:

    cd terraform-docs-samples/gke/quickstart/autopilot
    

Revisar os arquivos do Terraform

O Google Cloud provider é um plug-in que permite gerenciar e provisionar recursos do Google Cloud usando o Terraform. Ele atua como uma ponte entre as configurações do Terraform e as APIs do Google Cloud , permitindo a definição de recursos de infraestrutura, como máquinas virtuais e redes, de maneira declarativa.

O cluster e o app de exemplo deste tutorial são especificados em dois arquivos do Terraform que usam os provedores Google Cloud e do Kubernetes.

  1. Revise o arquivo cluster.tf:

    cat cluster.tf
    

    A saída será assim

    resource "google_compute_network" "default" {
      name = "example-network"
    
      auto_create_subnetworks  = false
      enable_ula_internal_ipv6 = true
    }
    
    resource "google_compute_subnetwork" "default" {
      name = "example-subnetwork"
    
      ip_cidr_range = "10.0.0.0/16"
      region        = "us-central1"
    
      stack_type       = "IPV4_IPV6"
      ipv6_access_type = "INTERNAL" # Change to "EXTERNAL" if creating an external loadbalancer
    
      network = google_compute_network.default.id
      secondary_ip_range {
        range_name    = "services-range"
        ip_cidr_range = "192.168.0.0/24"
      }
    
      secondary_ip_range {
        range_name    = "pod-ranges"
        ip_cidr_range = "192.168.1.0/24"
      }
    }
    
    resource "google_container_cluster" "default" {
      name = "example-autopilot-cluster"
    
      location                 = "us-central1"
      enable_autopilot         = true
      enable_l4_ilb_subsetting = true
    
      network    = google_compute_network.default.id
      subnetwork = google_compute_subnetwork.default.id
    
      ip_allocation_policy {
        stack_type                    = "IPV4_IPV6"
        services_secondary_range_name = google_compute_subnetwork.default.secondary_ip_range[0].range_name
        cluster_secondary_range_name  = google_compute_subnetwork.default.secondary_ip_range[1].range_name
      }
    
      # Set `deletion_protection` to `true` will ensure that one cannot
      # accidentally delete this instance by use of Terraform.
      deletion_protection = false
    }

    Este arquivo descreve os seguintes recursos:

    • google_compute_network: uma rede VPC com IPv6 interno ativado.
    • google_compute_subnetwork: uma sub-rede de pilha dupla.
    • google_container_cluster: um cluster do modo Autopilot de pilha dupla localizado em us-central1. A configuração deletion_protection controla se é possível usar o Terraform para excluir esse cluster. Se você definir o valor no campo deletion_protection como false, o Terraform poderá excluir o cluster. Para mais detalhes, consulte a referência google_container_cluster.
  2. Revise o arquivo app.tf:

    cat app.tf
    

    O resultado será o seguinte:

    data "google_client_config" "default" {}
    
    provider "kubernetes" {
      host                   = "https://${google_container_cluster.default.endpoint}"
      token                  = data.google_client_config.default.access_token
      cluster_ca_certificate = base64decode(google_container_cluster.default.master_auth[0].cluster_ca_certificate)
    
      ignore_annotations = [
        "^autopilot\\.gke\\.io\\/.*",
        "^cloud\\.google\\.com\\/.*"
      ]
    }
    
    resource "kubernetes_deployment_v1" "default" {
      metadata {
        name = "example-hello-app-deployment"
      }
    
      spec {
        selector {
          match_labels = {
            app = "hello-app"
          }
        }
    
        template {
          metadata {
            labels = {
              app = "hello-app"
            }
          }
    
          spec {
            container {
              image = "us-docker.pkg.dev/google-samples/containers/gke/hello-app:2.0"
              name  = "hello-app-container"
    
              port {
                container_port = 8080
                name           = "hello-app-svc"
              }
    
              security_context {
                allow_privilege_escalation = false
                privileged                 = false
                read_only_root_filesystem  = false
    
                capabilities {
                  add  = []
                  drop = ["NET_RAW"]
                }
              }
    
              liveness_probe {
                http_get {
                  path = "/"
                  port = "hello-app-svc"
    
                  http_header {
                    name  = "X-Custom-Header"
                    value = "Awesome"
                  }
                }
    
                initial_delay_seconds = 3
                period_seconds        = 3
              }
            }
    
            security_context {
              run_as_non_root = true
    
              seccomp_profile {
                type = "RuntimeDefault"
              }
            }
    
            # Toleration is currently required to prevent perpetual diff:
            # https://github.com/hashicorp/terraform-provider-kubernetes/pull/2380
            toleration {
              effect   = "NoSchedule"
              key      = "kubernetes.io/arch"
              operator = "Equal"
              value    = "amd64"
            }
          }
        }
      }
    }
    
    resource "kubernetes_service_v1" "default" {
      metadata {
        name = "example-hello-app-loadbalancer"
        annotations = {
          "networking.gke.io/load-balancer-type" = "Internal" # Remove to create an external loadbalancer
        }
      }
    
      spec {
        selector = {
          app = kubernetes_deployment_v1.default.spec[0].selector[0].match_labels.app
        }
    
        ip_family_policy = "RequireDualStack"
    
        port {
          port        = 80
          target_port = kubernetes_deployment_v1.default.spec[0].template[0].spec[0].container[0].port[0].name
        }
    
        type = "LoadBalancer"
      }
    
      depends_on = [time_sleep.wait_service_cleanup]
    }
    
    # Provide time for Service cleanup
    resource "time_sleep" "wait_service_cleanup" {
      depends_on = [google_container_cluster.default]
    
      destroy_duration = "180s"
    }

    Este arquivo descreve os seguintes recursos:

(Opcional) Expor o app à Internet

Os arquivos do Terraform para o exemplo descrevem um app com um endereço IP interno, que só pode ser acessado pela mesma nuvem privada virtual (VPC) do app de exemplo. Se você quiser acessar a interface da Web do app de demonstração em execução pela Internet (por exemplo, no laptop), modifique os arquivos do Terraform para criar um endereço IP público antes de criar o cluster. Para isso, use um editor de texto diretamente no Cloud Shell ou o editor do Cloud Shell.

Para expor o app de demonstração à Internet:

  1. Em cluster.tf, mude ipv6_access_type de INTERNAL para EXTERNAL.

    ipv6_access_type = "EXTERNAL"
    
  2. Em app.tf, configure um balanceador de carga externo removendo a anotação networking.gke.io/load-balancer-type.

     annotations = {
       "networking.gke.io/load-balancer-type" = "Internal" # Remove this line
     }
    

Criar um cluster e implantar um aplicativo

  1. No Cloud Shell, execute este comando para verificar se o Terraform está disponível:

    terraform
    

    A saída será semelhante a esta:

    Usage: terraform [global options] <subcommand> [args]
    
    The available commands for execution are listed below.
    The primary workflow commands are given first, followed by
    less common or more advanced commands.
    
    Main commands:
      init          Prepare your working directory for other commands
      validate      Check whether the configuration is valid
      plan          Show changes required by the current configuration
      apply         Create or update infrastructure
      destroy       Destroy previously-created infrastructure
    
  2. Inicialize o Terraform:

    terraform init
    
  3. Planeje a configuração do Terraform:

    terraform plan
    
  4. Aplique a configuração do Terraform:

    terraform apply
    

    Quando solicitado, digite yes para confirmar as ações. Esse comando pode levar alguns minutos para ser concluído. O resultado será assim:

    Apply complete! Resources: 6 added, 0 changed, 0 destroyed.
    

Verificar se o cluster está funcionando

Faça o seguinte para confirmar se o cluster está sendo executado corretamente:

  1. Acesse a página Cargas de trabalho no console Google Cloud :

    Acesse "Cargas de trabalho"

  2. Clique na carga de trabalho example-hello-app-deployment. A página "Detalhes do pod" é exibida. Essa página mostra informações sobre o pod, como anotações, contêineres em execução nele, serviços que expõem o pod e métricas, incluindo uso de CPU, memória e disco.

  3. Acesse a página Serviços e entradas no console do Google Cloud :

    Acesse "Serviços e Entrada"

  4. Clique no serviço LoadBalancer example-hello-app-loadbalancer. A página "Detalhes do serviço" é exibida. Nesta página, mostramos informações sobre o serviço, como os pods associados a ele e as portas que os serviços usam.

  5. Na seção Endpoints externos, clique no link IPv4 ou link IPv6 para exibir seu serviço no navegador. O resultado será assim:

    Hello, world!
    Version: 2.0.0
    Hostname: example-hello-app-deployment-5df979c4fb-kdwgr
    

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, exclua o projeto do Google Cloud e os recursos.

Se você quiser fazer outros tutoriais ou explorar mais o exemplo, aguarde até concluir tudo para realizar a etapa de limpeza.

  • No Cloud Shell, execute o seguinte comando para excluir os recursos do Terraform:

    terraform destroy --auto-approve
    

Resolver erros de limpeza

Se for exibida uma mensagem de erro parecida com esta The network resource 'projects/PROJECT_ID/global/networks/example-network' is already being used by 'projects/PROJECT_ID/global/firewalls/example-network-yqjlfql57iydmsuzd4ot6n5v', faça o seguinte:

  1. Exclua as regras de firewall:

    gcloud compute firewall-rules list --filter="NETWORK:example-network" --format="table[no-heading](name)" | xargs gcloud --quiet compute firewall-rules delete
    
  2. Execute novamente o comando do Terraform:

    terraform destroy --auto-approve
    

A seguir