Criar um cluster e implantar uma carga de trabalho usando o Terraform

Um cluster do Kubernetes fornece serviços de computação, armazenamento, rede e outros serviços para aplicativos, semelhante a um data center virtual. Os apps e os serviços associados que são executados no Kubernetes são chamados de cargas de trabalho.

Neste tutorial, você vai conferir rapidamente um cluster do Google Kubernetes Engine em execução e uma carga de trabalho de exemplo configurados com o Terraform. Depois, vai conferir a carga de trabalho no Google Cloud console antes de seguir para nosso programa de aprendizado mais aprofundado ou começar a planejar e criar seu próprio cluster pronto para produção. Neste tutorial, presumimos que você já conhece o Terraform.

Se você preferir configurar o cluster e a carga de trabalho de exemplo no Google Cloud console, consulte Criar um cluster no Google Cloud console.

Antes de começar

Siga estas etapas para ativar a API Kubernetes Engine:

  1. Faça login na sua Google Cloud conta do. Se você é novo no Google Cloud, crie uma conta para avaliar o desempenho dos nossos produtos em cenários reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.
  2. Instale a Google Cloud CLI.

  3. Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

  4. Para inicializar a CLI gcloud, execute o seguinte comando:

    gcloud init
  5. Crie ou selecione um Google Cloud projeto.

    Papéis necessários para selecionar ou criar um projeto

    • Selecionar um projeto: a seleção de um projeto não exige um papel específico do IAM. Você pode selecionar qualquer projeto em que tenha recebido um papel.
    • Criar um projeto: para criar um projeto, você precisa do papel de criador de projetos (roles/resourcemanager.projectCreator), que contém a resourcemanager.projects.create permissão. Saiba como conceder papéis.
    • Crie um Google Cloud projeto do:

      gcloud projects create PROJECT_ID

      Substitua PROJECT_ID por um nome para o Google Cloud projeto do que você está criando.

    • Selecione o Google Cloud projeto do que você criou:

      gcloud config set project PROJECT_ID

      Substitua PROJECT_ID pelo nome do Google Cloud projeto do.

  6. Verifique se o faturamento está ativado para o Google Cloud projeto.

  7. Ative a API GKE:

    Funções necessárias para ativar APIs

    Para ativar as APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, você pode receber essa permissão pelo papel de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

    gcloud services enable container.googleapis.com
  8. Instale a Google Cloud CLI.

  9. Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

  10. Para inicializar a CLI gcloud, execute o seguinte comando:

    gcloud init
  11. Crie ou selecione um Google Cloud projeto.

    Papéis necessários para selecionar ou criar um projeto

    • Selecionar um projeto: a seleção de um projeto não exige um papel específico do IAM. Você pode selecionar qualquer projeto em que tenha recebido um papel.
    • Criar um projeto: para criar um projeto, você precisa do papel de criador de projetos (roles/resourcemanager.projectCreator), que contém a resourcemanager.projects.create permissão. Saiba como conceder papéis.
    • Crie um Google Cloud projeto do:

      gcloud projects create PROJECT_ID

      Substitua PROJECT_ID por um nome para o Google Cloud projeto do que você está criando.

    • Selecione o Google Cloud projeto do que você criou:

      gcloud config set project PROJECT_ID

      Substitua PROJECT_ID pelo nome do Google Cloud projeto do.

  12. Verifique se o faturamento está ativado para o Google Cloud projeto.

  13. Ative a API GKE:

    Funções necessárias para ativar APIs

    Para ativar as APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, você pode receber essa permissão pelo papel de administrador de uso do serviço (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.

    gcloud services enable container.googleapis.com
  14. Conceda papéis à sua conta de usuário. Execute uma vez o seguinte comando para cada um dos seguintes papéis do IAM: roles/container.admin, roles/compute.networkAdmin, roles/iam.serviceAccountUser

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE

    Substitua:

    • PROJECT_ID: o ID do projeto.
    • USER_IDENTIFIER: o identificador da sua conta de usuário. Por exemplo, myemail@example.com.
    • ROLE: o papel do IAM que você concede à sua conta de usuário.

Prepare o ambiente

Neste tutorial, você usará o Cloud Shell para gerenciar recursos hospedados no Google Cloud. O Cloud Shell vem pré-instalado com o software necessário para este tutorial, incluindo Terraform, kubectl, e a a Google Cloud CLI.

  1. Inicie uma sessão do Cloud Shell no Google Cloud console clicando no ícone de ativação Ativar o Cloud Shell Botão "Ativar shell". Isso inicia uma sessão no painel inferior do Google Cloud console.

    As credenciais de serviço associadas a essa máquina virtual são automáticas. Dessa forma, não é necessário configurar nem fazer o download de uma chave de conta de serviço.

  2. Antes de executar comandos, defina o projeto padrão na CLI gcloud usando o seguinte comando:

    gcloud config set project PROJECT_ID
    

    Substitua PROJECT_ID pelo ID do projeto.

  3. Clone o repositório do GitHub:

    git clone https://github.com/terraform-google-modules/terraform-docs-samples.git --single-branch
    
  4. Mude para o diretório de trabalho:

    cd terraform-docs-samples/gke/quickstart/autopilot
    

Revisar os arquivos do Terraform

O Google Cloud provedor é um plug-in que permite gerenciar e provisionar Google Cloud recursos usando o Terraform. Ele serve como uma ponte entre as configurações do Terraform e as Google Cloud APIs, permitindo que você defina de forma declarativa recursos de infraestrutura, como máquinas virtuais e redes.

O cluster e o app de exemplo deste tutorial são especificados em dois arquivos do Terraform que usam os provedores Google Cloud do Google Cloud e do Kubernetes.

  1. Revise o arquivo cluster.tf:

    cat cluster.tf
    

    A saída será assim

    resource "google_compute_network" "default" {
      name = "example-network"
    
      auto_create_subnetworks  = false
      enable_ula_internal_ipv6 = true
    }
    
    resource "google_compute_subnetwork" "default" {
      name = "example-subnetwork"
    
      ip_cidr_range = "10.0.0.0/16"
      region        = "us-central1"
    
      stack_type       = "IPV4_IPV6"
      ipv6_access_type = "INTERNAL" # Change to "EXTERNAL" if creating an external loadbalancer
    
      network = google_compute_network.default.id
      secondary_ip_range {
        range_name    = "services-range"
        ip_cidr_range = "192.168.0.0/24"
      }
    
      secondary_ip_range {
        range_name    = "pod-ranges"
        ip_cidr_range = "192.168.1.0/24"
      }
    }
    
    resource "google_container_cluster" "default" {
      name = "example-autopilot-cluster"
    
      location                 = "us-central1"
      enable_autopilot         = true
      enable_l4_ilb_subsetting = true
    
      network    = google_compute_network.default.id
      subnetwork = google_compute_subnetwork.default.id
    
      ip_allocation_policy {
        stack_type                    = "IPV4_IPV6"
        services_secondary_range_name = google_compute_subnetwork.default.secondary_ip_range[0].range_name
        cluster_secondary_range_name  = google_compute_subnetwork.default.secondary_ip_range[1].range_name
      }
    
      # Set `deletion_protection` to `true` will ensure that one cannot
      # accidentally delete this instance by use of Terraform.
      deletion_protection = false
    }

    Este arquivo descreve os seguintes recursos:

    • google_compute_network: uma rede VPC com IPv6 interno ativado.
    • google_compute_subnetwork: uma sub-rede de pilha dupla.
    • google_container_cluster: um cluster de modo Autopilot de pilha dupla localizado em us-central1. A configuração deletion_protection controla se você pode usar o Terraform para excluir esse cluster. Se você definir o valor no campo deletion_protection como false, o Terraform poderá excluir o cluster. Para mais detalhes, consulte a google_container_cluster referência.
  2. Revise o arquivo app.tf:

    cat app.tf
    

    O resultado será assim:

    data "google_client_config" "default" {}
    
    provider "kubernetes" {
      host                   = "https://${google_container_cluster.default.endpoint}"
      token                  = data.google_client_config.default.access_token
      cluster_ca_certificate = base64decode(google_container_cluster.default.master_auth[0].cluster_ca_certificate)
    
      ignore_annotations = [
        "^autopilot\\.gke\\.io\\/.*",
        "^cloud\\.google\\.com\\/.*"
      ]
    }
    
    resource "kubernetes_deployment_v1" "default" {
      metadata {
        name = "example-hello-app-deployment"
      }
    
      spec {
        selector {
          match_labels = {
            app = "hello-app"
          }
        }
    
        template {
          metadata {
            labels = {
              app = "hello-app"
            }
          }
    
          spec {
            container {
              image = "us-docker.pkg.dev/google-samples/containers/gke/hello-app:2.0"
              name  = "hello-app-container"
    
              port {
                container_port = 8080
                name           = "hello-app-svc"
              }
    
              security_context {
                allow_privilege_escalation = false
                privileged                 = false
                read_only_root_filesystem  = false
    
                capabilities {
                  add  = []
                  drop = ["NET_RAW"]
                }
              }
    
              liveness_probe {
                http_get {
                  path = "/"
                  port = "hello-app-svc"
    
                  http_header {
                    name  = "X-Custom-Header"
                    value = "Awesome"
                  }
                }
    
                initial_delay_seconds = 3
                period_seconds        = 3
              }
            }
    
            security_context {
              run_as_non_root = true
    
              seccomp_profile {
                type = "RuntimeDefault"
              }
            }
    
            # Toleration is currently required to prevent perpetual diff:
            # https://github.com/hashicorp/terraform-provider-kubernetes/pull/2380
            toleration {
              effect   = "NoSchedule"
              key      = "kubernetes.io/arch"
              operator = "Equal"
              value    = "amd64"
            }
          }
        }
      }
    }
    
    resource "kubernetes_service_v1" "default" {
      metadata {
        name = "example-hello-app-loadbalancer"
        annotations = {
          "networking.gke.io/load-balancer-type" = "Internal" # Remove to create an external loadbalancer
        }
      }
    
      spec {
        selector = {
          app = kubernetes_deployment_v1.default.spec[0].selector[0].match_labels.app
        }
    
        ip_family_policy = "RequireDualStack"
    
        port {
          port        = 80
          target_port = kubernetes_deployment_v1.default.spec[0].template[0].spec[0].container[0].port[0].name
        }
    
        type = "LoadBalancer"
      }
    
      depends_on = [time_sleep.wait_service_cleanup]
    }
    
    # Provide time for Service cleanup
    resource "time_sleep" "wait_service_cleanup" {
      depends_on = [google_container_cluster.default]
    
      destroy_duration = "180s"
    }

    Este arquivo descreve os seguintes recursos:

(Opcional) Expor o app à Internet

Os arquivos do Terraform para o exemplo descrevem um app com um endereço IP interno, que só pode ser acessado pela mesma nuvem privada virtual (VPC) do app de exemplo. Se você quiser acessar a interface da Web do app de demonstração em execução pela Internet (por exemplo, no laptop), modifique os arquivos do Terraform para criar um endereço IP público antes de criar o cluster. Para isso, use um editor de texto diretamente no Cloud Shell ou o editor do Cloud Shell.

Para expor o app de demonstração à Internet:

  1. Em cluster.tf, mude ipv6_access_type de INTERNAL para EXTERNAL.

    ipv6_access_type = "EXTERNAL"
    
  2. Em app.tf, configure um balanceador de carga externo removendo a anotação networking.gke.io/load-balancer-type.

     annotations = {
       "networking.gke.io/load-balancer-type" = "Internal" # Remove this line
     }
    

Criar um cluster e implantar um aplicativo

  1. No Cloud Shell, execute este comando para verificar se o Terraform está disponível:

    terraform
    

    A saída será semelhante a esta:

    Usage: terraform [global options] <subcommand> [args]
    
    The available commands for execution are listed below.
    The primary workflow commands are given first, followed by
    less common or more advanced commands.
    
    Main commands:
      init          Prepare your working directory for other commands
      validate      Check whether the configuration is valid
      plan          Show changes required by the current configuration
      apply         Create or update infrastructure
      destroy       Destroy previously-created infrastructure
    
  2. Inicialize o Terraform:

    terraform init
    
  3. Planeje a configuração do Terraform:

    terraform plan
    
  4. Aplique a configuração do Terraform:

    terraform apply
    

    Quando solicitado, digite yes para confirmar as ações. Esse comando pode levar alguns minutos para ser concluído. O resultado será assim:

    Apply complete! Resources: 6 added, 0 changed, 0 destroyed.
    

Verificar se o cluster está funcionando

Faça o seguinte para confirmar se o cluster está sendo executado corretamente:

  1. Acesse a página Cargas de trabalho no Google Cloud console:

    Acesse "Cargas de trabalho"

  2. Clique na carga de trabalho example-hello-app-deployment. A página "Detalhes do pod" é exibida. Essa página mostra informações sobre o pod, como anotações, contêineres em execução nele, serviços que expõem o pod e métricas, incluindo uso de CPU, memória e disco.

  3. Acesse a página Serviços e entradas no Google Cloud console:

    Acesse "Serviços e Entrada"

  4. Clique no serviço LoadBalancer example-hello-app-loadbalancer. A página "Detalhes do serviço" é exibida. Nesta página, mostramos informações sobre o serviço, como os pods associados a ele e as portas que os serviços usam.

  5. Na seção Endpoints externos, clique no link IPv4 ou link IPv6 para exibir seu serviço no navegador. O resultado será assim:

    Hello, world!
    Version: 2.0.0
    Hostname: example-hello-app-deployment-5df979c4fb-kdwgr
    

Limpar

Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, exclua o Google Cloud projeto do e os recursos.

Se você quiser fazer outros tutoriais ou explorar mais o exemplo, aguarde até concluir tudo para realizar a etapa de limpeza.

  • No Cloud Shell, execute o seguinte comando para excluir os recursos do Terraform:

    terraform destroy --auto-approve
    

Resolver erros de limpeza

Se for exibida uma mensagem de erro parecida com esta The network resource 'projects/PROJECT_ID/global/networks/example-network' is already being used by 'projects/PROJECT_ID/global/firewalls/example-network-yqjlfql57iydmsuzd4ot6n5v', faça o seguinte:

  1. Exclua as regras de firewall:

    gcloud compute firewall-rules list --filter="NETWORK:example-network" --format="table[no-heading](name)" | xargs gcloud --quiet compute firewall-rules delete
    
  2. Execute novamente o comando do Terraform:

    terraform destroy --auto-approve
    

A seguir