Configurar o suporte a payloads de mensagens grandes na Apigee híbrida

Visão geral

A Apigee híbrida é compatível com payloads de mensagens grandes de até 30 MB. A partir da versão 1.15.1, a Apigee híbrida pode permitir payloads de mensagens grandes de até 75 MB. O tamanho padrão do payload da mensagem é de 10 MB. Consulte Tamanho do payload da mensagem.

Configurar o suporte para payloads de mensagens de até 30 MB

Para permitir que os ambientes na instalação híbrida sejam compatíveis com payloads de mensagens grandes, faça as seguintes alterações na configuração do ambiente de execução:

  • Aumente o tamanho do heap para pelo menos 4Gi.
  • Aumente os limites de memória para pelo menos 6 Gi.
  • Aumente as solicitações de recursos de memória para pelo menos 4 Gi.

É possível definir essas configurações para ambientes individuais ou para todos os ambientes na instalação.

Configurar ambientes individuais para oferecer suporte a payloads de mensagens grandes

Se os proxies configurados para aceitar payloads de mensagens grandes tiverem endpoints em apenas um ou alguns ambientes na instalação, será possível configurar os ambientes para aceitar payloads grandes. Isso evita adicionar memória extra a ambientes que não precisam de suporte para payloads grandes.

Para configurar ambientes individuais para que sejam compatíveis com payloads de mensagens grandes, use as propriedades envs[].components.runtime. Faça as seguintes mudanças no arquivo overrides.yaml:

  1. Adicione a seguinte estrofe ao arquivo overrides.yaml:
    envs:
    - name: ENV_NAME
      components:
        runtime:
          cwcAppend:
            bin_setenv_max_mem: 4096m   # Increase max heap size to 4 gigs
          resources:
            requests:
              memory: 4Gi
            limits:
              memory: 6Gi
    

    Veja estes tópicos:

  2. Faça upgrade do gráfico apigee-env para cada ambiente que você está atualizando:

    Simulação:

    helm upgrade ENV_RELEASE_NAME apigee-env/ \
      --install \
      --namespace APIGEE_NAMESPACE \
      --set env=ENV_NAME \
      -f OVERRIDES_FILE \
      --dry-run=server
    
    • ENV_RELEASE_NAME é um nome usado para rastrear a instalação e os upgrades do gráfico apigee-env. Esse nome precisa ser diferente dos outros nomes de versões do Helm na sua instalação. Geralmente, é o mesmo que ENV_NAME. No entanto, se o ambiente tiver o mesmo nome do grupo de ambientes, use nomes de versão diferentes para o ambiente e o grupo de ambientes, por exemplo, dev-env-release e dev-envgroup-release. Para mais informações sobre versões no Helm, consulte Três grandes conceitos na documentação do Helm.
    • ENV_NAME é o nome do ambiente que você está fazendo upgrade.
    • OVERRIDES_FILE é o arquivo overrides.yaml editado.
  3. Faça upgrade do gráfico:

    Simulação:

    helm upgrade ENV_RELEASE_NAME apigee-env/ \
      --install \
      --namespace APIGEE_NAMESPACE \
      --set env=ENV_NAME \
      -f OVERRIDES_FILE
    

Configurar todos os ambientes para aceitar payloads de mensagens grandes

As mudanças na estrofe runtime definem os limites de heap e memória para todos os ambientes na instalação. É possível substituir essas configurações para ambientes individuais com as propriedades envs[].components.runtime.

  1. Adicione a seguinte estrofe ao arquivo overrides.yaml:
    runtime:
      cwcAppend:
        bin_setenv_max_mem: 4096m   # Increase max heap size to 4 gigs
      resources:
        requests:
          memory: 4Gi
        limits:
          memory: 6Gi
    

    Veja estes tópicos:

  2. Faça upgrade do gráfico apigee-env para cada ambiente na instalação:

    Simulação:

    helm upgrade ENV_RELEASE_NAME apigee-env/ \
      --install \
      --namespace APIGEE_NAMESPACE \
      --set env=ENV_NAME \
      -f OVERRIDES_FILE \
      --dry-run=server
    

    Faça upgrade do gráfico:

    helm upgrade ENV_RELEASE_NAME apigee-env/ \
      --install \
      --namespace APIGEE_NAMESPACE \
      --set env=ENV_NAME \
      -f OVERRIDES_FILE
    

Diretrizes para payloads de mensagens entre 30 MB e 75 MB

A determinação do tamanho ideal do heap para um processador de mensagens em cenários de payload grande depende do seu caso de uso específico. No entanto, a Apigee oferece diretrizes gerais para ajudar nesse processo.

Para calcular o tamanho do heap por processador de mensagens (MP), use os seguintes valores:

  • Q: QPS máximo por pod de MP
  • L: latência de ida e volta por solicitação (95º percentil da latência esperada)
  • C: simultaneidade total por MP, o número máximo de solicitações que podem persistir simultaneamente no MP em qualquer momento. Isso é calculado como C = Q * L.
  • P_req: tamanho do payload (em MB) da solicitação enviada pelo cliente para a Apigee.
  • P_resp: tamanho do payload (em MB) da resposta recebida do destino.
  • S: fator de segurança (a Apigee recomenda um intervalo de 1,5 a 2)
  • BASE_HEAP: tamanho base do heap para considerar recursos não relacionados a solicitações, como configurações de proxy. (A Apigee recomenda 3072Mi)

Considerando o fator de segurança S, além de um tamanho de heap base, o heap total por MP é calculado da seguinte forma:

Tamanho do heap por MP = BASE_HEAP + C * (P_req + P_resp) * S

A configuração de substituições de base para o cenário de payload grande é:

envs:
  components:
    runtime:
      resources:
        requests:
          cpu: 2000m
          memory: 2Gi
        limits:
          cpu: 4000m
          memory: 4Gi
      cwcAppend:
        bin_setenv_max_mem: 3072m # base heap size

Exemplo de cálculo

Confira um exemplo de cálculo com os seguintes valores:

  • QPS máximo, Q: 2
  • Latência, L: 7s
  • Tamanho do payload da solicitação, P_req: 40 MB
  • Tamanho do payload de resposta, P_resp: 40 MB
  • Fator de segurança, S: 1,5
  • Tamanho do heap de base, BASE_HEAP: 3072Mi

Tamanho do heap = 3072 + (2 * 7) * (40+40) * 1.5 = 4752Mi

limits.memory precisa ser 1 Gi acima do heap recomendado.

Neste exemplo, você adicionaria o seguinte ao seu overrides.yaml:

envs:
  components:
    runtime:
      resources:
        requests:
          memory: 4Gi
        limits:
          memory: 5.75Gi # approximately 1Gi over 4.75Gi
      cwcAppend:
        bin_setenv_max_mem: 4752m

Considerações

Picos de tráfego

O HPA garante que os MPs sejam escalonados à medida que as QPS aumentam. No entanto, o HPA leva cerca de 60 segundos para acionar o escalonamento vertical. Um pico de tráfego excessivamente alto pode causar erros de memória insuficiente (OOM) no MP.

Se você prevê esses picos de tráfego, escalonar verticalmente o uso do heap usando um fator de segurança que pareça apropriado. Por exemplo, S = 2

Heap = BASE_HEAP + (Q * L) * (P_req + P_resp) * 2

Uso de políticas

O cálculo acima não inclui o uso da política. A Apigee permite que os clientes façam cópias dos payloads de solicitação / resposta, o que pode alterar significativamente o uso do heap.

Por exemplo, se você tiver uma política de JavaScript que faz três cópias de toda a resposta de destino, a equação a ser usada será:

Heap per MP = Base Heap + (Q * L) * (P_req + P_resp * 4) * S

Exemplos de políticas que podem aumentar o uso da memória:

  • AssignMessage
  • JavaScript Callout
  • JavaCallout

Monitoramento

As diretrizes fornecidas aqui servem como ponto de partida. É altamente recomendável monitorar e alertar sobre o uso da memória. Use um fator de segurança maior se o uso do heap for consistentemente alto.

Consulte também: