É possível editar um cluster do Serviço Gerenciado do Google Cloud para Apache Kafka para atualizar propriedades como o tamanho do cluster, incluindo a contagem de vCPUs e a memória, a lista de sub-redes conectadas, os intervalos de IP de origem permitidos para clusters públicos, a configuração de rebalanceamento automático e a configuração de mTLS.
Para editar um cluster, use o console do Google Cloud , a Google Cloud CLI, a biblioteca de cliente ou a API Managed Kafka. Não é possível usar a API Apache Kafka de código aberto para atualizar um cluster.
A atualização de determinadas propriedades, como a contagem de vCPUs e a memória, pode exigir que o serviço reinicie o cluster. O serviço reinicia o cluster um agente por vez. Durante esse processo, as solicitações para agentes individuais podem falhar, mas essas falhas são temporárias. As bibliotecas de cliente usadas com frequência processam esses erros automaticamente.
Papéis e permissões necessárias
Para receber a permissão necessária para atualizar um cluster, peça ao administrador para conceder a você o papel do IAM de Editor de cluster do Kafka gerenciado (roles/managedkafka.clusterEditor) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esse papel predefinido contém a permissão managedkafka.clusters.update, que é necessária para atualizar um cluster.
Também é possível receber essa permissão com papéis personalizados ou outros papéis predefinidos.
Permissões de sub-rede do cluster
Se você atualizar a configuração de rede de um cluster adicionando uma sub-rede, o agente de serviço do Kafka gerenciado vai anexar a sub-rede durante a operação de atualização.
A permissão managedkafka.clusters.update permite indiretamente que um principal anexe
qualquer sub-rede que o agente de serviço tenha permissão para usar, mesmo que o principal
não tenha permissão direta para usar a sub-rede.
Redimensionar um cluster
Se você atualizar a contagem de vCPUs ou a memória de um cluster, as seguintes regras serão aplicadas:
A proporção geral de vCPU para memória do cluster precisa sempre permanecer entre 1:1 e 1:8.
É preciso haver pelo menos 1 vCPU e 1 GiB de memória para cada agente existente. O número de agentes nunca diminui.
Se o cluster tiver uma configuração de disco personalizada, a atualização precisará atender aos requisitos de configuração de disco para armazenamento local.
Se você fizer o upgrade, a vCPU e a memória médias por agente não poderão diminuir em mais de 10% em comparação com as médias antes da atualização. Por exemplo, se você tentar fazer o upgrade de um cluster de 45 vCPUs (3 agentes) para 48 vCPUs (4 agentes), a média de vCPUs por agente vai diminuir de 15 para 12, o que é uma redução de 20%, excedendo o limite de 10%.
Se você precisar diminuir a contagem de vCPUs em mais de 10%, recomendamos reduzi-la em várias etapas. Após cada atualização, monitore a utilização de recursos e rebalanceie as partições, se necessário.
No entanto, se você tiver certeza de que os agentes terão capacidade suficiente após a atualização, desative essa verificação executando o comando
gcloud managed-kafka clusters updatecom a flagallow_broker_downscale_on_cluster_upscale=true. Essa flag indica que você aceita o possível risco de desempenho.
Para mais informações, consulte Atualizar o tamanho do cluster.
Configuração do cluster público
É possível ativar ou desativar o acesso público para um cluster atual, além de adicionar ou remover intervalos de IP de origem permitidos. Para mais informações sobre os requisitos e as regras para intervalos de IP de origem permitidos, consulte Clusters públicos.
O Serviço Gerenciado para Apache Kafka usa o Cloud Next Generation Firewall para restringir o acesso a clusters públicos. A remoção de intervalos de IP de origem permitidos ou a desativação do acesso público se aplica apenas a novas conexões. Para mais informações, consulte efeitos no tráfego atual.
Edite um cluster
Para editar um cluster, siga estas etapas:
Console
- No Google Cloud console, acesse a página Clusters.
- Na lista de clusters, clique naquele que você quer editar.
O console mostra a página de detalhes do cluster.
Na página de detalhes do cluster, clique em Editar.
Edite as propriedades conforme necessário. É possível editar as seguintes propriedades de um cluster no console:
- Memória
- vCPUs
- Sub-rede
- Configuração de reequilíbrio
- Configuração de mTLS
- Rótulos
Clique em Salvar.
gcloud
Execute o comando gcloud managed-kafka clusters update:
gcloud managed-kafka clusters update CLUSTER_ID \
--location=LOCATION \
--cpu=CPU \
--memory=MEMORY \
--subnets=SUBNETS \
--async
Substitua:
CLUSTER_ID: o ID ou nome do cluster.LOCATION: o local do cluster.CPU: o número de vCPUs do cluster.MEMORY: a quantidade de memória do cluster. Use as unidades "MB", "MiB", "GB", "GiB", "TB" ou "TiB". Por exemplo, "10GiB".SUBNETS: a lista de sub-redes a serem conectadas. Use vírgulas para separar vários valores de sub-rede.
É preciso especificar pelo menos uma propriedade para atualizar.
Se você incluir a flag --async, o comando vai retornar imediatamente, sem
aguardar a conclusão da operação. Se você não definir essa flag, o comando vai aguardar a conclusão da operação antes de retornar uma resposta.
Atualizar a configuração do cluster público
Para ativar o acesso público no cluster, execute o comando a seguir.
gcloud managed-kafka clusters update CLUSTER_ID \
--location=LOCATION \
--public-cluster \
--allowed-source-ip-ranges=ALLOWED_SOURCE_IP_RANGES \
--async
Substitua ALLOWED_SOURCE_IP_RANGES pelos intervalos de IP de origem permitidos para o cluster público. Para mais informações, consulte
Configuração de cluster público.
Para desativar o acesso público, use a flag --no-public-cluster.
REST
Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:
-
PROJECT_ID: o ID do projeto do Google Cloud . -
LOCATION: O local do cluster. -
CLUSTER_ID: o ID do cluster. -
UPDATE_MASK: quais campos atualizar, como uma lista separada por vírgulas de nomes totalmente qualificados. Exemplo:capacityConfig.vcpuCount,capacityConfig.memoryBytes -
CPU_COUNT: o número de vCPUs do cluster. -
MEMORY: a quantidade de memória do cluster, em bytes. Exemplo:3221225472. -
SUBNET_ID: ID da sub-rede à qual se conectar. Exemplo:default.
Método HTTP e URL:
PATCH https://managedkafka.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID?updateMask=UPDATE_MASK
Corpo JSON da solicitação:
{
"capacityConfig": {
"vcpuCount": CPU_COUNT,
"memoryBytes": MEMORY
},
"gcpConfig": {
"accessConfig": {
"networkConfigs": [
{
"subnet": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET_ID"
}
]
}
}
}
Para enviar a solicitação, expanda uma destas opções:
Você receberá uma resposta JSON semelhante a esta:
{
"name": "projects/PROJECT_ID/locations/LOCATION/operations/OPERATION_ID",
"metadata": {
"@type": "type.googleapis.com/google.cloud.managedkafka.v1.OperationMetadata",
"createTime": "CREATE_TIME",
"target": "projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID",
"verb": "update",
"requestedCancellation": false,
"apiVersion": "v1"
},
"done": false
}
No corpo da solicitação, inclua apenas os campos que você está atualizando, conforme especificado no parâmetro de consulta UPDATE_MASK.
- Para adicionar uma sub-rede, anexe uma nova entrada a
networkConfigsno seguinte formato:projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET_ID. Exemplo:projects/sample-project/regions/us-central1/subnetworks/default. Para ativar o acesso público ou atualizar os intervalos de IP de origem permitidos, inclua
gcpConfig.accessConfig.publicClusterConfigno parâmetro de consulta UPDATE_MASK e especifique a matrizallowedSourceIpRangesno corpo da solicitação. Exemplo de corpo da solicitação:{ "gcpConfig": { "accessConfig": { "publicClusterConfig": { "allowedSourceIpRanges": [ "203.0.113.0/24" ] } } } }Para desativar o acesso público, inclua
gcpConfig.accessConfig.publicClusterConfigno parâmetro de consulta UPDATE_MASK e transmita um objeto JSON vazio{}no corpo da solicitação (ou omitapublicClusterConfig). Exemplo de corpo da solicitação:{}
Go
Antes de testar este exemplo, siga as instruções de configuração do Go em Instalar as bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Go do Serviço Gerenciado para Apache Kafka.
Para autenticar no Serviço Gerenciado para Apache Kafka, configure o Application Default Credentials(ADC). Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Java
Antes de testar esta amostra, siga as instruções de configuração do Java em Instalar as bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Java do Serviço Gerenciado para Apache Kafka.
Para se autenticar no Serviço Gerenciado para Apache Kafka, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Python
Antes de testar este exemplo, siga as instruções de configuração do Python em Instalar as bibliotecas de cliente. Para mais informações, consulte a documentação de referência da API Python do Serviço Gerenciado para Apache Kafka.
Para se autenticar no Serviço Gerenciado para Apache Kafka, configure o Application Default Credentials. Para mais informações, consulte Configurar o ADC para um ambiente de desenvolvimento local.
Limitações
Depois de criar um cluster do Serviço Gerenciado para Apache Kafka, não é possível atualizar as seguintes propriedades:
- O nome do cluster
- O local do cluster
- O tipo de criptografia
Embora não seja possível mudar o tipo de criptografia, você pode fazer a rotação das chaves de criptografia.