Este documento descreve como o Serviço Gerenciado para Apache Kafka gerencia o armazenamento de um cluster do Kafka e como configurar a capacidade do disco em um cluster. O serviço provisiona discos automaticamente quando você cria um cluster, mas, dependendo das suas cargas de trabalho do Kafka, talvez seja necessário alocar mais capacidade de disco do que o padrão.
Visão geral
O Serviço Gerenciado para Apache Kafka usa armazenamento em camadas. O armazenamento em níveis combina dois níveis de armazenamento:
- Uma quantidade limitada de armazenamento local rápido, na forma de discos pré-provisionados anexados aos brokers.
- Armazenamento remoto praticamente ilimitado. O armazenamento remoto é menos caro e não precisa ser provisionado previamente.
O sistema de armazenamento em camadas permite armazenar grandes volumes de dados com menos risco de ficar sem espaço em disco. Também pode custar menos do que usar apenas o armazenamento local.
Quando um broker recebe uma mensagem, ele a grava em um arquivo de segmento local. Quando o arquivo de segmento atinge um tamanho ou idade máxima, ele é fechado (ou "rolado") e movido para o armazenamento remoto. A qualquer momento, há um único arquivo de segmento aberto por partição. Portanto, o volume de armazenamento local aumenta com o número de partições e o tamanho máximo dos arquivos de segmento. Os corretores que processam mais partições precisam de mais espaço de armazenamento local.
Para definir o tamanho dos arquivos de segmento, defina as configurações de broker log.roll.ms e log.segment.bytes.
Se você ativar a compactação de registros, somente o armazenamento local será usado para esse tópico.
Configuração padrão do disco
Por padrão, o Serviço Gerenciado para Apache Kafka provisiona pelo menos 100 GiB de capacidade de disco por vCPU para cada agente. Ao escalonar um cluster, o serviço garante que os brokers tenham pelo menos 100 GiB por CPU. A capacidade de disco por broker nunca é reduzida, mesmo que o número de vCPUs por broker diminua.
Para saber quanta capacidade de disco foi alocada, consulte a capacidade efetiva de disco do cluster.
Configuração de disco personalizada
A configuração de disco padrão oferece um equilíbrio de armazenamento local seguro e econômico para a maioria dos usuários. No entanto, também é possível especificar o tamanho do disco local definindo uma configuração de disco personalizada ao criar ou atualizar um cluster.
Você pode aumentar o tamanho do disco pelos seguintes motivos:
Compactação de registros com grandes espaços de chaves. Se a compactação de registros estiver ativada em um tópico, o Kafka vai armazenar a mensagem mais recente de cada chave no disco. Um grande espaço de chaves pode resultar em um grande número de mensagens mantidas no disco indefinidamente.
Grande número de partições. Cada partição precisa de espaço suficiente para armazenar um segmento acumulado, além de espaço para um novo arquivo de segmento enquanto o broker copia o arquivo de segmento acumulado para o armazenamento remoto. Se você tiver mais de 200 partições por vCPU, considere definir uma configuração de armazenamento personalizada.
Carga alta. Um broker sobrecarregado pode não ter capacidade de disco suficiente para mover arquivos transferidos para o armazenamento remoto com rapidez suficiente e, portanto, pode exigir mais armazenamento local.
Erros de falta de espaço em disco. Se o cluster ficar sem espaço em disco em um broker, aumente a capacidade do disco para tornar o cluster operacional.
Para mais informações, consulte Estimar o tamanho necessário do disco.
Requisitos de configuração de disco
Uma configuração de disco personalizada precisa atender aos seguintes requisitos:
O tamanho do disco por broker precisa ser pelo menos igual ao número de vCPUs em cada broker multiplicado por 100 GiB.
Por exemplo, um cluster com 6 vCPUs e 3 brokers exige pelo menos 200 GiB por broker.
O tamanho do disco por broker não pode exceder 32.768 GiB (32 TiB).
O tamanho do disco por broker não pode diminuir. Se você atualizar um cluster, o novo tamanho do disco precisará ser igual ou maior que a capacidade efetiva do disco atual.
Se você escalonar verticalmente de um cluster, a contagem atualizada de vCPUs e o tamanho do disco precisarão atender aos requisitos anteriores, considerando que novos brokers podem ser adicionados. Para calcular o número de brokers, consulte Como escalonar o cluster.
Por exemplo, suponha que você tenha um cluster com 3 vCPUs e 200 GiB de discos por broker. Se você dimensionar o cluster para 9 vCPUs, o tamanho mínimo do disco será de 300 GiB (9 vCPUs / 3 brokers × 100 GiB). Para atender a esse requisito, defina o tamanho do disco e a contagem de vCPUs na mesma solicitação de atualização.
Definir uma configuração de disco personalizada
É possível definir uma configuração de disco personalizada ao criar ou atualizar um cluster. A configuração se aplica a todos os brokers no cluster.
Console
Na página Criar cluster do Kafka ou Editar cluster do Kafka, siga estas etapas:
Em Configuração de capacidade, clique no botão Ativar tamanho personalizado do armazenamento local para a posição ativada.
No campo Armazenamento local personalizado, insira o tamanho do disco por broker, em GiB. O valor precisa atender aos requisitos de configuração de disco. Caso contrário, um erro vai ocorrer.
Clique em Salvar.
gcloud
Especifique a flag --broker-disk-size-gib no comando
gcloud managed-kafka clusters create ou
gcloud managed-kafka clusters update.
Crie um cluster:
gcloud managed-kafka clusters create CLUSTER_ID \
--location=LOCATION \
--broker-disk-size-gib=DISK_SIZE
# Other configruration flags
...
Atualizar um cluster:
gcloud managed-kafka clusters update CLUSTER_ID \
--location=LOCATION \
--broker-disk-size-gib=DISK_SIZE
Substitua:
- CLUSTER_ID: o nome do cluster.
- LOCATION: o local do cluster.
- DISK_SIZE: o tamanho do disco por broker, em GiB. O valor precisa atender aos requisitos de configuração de disco, ou um erro vai ocorrer.
Para mais informações sobre como criar e atualizar clusters do Kafka, consulte os seguintes documentos:
Ver uma configuração de disco personalizada
Para conferir uma configuração de disco personalizada em um cluster do Serviço Gerenciado para Apache Kafka, siga estas etapas.
Console
No Google Cloud console, acesse a página Clusters.
Na lista de clusters, clique no cluster que você quer acessar.
Selecione a guia Configurações.
Em Capacidade, se o cluster tiver uma configuração de disco personalizada, a linha Armazenamento local personalizado vai mostrar o tamanho do disco por broker. Caso contrário, a linha vai mostrar
Disabled.
gcloud
Execute o comando gcloud managed-kafka clusters describe:
gcloud managed-kafka clusters describe CLUSTER_ID \
--location=LOCATION
Substitua:
- CLUSTER_ID: o nome do cluster.
- LOCATION: o local do cluster.
Na descrição do cluster retornada, o campo brokerCapacityConfig
mostra a configuração:
brokerCapacityConfig:
diskSizeGib: '3000'
Se você não definiu uma configuração de disco personalizada, esse campo fica vazio:
brokerCapacityConfig: {}
Ver a capacidade efetiva do disco
A capacidade de disco efetiva de um cluster é a quantidade de espaço em disco provisionada por broker. Para conferir a capacidade efetiva de disco de um cluster, execute
o comando gcloud managed-kafka clusters describe
com a flag --full.
Console
No Google Cloud console, acesse a página Clusters.
Na lista de clusters, clique no cluster que você quer acessar.
Selecione a guia Configurações.
Em Capacidade, a linha Armazenamento local efetivo mostra o tamanho do disco por broker.
gcloud
gcloud managed-kafka clusters describe CLUSTER_ID --full \
--location=LOCATION
Substitua:
- CLUSTER_ID: o nome do cluster.
- LOCATION: o local do cluster.
Na descrição do cluster retornada, o campo effectiveCapacityConfig contém o tamanho do disco por broker e o número de brokers:
effectiveCapacityConfig:
brokerCount: '3'
brokerDiskSizeGib: '1024'
A capacidade total do disco é igual a brokerCount × brokerDiskSizeGib.
Preços
Se o cluster usar a configuração de disco padrão, você vai receber uma cobrança de 100 GiB por vCPU do cluster, embora o tamanho real do disco por broker possa exceder esse valor.
Depois de definir uma configuração de disco personalizada em um cluster, você recebe cobranças pelo tamanho real dos discos em todos os brokers.