Panoramica dei broker in Managed Service per Apache Kafka

Questa pagina descrive come Managed Service per Apache Kafka esegue il provisioning dei broker per il tuo cluster Kafka.

Panoramica

Un cluster Kafka è composto da uno o più broker. Le applicazioni producer inviano messaggi ai broker e le applicazioni consumer si connettono ai broker per leggere i messaggi. Più consumer possono leggere i messaggi in parallelo, in genere utilizzando un gruppo di consumer. A ogni partizione di un argomento viene assegnato un broker leader. Il leader è responsabile della replica dei dati della partizione che riceve ad altri broker.

Managed Service per Apache Kafka crea automaticamente i broker per te. Anche se non puoi configurare direttamente il numero di broker, puoi scalare il cluster per aggiungere broker.

Provisioning del broker

Quando crei un cluster Managed Service per Apache Kafka, il servizio esegue il provisioning di almeno un broker in ognuna delle tre zone. Il numero di broker viene calcolato come segue:

number of brokers = max(3, ceiling(vCPUs / 15))

Ad esempio, un cluster con 75 vCPU inizia con 5 broker.

I broker sono distribuiti tra le zone nel modo più uniforme possibile e tutti i broker hanno lo stesso numero di vCPU, che potrebbe essere un valore frazionario. Ogni broker ha almeno una vCPU.

Il servizio esegue automaticamente il provisioning della capacità del disco per i broker. Facoltativamente, puoi configurare la capacità del disco per broker quando crei il cluster e aumentarla in un secondo momento. Per saperne di più, consulta Configurare le dimensioni del disco del broker.

Scalabilità del cluster

Man mano che aumenti le dimensioni del cluster, le vCPU aggiuntive vengono distribuite tra i broker esistenti, fino a un limite di 15 vCPU per broker. Se le dimensioni del cluster superano le 15 vCPU per broker, il servizio esegue il provisioning di un nuovo broker. I broker sono distribuiti equamente tra le tre zone, con una differenza massima di uno.

Se diminuisci la dimensione del cluster, le vCPU vengono distribuite tra i broker esistenti, fino a un minimo di una vCPU per broker. I broker non vengono mai eliminati durante la durata di un cluster. Una volta eseguito il provisioning di un nuovo broker, è possibile fare lo scale down a una vCPU, ma non viene mai eliminato.

Ribilanciamento delle partizioni del broker

Spesso, il motivo per scalare un cluster è ridurre il carico sui broker esistenti riassegnando alcune partizioni al nuovo broker. Questo processo è chiamato ribilanciamento. Il ribilanciamento può essere eseguito automaticamente o manualmente.

  • Ribilanciamento automatico. Il ribilanciamento automatico è un'impostazione a livello di cluster. Quando viene eseguito il provisioning di un nuovo broker, se il ribilanciamento automatico è abilitato, il servizio ribilancia automaticamente le partizioni dai broker esistenti. L'algoritmo di ribilanciamento si basa sul conteggio delle partizioni e mira a mantenere un numero di partizioni per broker approssimativamente uguale. Non tiene conto del traffico effettivo gestito da ciascuna partizione. Per ulteriori informazioni, vedi Configurazione del ribilanciamento.

  • Ribilanciamento manuale. Puoi ribilanciare manualmente le partizioni modificando l'assegnazione delle partizioni. Puoi farlo perché il ribilanciamento automatico è disattivato o perché una partizione riceve molto più traffico rispetto alle altre partizioni (chiamata partizione calda). Per ulteriori informazioni, vedi Modificare l'assegnazione della partizione

Passaggi successivi

Apache Kafka® è un marchio registrato di Apache Software Foundation o dei suoi affiliati negli Stati Uniti e/o in altri paesi.