Übersicht über Broker in Managed Service for Apache Kafka

Auf dieser Seite wird beschrieben, wie Managed Service for Apache Kafka Broker für Ihren Kafka-Cluster bereitstellt.

Übersicht

Ein Kafka-Cluster besteht aus einem oder mehreren Brokern. Producer-Anwendungen senden Nachrichten an Broker und Consumer-Anwendungen stellen eine Verbindung zu Brokern her, um Nachrichten zu lesen. Mehrere Consumer können Nachrichten parallel lesen, in der Regel über eine Consumer-Gruppe. Jeder Partition in einem Thema ist ein Leader-Broker zugewiesen. Der Leader ist dafür verantwortlich, die empfangenen Partitionsdaten auf andere Broker zu replizieren.

Managed Service for Apache Kafka erstellt automatisch Broker für Sie. Sie können die Anzahl der Broker zwar nicht direkt konfigurieren, aber Ihren Cluster hochskalieren, um Broker hinzuzufügen.

Broker bereitstellen

Wenn Sie einen Managed Service for Apache Kafka-Cluster erstellen, stellt der Dienst mindestens einen Broker in jeder von drei Zonen bereit. Die Anzahl der Broker wird so berechnet:

number of brokers = max(3, ceiling(vCPUs / 15))

Ein Cluster mit 75 vCPUs beginnt beispielsweise mit 5 Brokern.

Broker werden so gleichmäßig wie möglich auf die Zonen verteilt und alle Broker haben dieselbe Anzahl von vCPUs, die möglicherweise ein Bruchwert ist. Jeder Broker hat mindestens eine vCPU.

Der Dienst stellt automatisch die Festplattenkapazität für die Broker bereit. Optional können Sie die Festplattenkapazität pro Broker beim Erstellen des Clusters konfigurieren und später erhöhen. Weitere Informationen finden Sie unter Festplattengröße für Broker konfigurieren.

Cluster skalieren

Wenn Sie die Größe des Clusters erhöhen, werden zusätzliche vCPUs auf die vorhandenen Broker verteilt, bis zu einem Limit von 15 vCPUs pro Broker. Wenn die Clustergröße 15 vCPUs pro Broker übersteigt, stellt der Dienst einen neuen Broker bereit. Die Broker werden gleichmäßig auf die drei Zonen verteilt, mit einer maximalen Differenz von einem.

Wenn Sie die Clustergröße verringern, werden vCPUs auf die vorhandenen Broker verteilt, bis zu einem Minimum von einer vCPU pro Broker. Broker werden während der Lebensdauer eines Clusters nie gelöscht. Sobald ein neuer Broker bereitgestellt wurde, kann er auf eine vCPU herunterskaliert werden, wird aber nie gelöscht.

Broker-Partitionen neu ausgleichen

Oft ist der Grund für das Hochskalieren eines Clusters, die Last auf vorhandenen Brokern zu reduzieren, indem einige Partitionen dem neuen Broker zugewiesen werden. Dieser Vorgang wird als Neuausgleich bezeichnet. Der Neuausgleich kann automatisch oder manuell erfolgen.

  • Automatischer Neuausgleich : Der automatische Neuausgleich ist eine clusterweite Einstellung. Wenn ein neuer Broker bereitgestellt wird und der automatische Neuausgleich aktiviert ist, gleicht der Dienst die Partitionen automatisch von vorhandenen Brokern neu aus. Der Algorithmus für den Neuausgleich basiert auf der Anzahl der Partitionen und zielt darauf ab, ungefähr die gleiche Anzahl von Partitionen pro Broker beizubehalten. Der tatsächliche Traffic, der von jeder Partition verarbeitet wird, wird dabei nicht berücksichtigt. Weitere Informationen finden Sie unter Konfiguration für Neuausgleich.

  • Manueller Neuausgleich : Sie können Partitionen manuell neu ausgleichen, indem Sie die Partitionszuweisung ändern. Das kann erforderlich sein, wenn der automatische Neuausgleich deaktiviert ist oder wenn eine Partition deutlich mehr Traffic empfängt als andere Partitionen (eine sogenannte Hot Partition). Weitere Informationen finden Sie unter Partitionszuweisung ändern.

Nächste Schritte