Übersicht über Broker in Managed Service for Apache Kafka

Auf dieser Seite wird beschrieben, wie Broker für Ihren Kafka-Cluster im Managed Service for Apache Kafka bereitgestellt werden.

Übersicht

Ein Kafka-Cluster besteht aus einem oder mehreren Brokern. Erstelleranwendungen senden Nachrichten an Broker und Nutzeranwendungen stellen eine Verbindung zu Brokern her, um Nachrichten zu lesen. Mehrere Nutzer können Nachrichten parallel lesen, in der Regel über eine Nutzergruppe. Jeder Partition in einem Thema wird ein Leader-Broker zugewiesen. Der Leader ist dafür verantwortlich, die empfangenen Partitionsdaten auf andere Broker zu replizieren.

Managed Service for Apache Kafka erstellt automatisch Broker für Sie. Sie können die Anzahl der Broker zwar nicht direkt konfigurieren, aber Sie können Ihren Cluster skalieren, um Broker hinzuzufügen.

Broker-Bereitstellung

Wenn Sie einen Managed Service for Apache Kafka-Cluster erstellen, stellt der Dienst mindestens einen Broker in jeder von drei Zonen bereit. Die Anzahl der Vermittler wird so berechnet:

number of brokers = max(3, ceiling(vCPUs / 15))

Ein Cluster mit 75 vCPUs beginnt beispielsweise mit 5 Brokern.

Die Broker werden so gleichmäßig wie möglich auf die Zonen verteilt und alle Broker haben dieselbe Anzahl von vCPUs, die auch ein Bruchwert sein kann. Jeder Broker hat mindestens eine vCPU.

Der Dienst stellt automatisch Festplattenkapazität für die Broker bereit. Optional können Sie die Festplattenkapazität pro Broker beim Erstellen des Clusters konfigurieren und später erhöhen. Weitere Informationen finden Sie unter Broker-Festplattengröße konfigurieren.

Cluster skalieren

Wenn Sie die Größe des Clusters erhöhen, werden zusätzliche vCPUs auf die vorhandenen Broker verteilt, bis zu einem Limit von 15 vCPUs pro Broker. Wenn die Clustergröße 15 vCPUs pro Broker überschreitet, wird ein neuer Broker bereitgestellt. Die Broker sind gleichmäßig auf die drei Zonen verteilt, mit einem maximalen Unterschied von einem.

Wenn Sie die Clustergröße verringern, werden die vCPUs auf die vorhandenen Broker verteilt, bis zu einem Minimum von einer vCPU pro Broker. Broker werden während der Lebensdauer eines Clusters nie gelöscht. Sobald ein neuer Broker bereitgestellt wurde, kann er auf eine vCPU herunterskaliert werden, wird aber nie gelöscht.

Broker-Partitionen neu ausgleichen

Häufig wird ein Cluster skaliert, um die Last auf vorhandene Broker zu reduzieren, indem einige Partitionen dem neuen Broker zugewiesen werden. Dieser Vorgang wird als Neuausrichtung bezeichnet. Die Anpassung kann automatisch oder manuell erfolgen.

  • Automatischer Neuausgleich: Der automatische Ausgleich ist eine clusterweite Einstellung. Wenn ein neuer Broker bereitgestellt wird und das automatische Neuausgleichen aktiviert ist, gleicht der Dienst die Partitionen automatisch von vorhandenen Brokern neu aus. Der Rebalancing-Algorithmus basiert auf der Anzahl der Partitionen und zielt darauf ab, ungefähr die gleiche Anzahl von Partitionen pro Broker beizubehalten. Der tatsächliche Traffic, der von den einzelnen Partitionen bereitgestellt wird, wird nicht berücksichtigt. Weitere Informationen finden Sie unter Konfiguration für die Neugewichtung.

  • Manuelle Anpassung: Sie können Partitionen manuell neu ausgleichen, indem Sie die Partitionszuweisung ändern. Das kann z. B. der Fall sein, wenn das automatische Rebalancing deaktiviert ist oder wenn eine Partition deutlich mehr Traffic als andere Partitionen erhält (Hot Partition). Weitere Informationen finden Sie unter Partitionszuweisung ändern.

Nächste Schritte

Apache Kafka® ist eine eingetragene Marke der Apache Software Foundation oder ihrer verbundenen Unternehmen in den USA und/oder anderen Ländern.