En este documento, se describe cómo Managed Service para Apache Kafka administra el almacenamiento de un clúster de Kafka y cómo configurar la capacidad del disco en un clúster. El servicio aprovisiona automáticamente los discos cuando creas un clúster, pero, según tus cargas de trabajo de Kafka, es posible que desees asignar más capacidad de disco que la predeterminada.
Descripción general
Managed Service para Apache Kafka usa almacenamiento por niveles. El almacenamiento en niveles combina dos niveles de almacenamiento:
- Una cantidad limitada de almacenamiento local rápido, en forma de discos aprovisionados previamente conectados a los intermediarios.
- Almacenamiento remoto prácticamente ilimitado El almacenamiento remoto es menos costoso y no necesita aprovisionarse previamente.
El sistema de almacenamiento por niveles te permite almacenar grandes volúmenes de datos con menos riesgo de quedarte sin espacio en el disco. También puede costar menos que usar solo el almacenamiento local.
Cuando un agente recibe un mensaje, lo escribe en un archivo de segmento local. Cuando el archivo de segmento alcanza un tamaño o una antigüedad máximos, se cierra (o "rota") y se mueve al almacenamiento remoto. En cualquier momento, hay un solo archivo de segmento abierto por partición, por lo que el volumen de almacenamiento local se ajusta según la cantidad de particiones y el tamaño máximo de los archivos de segmento. Los intermediarios que controlan más particiones necesitan más espacio de almacenamiento local.
Para establecer el tamaño de los archivos de segmento, configura los parámetros de configuración del agente log.roll.ms y log.segment.bytes.
Si habilitas la compactación de registros, solo se usará el almacenamiento local para ese tema.
Configuración predeterminada del disco
De forma predeterminada, Managed Service para Apache Kafka aprovisiona al menos 100 GiB de capacidad de disco por CPU virtual para cada agente. Cuando aumentas la escala de un clúster, el servicio garantiza que los agentes tengan al menos 100 GiB por CPU. La capacidad de disco por agente nunca se reduce, incluso si disminuye la cantidad de CPU virtuales por agente.
Para ver cuánta capacidad de disco se asignó, consulta la capacidad de disco efectiva del clúster.
Configuración personalizada del disco
La configuración predeterminada del disco proporciona un equilibrio de almacenamiento local que es seguro y rentable para la mayoría de los usuarios. Sin embargo, también puedes especificar el tamaño del disco local si estableces una configuración de disco personalizada cuando creas o actualizas un clúster.
Puedes optar por aumentar el tamaño del disco por los siguientes motivos:
Compactación de registros con grandes espacios de claves Si la compactación de registros está habilitada en un tema, Kafka almacena el mensaje más reciente de cada clave en el disco. Un espacio de claves grande puede generar que se mantenga una gran cantidad de mensajes en el disco de forma indefinida.
Gran cantidad de particiones. Cada partición requiere suficiente espacio para almacenar un segmento acumulado, además de espacio para un nuevo archivo de segmento mientras el agente copia el archivo de segmento acumulado en el almacenamiento remoto. Si tienes más de 200 particiones por CPU virtual, considera establecer una configuración de almacenamiento personalizada.
Carga alta. Es posible que un agente sobrecargado no tenga suficiente capacidad de disco para mover los archivos rotados al almacenamiento remoto con la suficiente rapidez y, por lo tanto, podría requerir más almacenamiento local.
Errores de falta de espacio en el disco. Si tu clúster se queda sin espacio en el disco de un agente, puedes aumentar la capacidad del disco para que el clúster vuelva a funcionar.
Para obtener más información, consulta Cómo estimar el tamaño de disco requerido.
Requisitos de configuración del disco
Una configuración de disco personalizada debe cumplir con los siguientes requisitos:
El tamaño del disco por agente debe ser al menos igual a la cantidad de CPU virtuales en cada agente multiplicada por 100 GiB.
Por ejemplo, un clúster con 6 CPU virtuales y 3 agentes requiere al menos 200 GiB por agente.
El tamaño del disco por agente no puede exceder los 32,768 GiB (32 TiB).
El tamaño del disco por agente no puede disminuir. Si actualizas un clúster, el nuevo tamaño del disco debe ser igual o mayor que la capacidad efectiva del disco actual.
Si aumentas la escala de un clúster, el recuento de CPU virtuales y el tamaño del disco actualizados deben cumplir con los requisitos anteriores, teniendo en cuenta que se pueden agregar nuevos intermediarios. Para calcular la cantidad de intermediarios, consulta Cómo escalar el clúster.
Por ejemplo, supongamos que tienes un clúster con 3 CPU virtuales y 200 GiB de discos por agente. Si ajustas la escala del clúster a 9 CPU virtuales, el tamaño mínimo del disco será de 300 GiB (9 CPU virtuales / 3 intermediarios × 100 GiB). Para cumplir con este requisito, deberás establecer el tamaño del disco junto con el recuento de CPU virtuales en la misma solicitud de actualización.
Cómo establecer una configuración de disco personalizada
Puedes establecer una configuración de disco personalizada cuando creas un clúster o actualizas uno existente. La configuración se aplica a todos los intermediarios del clúster.
Console
En la página Crear clúster de Kafka o Editar clúster de Kafka, realiza los siguientes pasos:
En Configuración de capacidad, haz clic en el botón de activación Habilitar el tamaño de almacenamiento local personalizado para llevarlo a la posición activada.
En el campo Almacenamiento local personalizado, ingresa el tamaño del disco por agente, en GiB. El valor debe cumplir con los requisitos de configuración del disco o se producirá un error.
Haz clic en Guardar.
gcloud
Especifica la marca --broker-disk-size-gib en el comando gcloud managed-kafka clusters create o gcloud managed-kafka clusters update.
Crea un clúster:
gcloud managed-kafka clusters create CLUSTER_ID \
--location=LOCATION \
--broker-disk-size-gib=DISK_SIZE
# Other configruration flags
...
Actualiza un clúster:
gcloud managed-kafka clusters update CLUSTER_ID \
--location=LOCATION \
--broker-disk-size-gib=DISK_SIZE
Reemplaza lo siguiente:
- CLUSTER_ID: Es el nombre del clúster.
- LOCATION: Es la ubicación del clúster.
- DISK_SIZE: Es el tamaño del disco por agente, expresado en GiB. El valor debe cumplir con los requisitos de configuración del disco, o se producirá un error.
Para obtener más información sobre cómo crear y actualizar clústeres de Kafka, consulta los siguientes documentos:
Cómo ver una configuración de disco personalizada
Para ver una configuración de disco personalizada en un clúster de Managed Service para Apache Kafka, sigue estos pasos.
Console
En la consola de Google Cloud , ve a la página Clústeres.
En la lista de clústeres, haz clic en el que deseas ver.
Selecciona la pestaña Configurations.
En Capacidad, si el clúster tiene una configuración de disco personalizada, la fila Almacenamiento local personalizado muestra el tamaño del disco por agente. De lo contrario, la fila muestra
Disabled.
gcloud
Ejecuta el comando gcloud managed-kafka clusters describe:
gcloud managed-kafka clusters describe CLUSTER_ID \
--location=LOCATION
Reemplaza lo siguiente:
- CLUSTER_ID: Es el nombre del clúster.
- LOCATION: Es la ubicación del clúster.
En la descripción del clúster que se devolvió, el campo brokerCapacityConfig muestra la configuración:
brokerCapacityConfig:
diskSizeGib: '3000'
Si no estableciste una configuración de disco personalizada, este campo estará vacío:
brokerCapacityConfig: {}
Cómo ver la capacidad efectiva del disco
La capacidad de disco efectiva de un clúster es la cantidad de espacio en el disco que se aprovisionó por agente. Para ver la capacidad de disco efectiva de un clúster, ejecuta el comando gcloud managed-kafka clusters describe con la marca --full.
Console
En la consola de Google Cloud , ve a la página Clústeres.
En la lista de clústeres, haz clic en el que deseas ver.
Selecciona la pestaña Configurations.
En Capacidad, la fila Almacenamiento local efectivo muestra el tamaño del disco por agente.
gcloud
gcloud managed-kafka clusters describe CLUSTER_ID --full \
--location=LOCATION
Reemplaza lo siguiente:
- CLUSTER_ID: Es el nombre del clúster.
- LOCATION: Es la ubicación del clúster.
En la descripción del clúster devuelto, el campo effectiveCapacityConfig contiene el tamaño del disco por agente y la cantidad de agentes:
effectiveCapacityConfig:
brokerCount: '3'
brokerDiskSizeGib: '1024'
La capacidad total del disco es igual a brokerCount × brokerDiskSizeGib.
Precios
Si tu clúster usa la configuración de disco predeterminada, se te facturarán 100 GiB por CPU virtual del clúster, aunque el tamaño real del disco por agente podría superar este valor.
Después de establecer una configuración de disco personalizada en un clúster, se te facturará el tamaño real de los discos en todos los agentes.