Los clústeres de Ray en Gemini Enterprise Agent Platform ofrecen dos opciones de ajuste de escala: el ajuste de escala automático y el ajuste de escala manual. El ajuste de escala automático permite que el clúster ajuste automáticamente la cantidad de nodos trabajadores según los recursos que requieren las tareas y los actores de Ray. Se recomienda el ajuste de escala automático si ejecutas una carga de trabajo pesada y no estás seguro de los recursos necesarios. El escalamiento manual les brinda a los usuarios un control más detallado de los nodos.
El ajuste de escala automático puede reducir los costos de la carga de trabajo, pero agrega sobrecarga de inicio de nodos y puede ser difícil de configurar. Si es la primera vez que usas Ray, te recomendamos que comiences con clústeres que no tengan el ajuste de escala automático y que uses la función de escalamiento manual.
Ajuste de escala automático
Para habilitar la función de ajuste de escala automático de un clúster de Ray, especifica el recuento mínimo de réplicas (min_replica_count) y el recuento máximo de réplicas (max_replica_count) de un grupo de trabajadores.
Ten en cuenta lo siguiente:
- Configura la especificación de ajuste de escala automático de todos los grupos de trabajadores.
- No se admite la velocidad de escalamiento personalizado. Para obtener los valores predeterminados, consulta Velocidad de aumento y disminución de escala en la documentación de Ray.
Establece la especificación del ajuste de escala automático del grupo de trabajadores
Usa la Google Cloud consola o el SDK de Agent Platform para Python para habilitar la función de ajuste de escala automático de un clúster de Ray.
SDK de Ray on Agent Platform
from google.cloud import aiplatform import vertex_ray from vertex_ray import AutoscalingSpec autoscaling_spec = AutoscalingSpec( min_replica_count=1, max_replica_count=3, ) head_node_type = Resources( machine_type="n1-standard-16", node_count=1, ) worker_node_types = [Resources( machine_type="n1-standard-16", accelerator_type="NVIDIA_TESLA_T4", accelerator_count=1, autoscaling_spec=autoscaling_spec, )] # Create the Ray cluster on Gemini Enterprise Agent Platform CLUSTER_RESOURCE_NAME = vertex_ray.create_ray_cluster( head_node_type=head_node_type, worker_node_types=worker_node_types, ... )
Console
De acuerdo con la recomendación de prácticas recomendadas de Ray de OSS, se aplica la configuración del recuento lógico de CPU en 0 en el nodo principal de Ray para evitar ejecutar cualquier carga de trabajo en el nodo principal.
En la Google Cloud consola, ve a la página Ray on Agent Platform.
Haz clic en Crear clúster para abrir el panel Crear clúster.
Para cada paso del panel Crear clúster, revisa o reemplaza la información del clúster predeterminada. Haz clic en Continuar para completar cada paso:
- En Nombre y región, especifica un Nombre y elige una región para tu clúster.
En Configuración de Compute, especifica la configuración del clúster de Ray en el nodo principal, incluidos el tipo de máquina, el tipo y el recuento de aceleradores, el tipo y el tamaño del disco y el recuento de réplicas. De forma opcional, agrega un URI de imagen personalizada para especificar una imagen de contenedor personalizada con el fin de agregar dependencias de Python no proporcionadas por la imagen de contenedor predeterminada. Consulta Imagen personalizada.
En Opciones avanzadas, puedes hacer lo siguiente:
- Especifica tu propia clave de encriptación.
- Especifica una cuenta de servicio personalizada.
- Si no necesitas supervisar las estadísticas de recursos de tu carga de trabajo durante el entrenamiento, inhabilita la recopilación de métricas.
Para crear un clúster con un grupo de trabajadores con ajuste de escala automático, proporciona un valor para el recuento máximo de réplicas del grupo de trabajadores.
Haz clic en Crear.
Ajuste de escala manual
A medida que tus cargas de trabajo aumentan o disminuyen en los clústeres de Ray en Gemini Enterprise Agent Platform, puedes escalar de forma manual la cantidad de réplicas para que coincidan con la demanda. Por ejemplo, si tienes un exceso de capacidad, reduce la escala verticalmente de tus grupos de trabajadores para ahorrar costos.
Limitaciones con el intercambio de tráfico entre VPC
Cuando escalas clústeres, solo puedes cambiar la cantidad de réplicas en tus grupos de trabajadores existentes. Por ejemplo, no puedes agregar ni quitar grupos de trabajadores del clúster ni cambiar el tipo de máquina de los grupos de trabajadores. Además, la cantidad de réplicas para tus grupos de trabajadores no puede ser menor que una.
Si usas una conexión de intercambio de tráfico entre VPC para conectarte a tus clústeres, existe una limitación en la cantidad máxima de nodos. La cantidad máxima de nodos depende de la cantidad de nodos que tenía el clúster cuando lo creaste. Para obtener más información, consulta Cálculo de la cantidad máxima de nodos. Esta cantidad máxima incluye no solo tus grupos de trabajadores, sino también tu nodo principal. Si usas la configuración de red predeterminada, la cantidad de nodos no puede exceder los límites superiores como se describe en la documentación Crea clústeres.
Prácticas recomendadas para la asignación de subredes
Cuando implementas Ray en Gemini Enterprise Agent Platform con el acceso privado a servicios (PSA), es fundamental asegurarte de que el rango de direcciones IP asignado sea lo suficientemente grande y contiguo para admitir la cantidad máxima de nodos a los que podría escalar tu clúster. El agotamiento de IP puede ocurrir si el rango de IP reservado para tu conexión de PSA es demasiado pequeño o está fragmentado, lo que provoca fallas en la implementación.
Como alternativa, te recomendamos que implementes Ray en Agent Platform con una interfaz de Private Service Connect, que reduce el consumo de IP a una subred /28.
Supervisión del acceso privado a servicios
Como práctica recomendada, usa Network Analyzer , una herramienta de diagnóstico dentro de Network Intelligence Center de Google Cloud que supervisa automáticamente los parámetros de configuración de tu red de nube privada virtual (VPC) para detectar parámetros de configuración incorrectos y subóptimos. Network Analyzer funciona de forma continua, lo que ejecuta pruebas de forma proactiva y genera estadísticas para ayudarte a identificar, diagnosticar y resolver problemas de red antes de que afecten la disponibilidad del servicio.
Network Analyzer tiene la capacidad de supervisar las subredes que se usan para el acceso privado a servicios (PSA) y proporciona estadísticas específicas relacionadas con ellas. Esta es una función fundamental para administrar servicios como Cloud SQL, Memorystore y Agent Platform, que usan PSA.
La forma principal en que Network Analyzer supervisa las subredes de PSA es proporcionando estadísticas de uso de direcciones IP para los rangos asignados.
Uso del rango de PSA: Network Analyzer realiza un seguimiento activo del porcentaje de asignación de direcciones IP dentro de los bloques CIDR dedicados que asignaste para PSA. Esto es importante porque, cuando creas un servicio administrado (como Agent Platform), Google crea una VPC de productor de servicios y una subred dentro de ella, y extrae un rango de IP de tu bloque asignado.
Alertas proactivas: Si el uso de direcciones IP para un rango asignado de PSA supera un umbral determinado (por ejemplo, el 75%), Network Analyzer genera una estadística de advertencia. Esto te alerta de forma proactiva sobre posibles problemas de capacidad, lo que te da tiempo para expandir el rango de IP asignado antes de que te quedes sin direcciones disponibles para los recursos de servicio nuevos.
Actualizaciones de subredes de acceso privado a servicios
Para las implementaciones de Ray en Agent Platform, Google recomienda asignar un bloque CIDR /16 o /17 para tu conexión de PSA. Esto proporciona un bloque contiguo de direcciones IP lo suficientemente grande para admitir un escalamiento significativo, con capacidad para hasta 65,536 o 32,768 direcciones IP únicas, respectivamente. Esto ayuda a evitar el agotamiento de IP incluso con clústeres de Ray grandes.
Si agotas el espacio de direcciones IP asignado, Google Cloud muestra este error:
No se pudo crear la subred. No se pudieron encontrar bloques libres en rangos de IP asignados.
Te recomendamos que expandas el rango de subred actual o que asignes un rango que se adapte al crecimiento futuro.
Cálculo de la cantidad máxima de nodos
Si usas el acceso privado a servicios (intercambio de tráfico entre VPC) para conectarte a
tus nodos, usa las siguientes fórmulas para verificar que no excedas la
cantidad máxima de nodos (M), si suponemos que f(x) = min(29, (32 -
ceiling(log2(x))):
f(2 * M) = f(2 * N)f(64 * M) = f(64 * N)f(max(32, 16 + M)) = f(max(32, 16 + N))
La cantidad total máxima de nodos en el clúster de Ray en Agent Platform que puedes escalar verticalmente (M) depende de la cantidad total inicial de nodos que configuraste (N). Después de crear el clúster de Ray en Agent Platform, puedes escalar la cantidad total de nodos a cualquier cantidad entre P y M inclusive, donde P es la cantidad de grupos en tu clúster.
La cantidad total inicial de nodos en el clúster y la cantidad objetivo de escalamiento deben estar en el mismo bloque de color.
Actualiza el recuento de réplicas
Usa la Google Cloud consola o el SDK de Agent Platform para Python para actualizar el recuento de réplicas del grupo de trabajadores. Si tu clúster incluye varios grupos de trabajadores, puedes cambiar cada uno de los recuentos de réplicas de forma individual en una sola solicitud.
SDK de Ray on Agent Platform
import vertexai import vertex_ray vertexai.init() cluster = vertex_ray.get_ray_cluster("CLUSTER_NAME") # Get the resource name. cluster_resource_name = cluster.cluster_resource_name # Create the new worker pools new_worker_node_types = [] for worker_node_type in cluster.worker_node_types: worker_node_type.node_count = REPLICA_COUNT # new worker pool size new_worker_node_types.append(worker_node_type) # Make update call updated_cluster_resource_name = vertex_ray.update_ray_cluster( cluster_resource_name=cluster_resource_name, worker_node_types=new_worker_node_types, )
Console
En la Google Cloud consola, ve a la página Ray on Agent Platform.
En la lista de clústeres, haz clic en el clúster para modificarlo.
En la página Detalles del clúster, haz clic en Edit cluster.
En el panel Edit cluster, selecciona el grupo de trabajadores que deseas actualizar y, luego, modifica el recuento de réplicas.
Haz clic en Actualizar.
Espera unos minutos a que se actualice el clúster. Cuando se complete la actualización, podrás ver el recuento de réplicas actualizado en la página Detalles del clúster.
Haz clic en Crear.