Crear el clúster de predicción

Vista previa: La predicción online es una función en vista previa que está disponible tal cual y no se recomienda para entornos de producción. Google no ofrece acuerdos de nivel de servicio (ANS) ni compromisos de asistencia técnica para las funciones en vista previa. Para obtener más información, consulta las fases de las funciones de GDC.

Debes desplegar tus recursos personalizados de predicción en el clúster de predicción que el operador de infraestructura (OI) cree para ti. El operador crea cargas de trabajo de predicción en este mismo clúster.

Para crear el clúster de predicción, colabora con el OI para asociar tu proyecto de predicción y asignar los grupos de nodos necesarios para las predicciones online en Google Distributed Cloud (GDC) air-gapped.

Importante: Solo puede haber un clúster de predicción en cada organización. Sin embargo, el PI puede adjuntar y asociar varios proyectos al clúster para separar y organizar los endpoints.

Para crear un clúster de predicción, sigue estos pasos:

1. Identifica el proyecto de tu organización que quieras asociar al nuevo clúster para las predicciones online.

   Para crear un proyecto, consulta Configurar un proyecto para Vertex AI. Necesitarás el ID de tu proyecto para hacer llamadas a la API.

2. En la lista de tipos de máquinas disponibles en Distributed Cloud, elige el tipo de máquina para los nodos que necesiten tus cargas de trabajo en el clúster.

   El tipo de máquina que elijas dependerá del tamaño y la complejidad de tu modelo de predicción, y determinará los recursos de computación y de unidad de procesamiento gráfico (GPU) que el IO proporcione al clúster. Sigue las recomendaciones de selección de nodos al elegir el tipo de máquina para tus nodos.

3. Envía un correo al OI con la plantilla de caso de clúster de predicción para abrir un caso y dirigir tu solicitud de creación del clúster.

4. Si es necesario, comunícate con el IO hasta que termine de crear el clúster de predicción asociado a tu proyecto y de asignar los grupos de nodos adecuados dentro del clúster.

Una vez que se haya completado el aprovisionamiento del clúster, el clúster de predicción estará listo para las predicciones online.

Recomendaciones de selección de nodos

Cuando el IO crea grupos de nodos en un clúster, asigna uno de los tipos de máquinas disponibles en Distributed Cloud para proporcionar un conjunto predefinido de recursos a los nodos de trabajador. En función del tamaño y la complejidad del modelo, necesitarás diferentes rendimientos de computación y, por lo tanto, una cantidad específica de CPU, memoria y GPU. Debes proporcionar estos detalles en tu comunicación con el PI cuando quieras crear un clúster de predicción.

Importante: Distributed Cloud usa GPUs virtualizadas en el clúster, lo que significa que obtendrás una séptima parte de la GPU que tengas por cada recuento de aceleradores solicitado. Por ejemplo, si pides un recuento de aceleradores de tres en el pool de recursos, obtendrás tres séptimas partes de una GPU.

Cuando determines con el PI el tipo de máquina para los grupos de nodos que necesites en el clúster de predicción, debes seguir estas prácticas:

• Distributed Cloud añade una sobrecarga de computación a los nodos para los componentes del sistema obligatorios. Por lo tanto, debes elegir un tipo de máquina más grande para tus grupos de nodos que el que tengas pensado usar en el pool de recursos para tus modelos.
• Elige la solución que proporcione la memoria y los recursos de computación mínimos necesarios para tus requisitos. Por ejemplo, si tu modelo necesita ocho vCPUs, elige el tipo de máquina n2-highcpu-8-gdc, la solución más pequeña con ocho vCPUs y 8 GB de memoria en Distributed Cloud.
• A medida que avances, considera soluciones de mayor rendimiento solo si las más pequeñas no son adecuadas para tus necesidades y para el tamaño y la complejidad del modelo. Es fundamental seguir el principio de mínimos accesos, usando solo los recursos que necesites para ejecutar tu flujo de trabajo específico. Este enfoque responsable garantiza un uso considerado de los recursos en el entorno de Distributed Cloud.
• Solo elige soluciones que tengan GPUs si las necesitas para tu modelo.
• Si tu modelo necesita GPUs, considera el tipo de máquina a2-highgpu-1g-gdc, la solución más pequeña que proporciona GPUs.

Plantilla de caso de clúster de predicción

Usa la siguiente plantilla para enviar un correo a tu PI. El correo abre un caso para crear el clúster de predicción que necesitas para las predicciones online.

Good day,

I need to create a prediction cluster and associate it with a project in my organization to use online predictions.

Please use the following information for the creation of the cluster:

- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]

**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster

Thank you,
[Your name]