É preciso implantar os recursos personalizados de previsão no cluster de previsão criado pelo operador de infraestrutura (IO). O operador cria cargas de trabalho de previsão nesse mesmo cluster.
Para criar o cluster de previsão, trabalhe com o IO para associar seu projeto de previsão e alocar os pools de nós necessários para previsões on-line no Google Distributed Cloud (GDC) com isolamento físico.
Antes de começar
Para configurar um projeto e implantar recursos de previsão no cluster de previsão, é preciso ter as permissões necessárias.
Solicitar papéis da organização do IAM
Entre em contato com o admin. da organização do IAM para solicitar o seguinte papel:
- Criador de projetos (
project-creator): criar um novo projeto na sua organização.
Solicitar papéis do IAM para o projeto
Entre em contato com o administrador do projeto do IAM para solicitar o seguinte papel no namespace do projeto:
- Administrador de previsão da Vertex AI (
vertex-ai-prediction-admin): gerencia recursos usados para implantar modelos com a previsão on-line.
Para mais informações sobre esses papéis, consulte Preparar permissões do IAM.
Solicitar um cluster de previsão
Para criar um cluster de previsão, siga estas etapas:
Identifique o projeto na sua organização que você quer associar ao novo cluster para previsões on-line.
Para criar um projeto, consulte Configurar um projeto para a Vertex AI. Você precisa do ID do projeto ao fazer chamadas de API.
Na lista de tipos de máquina disponíveis no Distributed Cloud, escolha o tipo de máquina para os nós que as cargas de trabalho precisam no cluster.
O tipo de máquina escolhido depende do tamanho e da complexidade do modelo preditivo e determina os recursos computacionais e de unidade de processamento gráfico (GPU) que a IO fornece ao cluster. Siga as recomendações de seleção de nós ao selecionar o tipo de máquina para seus nós.
Envie um e-mail para o IO usando o modelo de caso de cluster de previsão para abrir um caso e encaminhar sua solicitação de criação do cluster.
Se necessário, comunique-se com o IO até que ele termine de criar o cluster de previsão associado ao seu projeto e de atribuir os pools de nós apropriados dentro do cluster.
Depois de concluir o provisionamento do cluster, o cluster de previsão estará pronto para previsões on-line.
Recomendações de seleção de nós
Quando o IO cria pools de nós em um cluster, ele atribui um dos tipos de máquina disponíveis no Distributed Cloud para fornecer um conjunto predefinido de recursos para os nós de trabalho. Dependendo do tamanho e da complexidade do modelo, você precisa de diferentes desempenhos de computação e, consequentemente, de uma quantidade específica de CPU, memória e GPU. Forneça esses detalhes na sua comunicação com o IO quando quiser criar um cluster de previsão.
Ao determinar com a IO o tipo de máquina para os pools de nós necessários no cluster de previsão, siga estas práticas:
- O Distributed Cloud adiciona sobrecarga de computação aos nós para componentes obrigatórios do sistema. Portanto, é necessário escolher um tipo de máquina maior para os pools de nós do que aquele que você pretende usar no pool de recursos para os modelos.
- Escolha a solução que oferece os recursos mínimos de memória e computação
necessários para seus requisitos. Por exemplo, se o modelo
exigir oito vCPUs, escolha o tipo de máquina
n2-highcpu-8-gdc, a menor solução com oito vCPUs e 8 GB de memória no Distributed Cloud. - Conforme você avança, considere soluções de maior desempenho apenas se as soluções menores não forem adequadas para suas necessidades e para o tamanho e a complexidade do modelo. É fundamental seguir o princípio de privilégio mínimo, usando apenas os recursos necessários para executar seu fluxo de trabalho específico. Essa abordagem responsável garante o uso consciente dos recursos no ambiente do Distributed Cloud.
- Escolha soluções com GPUs apenas se elas forem necessárias para seu modelo.
- Se o modelo exigir GPUs, considere o tipo de máquina
a2-highgpu-1g-gdc, a menor solução que oferece GPUs.
Modelo de caso de cluster Prediction
Use o modelo a seguir para enviar um e-mail ao seu IO. O e-mail abre um caso para criar o cluster de previsão necessário para previsões on-line.
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]