Você precisa implantar seus recursos personalizados de previsão no cluster de previsão que o operador de infraestrutura (IO) cria para você. O operador cria cargas de trabalho de previsão nesse mesmo cluster.
Para criar o cluster de previsão, trabalhe com o IO para associar seu projeto de previsão e alocar os pools de nós necessários para previsões on-line no Google Distributed Cloud (GDC) isolado.
Antes de começar
Para configurar um projeto e implantar recursos de previsão no cluster de previsão, você precisa ter as permissões necessárias.
Solicitar papéis da organização do IAM
Entre em contato com o administrador do IAM da organização para solicitar o seguinte papel:
- Criador do projeto (
project-creator): crie um novo projeto na sua organização.
Solicitar papéis do projeto do IAM
Entre em contato com o administrador do IAM do projeto para solicitar o seguinte papel no namespace do projeto:
- Administrador de previsão da Vertex AI (
vertex-ai-prediction-admin): gerencie os recursos usados para implantar modelos com a previsão on-line.
Para mais informações sobre esses papéis, consulte Preparar permissões do IAM.
Solicitar um cluster de previsão
Para criar um cluster de previsão, siga estas etapas:
Identifique o projeto na sua organização que você quer associar ao novo cluster para previsões on-line.
Para criar um projeto, consulte Configurar um projeto para a Vertex AI. Você precisa do ID do projeto ao fazer chamadas de API.
Na lista de tipos de máquina disponíveis no Distributed Cloud, escolha o tipo de máquina para os nós que suas cargas de trabalho precisam no cluster.
O tipo de máquina escolhido depende do tamanho e da complexidade do modelo preditivo e determina os recursos de computação e unidade de processamento gráfico (GPU) que o IO fornece ao cluster. Siga as recomendações de seleção de nós ao selecionar o tipo de máquina para seus nós.
Envie um e-mail para o IO usando o modelo de caso do cluster de previsão para abrir um caso e enviar sua solicitação de criação do cluster.
Se necessário, comunique-se com o IO até que ele termine de criar o cluster de previsão associado ao seu projeto e atribua os pools de nós adequados no cluster.
Depois de concluir o provisionamento do cluster, o cluster de previsão estará pronto para previsões on-line.
Recomendações de seleção de nós
Quando o IO cria pools de nós em um cluster, ele atribui um dos tipos de máquina disponíveis no Distributed Cloud para fornecer um conjunto predefinido de recursos para os nós de trabalho. Dependendo do tamanho e da complexidade do modelo, você precisa de diferentes desempenhos de computação e, consequentemente, de uma quantidade específica de CPU, memória e GPU. Você precisa fornecer esses detalhes na comunicação com o IO quando quiser criar um cluster de previsão.
Ao determinar com o IO o tipo de máquina para pools de nós necessários no cluster de previsão, você precisa seguir estas práticas recomendadas:
- O Distributed Cloud adiciona sobrecarga de computação aos nós para componentes obrigatórios do sistema. Portanto, escolha um tipo de máquina maior para seus pools de nós do que o que você pretende usar no pool de recursos para seus modelos.
- Escolha a solução que fornece a memória mínima e os recursos de computação necessários para seus requisitos. Por exemplo, se o modelo exigir oito vCPUs, escolha o tipo de máquina
n2-highcpu-8-gdc, a menor solução com oito vCPUs e 8 GB de memória no Distributed Cloud. - À medida que você avança, considere soluções de maior desempenho apenas se as menores não forem adequadas às suas necessidades e ao tamanho e à complexidade do modelo. É fundamental seguir o princípio de privilégio mínimo, usando apenas os recursos necessários para executar seu fluxo de trabalho específico. Essa abordagem responsável garante o uso adequado de recursos no ambiente do Distributed Cloud.
- Escolha apenas soluções que tenham GPUs se você precisar delas para o modelo.
- Se o modelo exigir GPUs, considere o tipo de máquina
a2-highgpu-1g-gdc, a menor solução que fornece GPUs.
Modelo de caso do cluster Prediction
Use o modelo a seguir para enviar um e-mail ao IO. O e-mail abre um caso para criar o cluster de previsão necessário para previsões on-line.
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]