Antes de poder implementar o seu primeiro cluster em clusters de preparação do Vertex AI, tem de configurar o seu projeto e ambiente doGoogle Cloud . Este guia aborda todos os pré-requisitos necessários, que se dividem em três categorias principais:
Acesso ao projeto: obter acesso ao serviço, que é apenas por convite.
Configuração de recursos: ativar APIs e configurar os serviços de rede e armazenamento de VPC necessários.
Autorizações do utilizador: conceder as funções de IAM necessárias para a gestão do cluster e o acesso aos recursos.
A conclusão destes passos prepara o seu projeto para uma implementação bem-sucedida.
Pré-requisitos
Para usar clusters de preparação, tem de:
- Adicione o seu projeto à lista de autorizações contactando o seu representante de vendas para obter acesso.
- Obtenha capacidade para clusters de GPU em regiões suportadas.
- Ative as APIs necessárias, incluindo as APIs Compute Engine, Filestore, Cloud Storage, Lustre gerido (opcional), Hypercomputer Configuration Service e Vertex AI.
- Configure a rede garantindo que uma rede existente cumpre condições específicas (por exemplo, acesso privado da Google, regras de firewall) ou criando uma nova rede VPC e uma sub-rede.
- Configure o armazenamento criando uma instância do Filestore zonal ou regional para servir como o diretório
/homee, opcionalmente, configurando uma Google Cloud instância do Lustre gerida. - Conceda autorizações de IAM aos utilizadores para a gestão de clusters, acesso ao armazenamento e acesso SSH aos nós do cluster, conforme descrito na secção Autorizações de IAM.
Regiões suportadas
us-central1us-east1us-east4us-east5us-south1us-west1us-west4asia-southeast1europe-west1europe-west4europe-north1
Autorizações de IAM
- Conceda a função de
roles/aiplatform.adminaos utilizadores que vão gerir os seus clusters de preparação. - Atribua a função
roles/aiplatform.vieweraos utilizadores que apenas precisam de ver os clusters e as respetivas configurações. Conceda as seguintes funções de IAM ao utilizador ou à conta de serviço que vai gerir (criar, eliminar e atualizar) clusters de preparação geridos:
Nome da Função ID da função Administrador de instâncias do Compute (v1) roles/compute.instanceAdmin.v1Escritor de registos roles/logging.logWriterEscritor de métricas de monitorização roles/monitoring.metricWriterUtilizador da conta de serviço roles/iam.serviceAccountUserAdministrador de Service Networking roles/servicenetworking.networksAdminPara permitir que os nós do cluster leiam e escrevam em contentores do Cloud Storage através do Google Cloud Storage FUSE, conceda a função de utilizador de objetos de armazenamento (
roles/storage.objectUser) à conta de serviço usada pelas VMs.Para o acesso SSH aos nós de início de sessão do Slurm, conceda as seguintes autorizações:
Autorizações Descrições Finalidade Início de sessão do SO Compute Inicie sessão numa VM como utilizador padrão (não administrador). Se precisar de sudo, use o Início de sessão de administrador do SO do Compute em alternativa.SSH para o nó de início de sessão implementado Utilizador do túnel protegido por IAP Aceder a recursos do túnel que usam o Identity-Aware Proxy. SSH para o nó de início de sessão implementado
Ativar APIs
Ative a API Google Compute Engine:
gcloud services enable compute.googleapis.comAtive a rede de serviços, uma vez que o Filestore tem de ser implementado antes de criar o cluster.
gcloud services enable servicenetworking.googleapis.comAtive a API Cloud Storage:
gcloud services enable storage.googleapis.comAtive a API Lustre (se estiver a usar o Lustre):
gcloud services enable lustre.googleapis.comAtive a API HCS:
gcloud services enable hypercomputecluster.googleapis.comAtive a API Vertex AI:
gcloud services enable aiplatform.googleapis.comAtive a API Cloud Resource Manager:
gcloud services enable cloudresourcemanager.googleapis.com
O que se segue?
Para um guia detalhado sobre como criar um cluster de preparação e executar as suas cargas de trabalho de IA/ML, contacte o seu representante de vendas.