O dispositivo isolado do Vertex AI no Google Distributed Cloud (GDC) oferece o poder de uma plataforma de aprendizagem automática (AA) e inteligência artificial (IA) ao seu dispositivo portátil seguro. O dispositivo isolado do GDC oferece acesso a um conjunto selecionado de APIs Vertex AI pré-treinadas, o que permite capacidades de IA na sua solução de nuvem privada.
Funcionalidades principais
O Vertex AI no dispositivo isolado do GDC oferece-lhe as seguintes funcionalidades:
- Implementação com lacuna de ar: execute os serviços da Vertex AI totalmente no seu dispositivo portátil, garantindo a soberania e a conformidade dos dados.
- Experiência familiar do Vertex AI: tire partido das mesmas ferramentas e APIs do Google Cloud, simplificando o desenvolvimento e a gestão.
- Modelos e algoritmos pré-criados: aceda a uma variedade de modelos pré-preparados para tarefas comuns de aprendizagem automática, o que acelera o tempo de obtenção de valor.
Serviços disponíveis
O Vertex AI no dispositivo isolado do GDC oferece os seguintes serviços pré-preparados:
- Reconhecimento ótico de carateres (OCR): Extraia texto de imagens e ficheiros.
- Conversão de voz em texto: converta o idioma falado em texto escrito.
- Vertex AI Translation: Traduza texto entre vários idiomas.
Planeamento de capacidade e requisitos de computação
Cada serviço da Vertex AI requer recursos de computação diferentes. A tabela seguinte apresenta os requisitos para cada modelo pré-treinado:
| API pré-preparada | Recursos de computação | Requisitos de contagem de GPUs | Requisitos de memória da GPU |
|---|---|---|---|
| Reconhecimento ótico de carateres (OCR) | GPU | Uma única GPU A100 de 80 GB | 40 GB |
| Conversão de voz em texto | CPU | Não aplicável (apenas CPU) | Não aplicável (apenas CPU) |
| Vertex AI Translation | GPU | Uma única GPU A100 de 80 GB | 50 GB |
O dispositivo isolado do GDC inclui uma única GPU NVIDIA A100 de 80 GB. Isto limita o dispositivo a executar apenas uma API pré-treinada do Vertex AI dependente da GPU de cada vez. Se tentar ativar a Vertex AI Translation e o OCR, a segunda API não é ativada e é apresentada uma mensagem de erro a indicar recursos de GPU insuficientes. No entanto, pode executar o serviço Speech-to-Text juntamente com o Vertex AI Translation ou o OCR, uma vez que o Speech-to-Text só requer recursos da CPU.
Para ajudar a determinar o número de unidades de dispositivos necessárias para as suas cargas de trabalho de IA/ML, reveja os seguintes limites de capacidade para cada API pré-treinada do Vertex AI:
| API pré-preparada | Capacidade por unidade de eletrodoméstico |
|---|---|
| Reconhecimento ótico de carateres (OCR) | Até 30 imagens por minuto (uma imagem a cada dois segundos). |
| Conversão de voz em texto | Até sete minutos de áudio transcritos por minuto (sete segundos de áudio transcritos por segundo). |
| Vertex AI Translation | Até 61 000 carateres por minuto (1024 carateres por segundo). |
Quando planear a implementação, considere as seguintes orientações:
Os limites de capacidade são aproximados e não garantidos. A capacidade real pode variar consoante fatores como os seguintes:
- Complexidade dos dados de entrada (por exemplo, idioma para tradução, qualidade da imagem para OCR e clareza do áudio para conversão de voz em texto).
- Configuração específica do aparelho.
- Utilização simultânea de outros serviços no dispositivo.
Só é possível ter uma API com utilização intensiva da GPU (Vertex AI Translation ou OCR) ativa de cada vez, porque o dispositivo isolado do GDC está limitado a uma única GPU A100 de 80 GB.
Estime a sua utilização máxima e o potencial crescimento futuro.
Para cargas de trabalho exigentes que requerem um débito mais elevado, considere implementar várias unidades de dispositivos.
A tabela seguinte descreve os requisitos de armazenamento para cada serviço do Vertex AI no dispositivo isolado da GDC:
| Componente | Requisitos de armazenamento |
|---|---|
| Interface de OCR | 0,1 GB |
| Back-end de OCR | 5 GB |
| Extrator de OCR | 0,1 GB |
| Front-end da conversão de voz em texto | 0,1 GB |
| Backend da conversão de voz em texto | 1,5 GB |
| Frontend do Vertex AI Translation | 0,7 GB |
| Back-end do Vertex AI Translation | 61,4 GB |
Certifique-se de que o seu dispositivo tem capacidade de armazenamento suficiente para acomodar os serviços do Vertex AI que pretende usar.
Vantagens
O Vertex AI no dispositivo isolado do GDC oferece as seguintes vantagens:
- Experiência de desenvolvimento integrada: use as mesmas ferramentas, APIs e fluxos de trabalho do Vertex AI no Google Cloud, o que torna o desenvolvimento e a gestão intuitivos e eficientes.
- Segurança e privacidade melhoradas: mantenha o controlo total sobre os seus dados e cumpra os requisitos regulamentares.
- Tempo de rentabilização acelerado: use modelos pré-preparados para tarefas comuns de aprendizagem automática.
- MLOps simplificados: tire partido de capacidades robustas de operações de aprendizagem automática para integrações de IA perfeitas no seu ambiente isolado.
Começar
Para começar a usar o Vertex AI no dispositivo isolado do GDC, faça o seguinte:
- Saiba mais sobre as funções e as autorizações essenciais para os serviços disponíveis.
- Configure um projeto para as suas cargas de trabalho de IA e aprendizagem automática.
- Aprovisione GPUs e ative os serviços do Vertex AI.
- Instale as bibliotecas cliente da Vertex AI.