O dispositivo isolado da Vertex AI no Google Distributed Cloud (GDC) traz o poder de uma plataforma de machine learning (ML) e inteligência artificial (IA) para seu dispositivo portátil seguro. O dispositivo isolado do GDC oferece acesso a um conjunto selecionado de APIs pré-treinadas da Vertex AI, permitindo recursos de IA na sua solução de nuvem privada.
Principais recursos
A Vertex AI no dispositivo isolado do GDC oferece os seguintes recursos:
- Implantação isolada: execute os serviços da Vertex AI totalmente no seu dispositivo portátil, garantindo a soberania e a conformidade dos dados.
- Experiência familiar da Vertex AI: aproveite as mesmas ferramentas e APIs do Google Cloud, simplificando o desenvolvimento e o gerenciamento.
- Modelos e algoritmos pré-criados: acesse uma variedade de modelos pré-treinados para tarefas comuns de machine learning, acelerando seu tempo de retorno.
Serviços disponíveis
A Vertex AI no dispositivo isolado do GDC oferece os seguintes serviços pré-treinados:
- Reconhecimento óptico de caracteres (OCR): extrai texto de imagens e arquivos.
- Speech-to-Text: converte a linguagem falada em texto escrito.
- Vertex AI Translation: traduza texto entre vários idiomas.
Planejamento de capacidade e requisitos de computação
Cada serviço da Vertex AI exige recursos de computação diferentes. A tabela a seguir mostra os requisitos de cada modelo pré-treinado:
| API pré-treinada | Recursos de computação | Requisitos de contagem de GPU | Requisitos de memória da GPU |
|---|---|---|---|
| Reconhecimento ótico de caracteres (OCR) | GPU | Uma única GPU A100 de 80 GB | 40 GB |
| Speech-to-Text | CPU | Não aplicável (somente CPU) | Não aplicável (somente CPU) |
| Vertex AI Translation | GPU | Uma única GPU A100 de 80 GB | 50 GB |
O dispositivo isolado do GDC inclui uma única GPU NVIDIA A100 de 80 GB. Isso limita o dispositivo a executar apenas uma API pré-treinada da Vertex AI dependente de GPU por vez. Se você tentar ativar a Vertex AI Translation e o OCR, a segunda API não será ativada e vai mostrar uma mensagem de erro indicando recursos de GPU insuficientes. No entanto, é possível executar Speech-to-Text com a tradução da Vertex AI ou o OCR, já que o Speech-to-Text só exige recursos de CPU.
Para ajudar você a determinar o número de unidades de appliance necessárias para suas cargas de trabalho de IA/ML, consulte os seguintes limites de capacidade para cada API pré-treinada da Vertex AI:
| API pré-treinada | Capacidade por unidade do appliance |
|---|---|
| Reconhecimento ótico de caracteres (OCR) | Até 30 imagens por minuto (uma imagem a cada dois segundos). |
| Speech-to-Text | Até sete minutos de áudio transcritos por minuto (sete segundos de áudio transcritos por segundo). |
| Vertex AI Translation | Até 61.000 caracteres por minuto (1.024 caracteres por segundo). |
Ao planejar a implantação, considere as seguintes orientações:
Os limites de capacidade são aproximados e não garantidos. A capacidade real pode variar dependendo de fatores como:
- Complexidade dos dados de entrada (por exemplo, idioma para tradução, qualidade da imagem para OCR e clareza do áudio para Speech-to-Text).
- Configuração específica do appliance.
- Uso simultâneo de outros serviços no dispositivo.
Apenas uma API que exige muito da GPU (Vertex AI Translation ou OCR) pode estar ativa por vez, porque o appliance isolado do GDC é limitado a uma única GPU A100 de 80 GB.
Estime seu uso máximo e o possível crescimento futuro.
Para cargas de trabalho exigentes que precisam de maior capacidade de processamento, considere implantar várias unidades do appliance.
A tabela a seguir descreve os requisitos de armazenamento para cada serviço da Vertex AI no dispositivo isolado do GDC:
| Componente | Requisitos de armazenamento |
|---|---|
| Front-end de OCR | 0,1 GB |
| Back-end de OCR | 5 GB |
| Extrator de OCR | 0,1 GB |
| Front-end do Speech-to-Text | 0,1 GB |
| Back-end da Speech-to-Text | 1,5 GB |
| Front-end da Vertex AI Translation | 0,7 GB |
| Back-end da Vertex AI Translation | 61,4 GB |
Verifique se o dispositivo tem capacidade de armazenamento suficiente para acomodar os serviços da Vertex AI que você pretende usar.
Vantagens
O appliance isolado da Vertex AI no GDC oferece os seguintes benefícios:
- Experiência de desenvolvimento perfeita: use as mesmas ferramentas, APIs e fluxos de trabalho da Vertex AI no Google Cloud, tornando o desenvolvimento e o gerenciamento intuitivos e eficientes.
- Segurança e privacidade aprimoradas: mantenha o controle total dos seus dados e cumpra os requisitos regulamentares.
- Tempo de valorização acelerado: use modelos pré-treinados para tarefas comuns de machine learning.
- MLOps simplificadas: aproveite recursos robustos de operação de machine learning para integrações de IA perfeitas no seu ambiente isolado.
Primeiros passos
Para começar a usar a Vertex AI no dispositivo isolado do GDC, faça o seguinte:
- Saiba mais sobre os papéis e permissões essenciais para os serviços disponíveis.
- Configure um projeto para suas cargas de trabalho de IA e machine learning.
- Provisione GPUs e ative os serviços da Vertex AI.
- Instale as bibliotecas de cliente da Vertex AI.