A Vertex AI no dispositivo com isolamento físico do Google Distributed Cloud (GDC) permite executar cargas de trabalho de machine learning (ML) e inteligência artificial (IA) em um dispositivo portátil seguro. O dispositivo fornece acesso a um conjunto selecionado de APIs pré-treinadas para que você possa integrar o reconhecimento de fala, tradução e texto à sua solução de nuvem particular.
Principais recursos
A Vertex AI no dispositivo GDC com isolamento físico oferece os seguintes recursos:
- Implantação com isolamento físico: execute os serviços da Vertex AI inteiramente no seu dispositivo portátil, garantindo a soberania de dados e a conformidade.
- Experiência familiar da Vertex AI: aproveite as mesmas ferramentas e APIs do Google Cloud, simplificando o desenvolvimento e o gerenciamento.
- Modelos e algoritmos pré-criados: acesse uma variedade de modelos pré-treinados para tarefas comuns de machine learning, acelerando o tempo de retorno do valor.
Serviços disponíveis
A Vertex AI no dispositivo GDC com isolamento físico oferece os seguintes serviços pré-treinados:
- Reconhecimento óptico de caracteres (OCR): extraia texto de imagens e arquivos.
- Speech-to-Text: converta linguagem falada em texto escrito.
- Vertex AI Translation: traduza textos entre vários idiomas.
Planejamento de capacidade e requisitos de computação
Cada serviço da Vertex AI requer recursos de computação diferentes. A tabela a seguir mostra os requisitos de cada modelo pré-treinado:
| API pré-treinada | Recursos de computação | Requisitos de contagem de GPUs | Requisitos de memória da GPU |
|---|---|---|---|
| Reconhecimento ótico de caracteres (OCR) | GPU | Uma única GPU A100 de 80 GB | 40 GB |
| Speech-to-Text | CPU | Não relevante (somente CPU) | Não relevante (somente CPU) |
| Vertex AI Translation | GPU | Uma única GPU A100 de 80 GB | 50 GB |
O dispositivo GDC com isolamento físico inclui uma única GPU NVIDIA A100 de 80 GB. Isso limita o dispositivo a executar apenas uma API pré-treinada da Vertex AI dependente de GPU por vez. Se você tentar ativar a Vertex AI Translation e o OCR, a segunda API não será ativada e uma mensagem de erro indicando recursos de GPU insuficientes será exibida. No entanto, é possível executar a Speech-to-Text com a Vertex AI Translation ou o OCR, já que a Speech-to-Text só requer recursos de CPU.
Para determinar o número de unidades de dispositivo necessárias para suas cargas de trabalho de IA/ML, confira os seguintes limites de capacidade para cada API pré-treinada da Vertex AI:
| API pré-treinada | Capacidade por unidade de dispositivo |
|---|---|
| Reconhecimento ótico de caracteres (OCR) | Até 30 imagens por minuto (uma imagem a cada dois segundos). |
| Speech-to-Text | Até sete minutos de áudio transcritos por minuto (sete segundos de áudio transcritos por segundo). |
| Vertex AI Translation | Até 61.000 caracteres por minuto (1.024 caracteres por segundo). |
Ao planejar sua implantação, considere as seguintes orientações:
Os limites de capacidade são aproximados e não garantidos. A capacidade real pode variar de acordo com fatores como:
- Complexidade dos dados de entrada (por exemplo, idioma para tradução, qualidade da imagem para OCR e clareza do áudio para Speech-to-Text).
- Configuração específica do dispositivo.
- Uso simultâneo de outros serviços no dispositivo.
Apenas uma API com uso intensivo de GPU (Vertex AI Translation ou OCR) pode ficar ativa por vez, porque o dispositivo GDC com isolamento físico é limitado a uma única GPU A100 de 80 GB.
Estime o pico de uso e o possível crescimento futuro.
Para cargas de trabalho exigentes que exigem maior capacidade de processamento, considere implantar várias unidades de dispositivo.
A tabela a seguir descreve os requisitos de armazenamento para cada serviço da Vertex AI no dispositivo GDC com isolamento físico:
| Componente | Requisitos de armazenamento |
|---|---|
| Front-end de OCR | 0,1 GB |
| Back-end de OCR | 5 GB |
| Extrator de OCR | 0,1 GB |
| Front-end da Speech-to-Text | 0,1 GB |
| Back-end da Speech-to-Text | 1,5 GB |
| Front-end da Vertex AI Translation | 0,7 GB |
| Back-end da Vertex AI Translation | 61,4 GB |
Verifique se o dispositivo tem capacidade de armazenamento suficiente para acomodar os serviços da Vertex AI que você pretende usar.
Vantagens
A Vertex AI no dispositivo GDC com isolamento físico oferece os seguintes benefícios:
- Experiência de desenvolvimento integrada: use as mesmas ferramentas, APIs e fluxos de trabalho da Vertex AI no Google Cloud, tornando o desenvolvimento e o gerenciamento intuitivos e eficientes.
- Segurança e privacidade aprimoradas: mantenha o controle total sobre seus dados e obedeça aos requisitos regulatórios.
- Tempo de retorno acelerado: use modelos pré-treinados para tarefas comuns de machine learning.
- MLOps simplificadas: aproveite os recursos robustos de operação de machine learning para integrações de IA perfeitas no seu ambiente com isolamento físico.
Primeiros passos
Para começar a usar a Vertex AI no dispositivo GDC com isolamento físico, faça o seguinte:
- Aprenda Mais sobre os papéis e as permissões essenciais para os serviços disponíveis.
- Configure um projeto para suas cargas de trabalho de IA e machine learning.
- Provisione GPUs e ative os serviços da Vertex AI.
- Instale as bibliotecas de cliente da Vertex AI.