Google Distributed Cloud (GDC) 에어 갭 어플라이언스의 Vertex AI를 사용하면 안전한 휴대용 기기에서 머신러닝 (ML) 및 인공지능 (AI) 워크로드를 실행할 수 있습니다. 어플라이언스는 사전 학습된 API의 일부 집합에 대한 액세스를 제공하므로 음성, 번역, 텍스트 인식을 프라이빗 클라우드 솔루션에 통합할 수 있습니다.
주요 특징
GDC 에어 갭 어플라이언스의 Vertex AI는 다음과 같은 기능을 제공합니다.
- 에어 갭 배포: Vertex AI 서비스를 휴대용 기기 내에서 완전히 실행하여 데이터 주권과 규정 준수를 보장합니다.
- 익숙한 Vertex AI 환경: Google Cloud의 동일한 도구와 API를 활용하여 개발 및 관리를 간소화합니다.
- 사전 빌드된 모델 및 알고리즘: 일반적인 머신러닝 작업을 위해 사전 학습된 다양한 모델에 액세스하여 가치 실현 시간을 단축할 수 있습니다.
사용 가능한 서비스
GDC 에어 갭 어플라이언스의 Vertex AI는 다음과 같은 선행 학습된 서비스를 제공합니다.
- 광학 문자 인식 (OCR): 이미지 및 파일에서 텍스트를 추출합니다.
- Speech-to-Text: 음성 언어를 서면 텍스트로 변환합니다.
- Vertex AI Translation: 여러 언어 간에 텍스트를 번역합니다.
용량 계획 및 컴퓨팅 요구사항
각 Vertex AI 서비스에는 서로 다른 컴퓨팅 리소스가 필요합니다. 다음 표에는 각 사전 학습 모델의 요구사항이 나와 있습니다.
| 선행 학습된 API | 컴퓨팅 리소스 | GPU 수 요구사항 | GPU 메모리 요구사항 |
|---|---|---|---|
| 광학 문자 인식(OCR) | GPU | 단일 A100 80GB GPU | 40 GB |
| Speech-to-Text | CPU | 해당 사항 없음 (CPU만 해당) | 해당 사항 없음 (CPU만 해당) |
| Vertex AI Translation | GPU | 단일 A100 80GB GPU | 50GB |
GDC 에어 갭 어플라이언스에는 단일 NVIDIA A100 80GB GPU가 포함되어 있습니다. 이렇게 하면 기기가 한 번에 하나의 GPU 종속 Vertex AI 선행 학습된 API만 실행하도록 제한됩니다. Vertex AI Translation과 OCR을 모두 사용 설정하려고 하면 두 번째 API가 사용 설정되지 않고 GPU 리소스가 부족하다는 오류 메시지가 표시됩니다. 하지만 Speech-to-Text는 CPU 리소스만 필요하므로 Vertex AI Translation 또는 OCR과 함께 Speech-to-Text를 실행할 수 있습니다.
AI/ML 워크로드에 필요한 어플라이언스 단위 수를 결정하려면 각 Vertex AI 선행 학습된 API의 다음 용량 한도를 검토하세요.
| 선행 학습된 API | 어플라이언스 단위당 용량 |
|---|---|
| 광학 문자 인식(OCR) | 분당 최대 30개의 이미지 (2초마다 이미지 1개) |
| Speech-to-Text | 분당 최대 7분의 오디오 스크립트 작성 (초당 7초의 오디오 스크립트 작성) |
| Vertex AI Translation | 분당 최대 61,000자(영문 기준)(초당 1,024자(영문 기준)) |
배포를 계획할 때는 다음 안내를 고려하세요.
용량 한도는 대략적인 수치이며 보장되지 않습니다. 실제 용량은 다음과 같은 요인에 따라 달라질 수 있습니다.
- 입력 데이터의 복잡성 (예: 번역 언어, OCR의 이미지 품질, Speech-to-Text의 오디오 선명도)
- 어플라이언스의 특정 구성입니다.
- 어플라이언스에서 다른 서비스를 동시에 사용합니다.
GDC 에어 갭 어플라이언스는 단일 A100 80GB GPU로 제한되므로 한 번에 하나의 GPU 집약적 API (Vertex AI Translation 또는 OCR)만 활성화할 수 있습니다.
최대 사용량과 향후 성장 가능성을 추정합니다.
더 높은 처리량이 필요한 까다로운 워크로드의 경우 여러 어플라이언스 단위를 배포하는 것이 좋습니다.
다음 표에는 GDC 에어 갭 어플라이언스의 각 Vertex AI 서비스에 대한 스토리지 요구사항이 요약되어 있습니다.
| 구성요소 | 스토리지 요구사항 |
|---|---|
| OCR 프런트엔드 | 0.1 GB |
| OCR 백엔드 | 5GB |
| OCR 추출기 | 0.1 GB |
| Speech-to-Text 프런트엔드 | 0.1 GB |
| Speech-to-Text 백엔드 | 1.5GB |
| Vertex AI Translation 프런트엔드 | 0.7 GB |
| Vertex AI Translation 백엔드 | 61.4 GB |
어플라이언스에 사용하려는 Vertex AI 서비스를 수용할 수 있는 충분한 스토리지 용량이 있는지 확인합니다.
이점
GDC 에어 갭 어플라이언스의 Vertex AI는 다음과 같은 이점을 제공합니다.
- 원활한 개발 환경: Google Cloud에서 Vertex AI의 동일한 도구, API, 워크플로를 사용하여 개발 및 관리를 직관적이고 효율적으로 수행할 수 있습니다.
- 보안 및 개인 정보 보호 강화: 데이터를 완벽하게 제어하고 규제 요구사항을 준수합니다.
- 가치 실현 시간 단축: 일반적인 머신러닝 작업에 사전 학습된 모델을 사용합니다.
- 간소화된 MLOps: 에어 갭 환경 내에서 원활한 AI 통합을 위한 강력한 머신러닝 작업 기능을 활용합니다.
시작하기
GDC 에어 갭 어플라이언스에서 Vertex AI를 시작하려면 다음을 수행합니다.
- 사용 가능한 서비스의 필수 역할 및 권한에 대해 알아보기
- AI 및 머신러닝 워크로드용 프로젝트를 설정합니다.
- GPU를 프로비저닝하고 Vertex AI 서비스를 사용 설정합니다.
- Vertex AI 클라이언트 라이브러리를 설치합니다.