Model Armor는 Google Cloud 네트워킹 서비스와 통합되어 네트워크 수준에서 AI 애플리케이션에 인라인 보안을 제공합니다. 이 통합을 통해 Model Armor는 애플리케이션 코드 자체를 수정하지 않고도 프롬프트와 응답을 검사하고 필터링할 수 있습니다.
이 통합의 메커니즘은 Service Extensions을 통하는 것입니다. Service Extensions를 사용하면 Model Armor의 보안 검사와 같은 커스텀 로직을 다양한Google Cloud 네트워킹 서비스의 데이터 경로에 연결할 수 있습니다.
시작하기 전에
모든 기본 요건을 충족했는지 확인합니다.
통합 지점
Model Armor는 다음 네트워킹 서비스와 통합됩니다.
| 네트워킹 서비스 | 설명 | 참조 |
|---|---|---|
| Cloud Load Balancing | Service Extensions와 함께 Model Armor를 사용하여 레이어 7 부하 분산기를 통과하는 트래픽을 필터링합니다. 이는 LLM을 활용하는 웹 애플리케이션과 API를 보호하는 데 유용합니다. | 트래픽 확장 프로그램 구성으로 Model Armor 서비스 호출하기 |
| GKE Inference Gateway | Google Kubernetes Engine에서 실행되는 컨테이너화된 AI 애플리케이션 또는 LLM의 경우 GKE Inference Gateway와 연결된 Service Extensions와 함께 Model Armor를 사용하여 GKE 클러스터에 들어가거나 나가는 트래픽에 대한 정책을 검사하고 적용합니다. | GKE Inference Gateway를 사용하여 AI 보안 및 안전 검사 구성 |
| Secure Web Proxy | Secure Web Proxy와 함께 Model Armor를 사용하여 VPC에서 AI 애플리케이션, MCP 서버 또는 LLM으로의 이그레스 트래픽을 검사하고 보호합니다. | 트래픽 확장 프로그램 구성 |
작동 방식
Service Extensions를 사용하면 Google Cloud 네트워킹 제품이 데이터가 전송되는 동안 Model Armor를 호출할 수 있습니다.
- AI 애플리케이션, MCP 서버 또는 모델로 향하거나 모델에서 오는 트래픽이 구성된 네트워크 서비스(예: 부하 분산기)를 통과하면 Service Extensions는 검사를 위해 요청 또는 응답 콘텐츠를 Model Armor로 전달합니다.
- Model Armor는 미리 구성된 템플릿 설정을 기반으로 필터 집합을 적용합니다. 이러한 필터는 프롬프트 인젝션, 탈옥 감지 시도, 민감한 정보 유출, 악성 URL, 증오심 표현 및 괴롭힘과 같은 유해하거나 부적절한 콘텐츠를 식별하고 차단할 수 있습니다.
- Model Armor는 검사 결과와 정책에 따라 네트워킹 서비스에 트래픽을 허용, 차단 또는 수정하도록 지시하여 안전하고 규정을 준수하는 상호작용만 AI 애플리케이션, MCP 서버 또는 모델에 도달하거나 모델에서 나갈 수 있도록 합니다.