Apigee와 Model Armor 통합

Model Armor를 Apigee와 통합하여 AI 애플리케이션의 보안을 강화할 수 있습니다. AI 애플리케이션 앞에 Apigee를 API 게이트웨이로 사용하면 Model Armor의 기능을 사용하여 애플리케이션으로 전송된 입력과 수신된 응답을 모두 검사하고 정리할 수 있습니다.

개요

Model Armor 정책을 Apigee API 프록시에 통합하여 AI 애플리케이션에 대한 향상된 제어 및 보호를 제공할 수 있습니다. 예를 들어 Apigee를 사용하여 토큰 수준 할당량을 적용하여 사용자 또는 애플리케이션을 하루 최대 토큰 수로 제한할 수 있습니다. 토큰 사용량을 정밀하게 제어하려면 LLMTokenQuota 및 PromptTokenLimit 를 사용하세요. 이러한 정책은 소비의 갑작스러운 급증을 방지하여 비용을 관리하고, 악용을 중지하고, 트래픽을 안정화하는 데 도움이 됩니다.

제한사항

Model Armor를 Apigee와 통합할 때는 다음 제한사항을 고려하세요.

  • 리전별 사용 가능 여부: Model Armor는 일부 리전에서만 사용할 수 있습니다. Apigee와 Model Armor가 동일한 리전에 구성되어 있는지 확인합니다. Model Armor의 위치를 참고하세요.
  • Quota: 트래픽이 많은 경우 Model Armor 의 할당량을 늘려야 할 수 있습니다. 조정을 요청하려면 할당량 조정 요청을 참고하세요. 기본 할당량보다 더 많은 할당량이 필요한 경우 Cloud Customer Care에 문의하세요. 다른 서비스와의 Model Armor 통합과 관련된 할당량에 대한 자세한 내용은 할당량 관리를 참고하세요.
  • 토큰 한도: Model Armor에는 토큰 한도 가 있으며, 이는 필터에 따라 다릅니다. 이러한 한도를 초과하는 콘텐츠는 완전히 검사되지 않을 수 있습니다.

시작하기 전에

작동 방식

통합은 두 가지 주요 Apigee 정책을 사용합니다.

  • SanitizeUserPrompt: 이 정책을 API 프록시의 요청 흐름에 추가합니다. AI 애플리케이션에 도달하기 전에 모든 수신 요청을 가로채서 검사를 위해 Model Armor로 보냅니다. 자세한 내용은 SanitizeUserPrompt 정책을 참고하세요.
  • SanitizeModelResponse: 이 정책을 응답 흐름에 추가합니다. AI 애플리케이션의 응답을 가로채서 클라이언트에 응답을 보내기 전에 검사를 위해 Model Armor로 보냅니다. 자세한 내용은 SanitizeModelResponse 정책을 참고하세요.

Model Armor는 활성 Model Armor 템플릿에 정의된 규칙에 따라 콘텐츠를 평가합니다. Apigee는 발견 결과와 설정된 적용 유형에 따라 요청 또는 응답을 허용, 차단 또는 수정합니다. 요청 또는 응답이 수정된 경우 흐름 변수 를 사용하여 수정된 데이터를 추출하고 LLM에 전달합니다.

시작하려면 Apigee 콘솔에서 기본 제공 Model Armor가 포함된 프록시 프록시 템플릿을 사용하세요. 이 템플릿은 선택적 SanitizeUserPrompt 및 SanitizeModelResponse 구성을 자동으로 추가합니다.

Model Armor 정책으로 Apigee API 프록시 만들기

  1. API 프록시를 배포할 서비스 계정을 만듭니다.
  2. Apigee API 프록시를 만듭니다.
  3. SanitizeUserPrompt 및 SanitizeModelResponse XML을 수정합니다. Model Armor가 작동하려면 이러한 정책의 XML을 수정해야 합니다.
  4. API 프록시에 Google 인증을 추가합니다.
  5. API 프록시를 배포합니다.
  6. Model Armor 정책을 테스트합니다.

구성 및 사용에 대한 자세한 내용은 Apigee Model Armor 정책 시작하기를 참고하세요.