Apigee와 통합

Apigee와 Model Armor를 통합하여 AI 애플리케이션의 보안을 강화할 수 있습니다. AI 애플리케이션 앞에 Apigee를 API 게이트웨이로 사용하면 Model Armor의 기능을 사용하여 애플리케이션에 전송된 입력과 수신된 응답을 모두 검사하고 정리할 수 있습니다.

개요

Model Armor 정책을 Apigee API 프록시에 통합하여 AI 애플리케이션에 대한 제어 및 보호를 강화할 수 있습니다. 예를 들어 Apigee를 사용하여 토큰 수준 할당량을 적용하여 사용자 또는 애플리케이션을 일일 최대 토큰 수로 제한할 수 있습니다. 토큰 사용을 정밀하게 제어하려면 LLMTokenQuota 및 PromptTokenLimit를 사용하세요. 이러한 정책은 소비의 갑작스러운 급증을 방지하여 비용을 관리하고, 악용을 중지하고, 트래픽을 안정화하는 데 도움이 됩니다.

시작하기 전에

작동 방식

통합은 두 가지 기본 Apigee 정책을 사용합니다.

  • SanitizeUserPrompt: API 프록시의 요청 흐름에 이 정책을 추가합니다. 수신되는 모든 요청을 가로채서 AI 애플리케이션에 도달하기 전에 Model Armor로 전송하여 검사합니다. 자세한 내용은 SanitizeUserPrompt 정책을 참고하세요.
  • SanitizeModelResponse: 이 정책을 응답 흐름에 추가합니다. AI 애플리케이션의 응답을 가로채고 검사를 위해 Model Armor에 전송한 후 클라이언트에 응답을 전송합니다. 자세한 내용은 SanitizeModelResponse 정책을 참고하세요.

Model Armor는 활성 Model Armor 템플릿에 정의된 규칙에 따라 콘텐츠를 평가합니다. Apigee는 조사 결과와 설정된 시행 유형에 따라 요청 또는 응답을 허용, 차단 또는 수정합니다. 요청 또는 응답이 수정된 경우 흐름 변수를 사용하여 수정된 데이터를 추출하고 LLM에 전달합니다.

시작하려면 Apigee 콘솔에서 기본 제공 모델 아머가 적용된 프록시 프록시 템플릿을 사용하세요. 이 템플릿은 선택적 SanitizeUserPrompt 및 SanitizeModelResponse 구성을 자동으로 추가합니다.

Model Armor 정책으로 Apigee API 프록시 만들기

  1. API 프록시를 배포할 서비스 계정을 만듭니다.
  2. Apigee API 프록시를 만듭니다.
  3. SanitizeUserPrompt 및 SanitizeModelResponse XML 수정 Model Armor가 작동하려면 이러한 정책의 XML을 수정해야 합니다.
  4. API 프록시에 Google 인증 추가
  5. API 프록시를 배포합니다.
  6. Model Armor 정책 테스트

고려사항

Model Armor를 Apigee와 통합할 때는 다음 사항을 고려하세요.

  • 지역별 사용 가능 여부: 일부 지역에서는 Model Armor를 사용할 수 없습니다. Apigee와 Model Armor가 동일한 리전에 구성되어 있는지 확인합니다. Model Armor의 위치를 참고하세요.
  • Quota: 트래픽이 많은 경우 Model Armor의 할당량을 늘려야 할 수 있습니다. 조정을 요청하려면 할당량 조정 요청을 참고하세요. 기본 할당량보다 많은 할당량이 필요한 경우 Cloud Customer Care에 문의하세요. 다른 서비스와의 Model Armor 통합과 관련된 할당량에 관한 자세한 내용은 할당량 관리를 참고하세요.
  • 토큰 한도: 모델 Armor에는 프롬프트와 대답을 처리하기 위한 토큰 한도가 있으며, 이는 필터에 따라 다릅니다. 이러한 한도를 초과하는 콘텐츠는 완전히 검사되지 않을 수 있습니다.

구성 및 사용에 대한 자세한 내용은 Apigee Model Armor 정책 시작하기를 참고하세요.