Model Armor는 AI 애플리케이션, 특히 대규모 언어 모델 (LLM)을 사용하는 애플리케이션의 보안과 안전을 강화하도록 설계된 Google Cloud 서비스입니다. 모델에 전송된 프롬프트와 모델에서 생성된 대답을 검사하여 위험을 완화하고 책임감 있는 AI 관행을 시행할 수 있도록 지원합니다.
템플릿 구성
Model Armor 템플릿을 만들고 사용하여 Model Armor가 콘텐츠를 검사하는 방식을 정의합니다. 템플릿은 사용 설정할 필터, 필터의 신뢰도 수준, 각 필터의 시행 유형을 지정하는 재사용 가능한 구성 세트입니다. 자세한 내용은 템플릿 만들기 및 관리를 참고하세요.
최소 기준 설정 구성
보안 관리자는 기본 보호 수준을 보장하기 위해 조직, 폴더 또는 프로젝트 수준에서 최소 기준 설정을 구성할 수 있습니다. 이러한 설정은 해당 범위 내에서 생성된 모든 Model Armor 템플릿이 준수해야 하는 최소 필터 요구사항을 의무화하여 지나치게 허용적인 구성을 방지하는 데 도움이 됩니다. 자세한 내용은 최소 기준 설정 구성을 참고하세요.
프롬프트 및 대답 정리
사용자가 애플리케이션에 프롬프트를 제출하면 애플리케이션은 먼저 이 프롬프트를 Model Armor에 전송합니다. Model Armor는 템플릿에서 사용 설정된 필터를 통해 프롬프트를 처리하고 정책 위반이 발견되었는지 여부와 각 필터의 자세한 결과를 나타내는 응답을 반환합니다. 그러면 애플리케이션 로직에서 다음 작업을 결정합니다.
LLM이 대답을 생성하면 애플리케이션은 이 대답을 사용자에게 표시하기 전에 Model Armor로 전송합니다. Model Armor는 템플릿에 정의된 필터 구성을 사용하여 LLM 출력을 검사하고 분석 결과를 반환합니다. 그러면 애플리케이션에서 사용자에게 응답을 표시할지 결정하고, 위반사항이 발견되면 차단할 수 있습니다.
자세한 내용은 프롬프트 및 응답 정리를 참고하세요.