가드레일

가드레일은 에이전트 애플리케이션을 보호하고 안전하게 유지하는 데 도움이 되는 일련의 견제와 균형입니다. 모델 입력과 모델 출력 모두에 콘텐츠 제한을 제공합니다. 각 에이전트 애플리케이션에는 기본 가드레일이 제공되며, 필요에 따라 수정할 수 있습니다. 에이전트 애플리케이션의 가드레일에 액세스하려면 에이전트 빌더의 오른쪽에 있는 가드레일 버튼을 클릭합니다.

결과

각 가드레일 유형에는 결과 설정이 포함되어 있습니다. 가드가 트리거될 경우의 동작을 제어합니다. 다음 유형의 작업 중에서 선택할 수 있습니다.

  • 정확하게 말하기: 상담사의 정확한 대답을 제공합니다.

  • 상담사에게 전달: 특정 상담사에게 제어권을 전환합니다.

  • 대답 생성: 대답을 생성하는 방법을 안내합니다. 기본값이 제공되며 이를 재정의하여 맞춤설정할 수 있습니다.

프롬프트 가드

프롬프트 가드는 '안내를 무시하고 …'과 같은 프롬프트 기반 공격에 대한 기본적인 보호를 제공합니다. 다음 설정을 사용할 수 있습니다.

  • 프롬프트 가드 사용 설정: 프롬프트 카드를 사용 설정하거나 사용 중지합니다.
  • 결과: 결과 참고
  • 맞춤: 필터링 질문에 대한 맞춤 보안 프롬프트를 제공합니다.

차단 목록

차단 목록을 사용하면 사용자와 에이전트가 특정 단어와 구문을 사용하지 못합니다. 목록을 만들 때 다음 설정을 사용할 수 있습니다.

  • 에이전트가 차단된 콘텐츠와 어떻게 일치해야 하나요?: 이렇게 하면 일치 방법을 선택할 수 있습니다.
    • 전체 단어: 전체 단어와 일치합니다.
    • 모든 멘션: 단어와 구문이 포함된 콘텐츠와 일치합니다.
    • 정규식 패턴: 정규 표현식과 일치합니다.
  • 단어 및 구문 차단: 차단된 단어 및 구문의 목록입니다. 각 항목은 쉼표로 구분됩니다.
  • 차단된 콘텐츠: 다음 중 하나 또는 둘 다의 콘텐츠를 차단합니다.
    • 사용자 입력 시
    • 상담사 대답
  • 결과: 결과 참고
  • 세부정보: 이 차단 목록의 이름과 설명(선택사항)을 입력합니다.

안전

이는 책임감 있는 AI 개발 관행을 시행하는 가이드라인입니다. 사용 가능한 설정은 다음과 같습니다.

  • 안전 수준: 안전 수준을 선택합니다.
    • Relaxed: 유연한 생성과 짧은 지연 시간을 우선시합니다. 불법적이거나 유해한 프롬프트와는 상호작용하지 마세요. 항상 명시적으로 유해한 콘텐츠를 차단합니다.
    • 균형: 고객과의 안전하고 자연스러운 상호작용을 우선시합니다. 항상 안전하지 않은 콘텐츠를 차단합니다. 유해한 프롬프트와 상호작용하지 마세요.
    • 엄격: 심각한 피해 필터링을 우선시합니다. 민감한 요소가 포함된 생성된 콘텐츠는 절대 허용하지 마세요. 항상 유해한 프롬프트에 반박하세요.
  • 결과: 결과 참고
  • 맞춤: 특정 안전 가드레일 안전 수준을 개별적으로 조정하거나 사용 중지합니다.

규칙

규칙을 사용하여 자체 가드레일을 빌드합니다. 사용 가능한 설정은 다음과 같습니다.

  • 행동: 다음 중 하나를 선택하여 규칙을 정의합니다.
    • 자연어: 자연어 지침을 제공합니다.
    • 코드: after_model_callback 콜백의 코드를 제공합니다.
  • 결과: 결과 참고
  • 세부정보: 이 규칙의 이름과 설명(선택사항)을 입력합니다.

감독자 에이전트

현재 최종 사용자와 상호작용 중인 활성 상담사의 실적을 모니터링하는 감독자 상담사를 구성할 수 있습니다. 감독자 에이전트는 활성 에이전트가 도구를 올바르게 호출하고 양호한 음질을 유지하는지 확인합니다. 감독자 상담사가 문제를 감지하면 다른 가이드라인과 마찬가지로 결과가 트리거될 수 있습니다.

모니터링 대시보드에서 감독자 에이전트 트리거 이벤트를 확인할 수도 있습니다.

다음 감독자 에이전트를 구성할 수 있습니다.

  • 음질 감독자: 음질을 모니터링하며 다음 설정이 포함됩니다.

    • 이름: 감독자 상담사 이름입니다.
    • 참고: 선택사항인 참고사항입니다.
    • 감지 모드: 차단 (감독자 에이전트가 평가를 완료할 때까지 활성 에이전트 응답이 차단됨) 또는 비차단 (감독자 에이전트가 계속 평가하는 동안 활성 에이전트가 진행됨)

    • 문제 유형: 다음 문제 유형 중 하나를 선택합니다.

      • 오디오 불일치: 생성된 오디오와 생성된 텍스트가 일치하지 않습니다.
      • 화자 전환: 시간이 지남에 따라 합성된 음성이 다르게 들립니다.
      • 도구 호출 누락: 모델이 대화의 주어진 컨텍스트에서 도구 호출을 해야 하지만 그렇게 하지 못했습니다.

    • 결과: 결과 참고

  • 누락된 도구 호출 감독자: 누락된 도구 호출을 모니터링하며 다음 설정을 포함합니다.

    • 이름: 감독자 상담사 이름입니다.
    • 참고: 선택사항인 참고사항입니다.
    • 감지 모드: 차단 (감독자 에이전트가 평가를 완료할 때까지 활성 에이전트 응답이 차단됨) 또는 비차단 (감독자 에이전트가 계속 평가하는 동안 활성 에이전트가 진행됨)
    • 결과: 결과 참고