튜토리얼: 콘솔을 사용하여 평가 수행

미리보기

이 기능에는 서비스별 약관의 일반 서비스 약관 섹션에 있는 'GA 이전 제품 또는 서비스 약관'이 적용됩니다. GA 이전 기능은 '있는 그대로' 제공되며 지원이 제한될 수 있습니다. 자세한 내용은 출시 단계 설명을 참조하세요.

Google Google Cloud 콘솔을 사용하여 Gen AI Evaluation Service를 시작하는 방법을 알아봅니다.

시작하기 전에

계정에 로그인합니다. Google Cloud 를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. Google Cloud신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Make sure that you have the following role or roles on the project: Storage Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Make sure that you have the following role or roles on the project: Storage Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.
3. Click Grant access.

4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

5. Click Select a role, then search for the role.
6. To grant additional roles, click Add another role and add each additional role.
7. Click Save.

모델 평가

모델을 평가하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 생성형 AI 평가 페이지로 이동합니다.

   평가로 이동

2. 새 평가 를 클릭하여 평가 페이지를 엽니다.

3. 평가를 위해 데이터 세트를 로드할 소스를 선택합니다.

   • 로컬 CSV 또는 JSONL 파일을 업로드하려면 파일 업로드 를 선택합니다. 데이터 세트에는 프롬프트 템플릿에 사용할 프롬프트 또는 레코드가 포함되어야 하며 모델 응답이 포함될 수도 있습니다. 최대 200개의 행이 지원됩니다.

   • 프롬프트 템플릿에서 프롬프트를 생성하려면 데이터 생성 을 선택합니다. Gen AI Evaluation Service는 데이터 세트를 만들 때 프롬프트 템플릿에 정의한 변수를 생성하고 채웁니다. 프롬프트 템플릿 작성에 관한 자세한 내용은 프롬프트 템플릿 사용을 참고하세요.

     1. 프롬프트 템플릿 필드에 변수가 포함된 프롬프트 템플릿을 입력합니다.

     2. 각 변수에 대한 설명을 추가하거나 생성할 샘플 수를 지정하려면 변수 및 샘플 크기 정의 를 펼칩니다.

     3. 데이터 세트 생성 을 클릭하여 프롬프트를 생성합니다.

4. 프롬프트에 따라 응답을 생성하고 평가합니다.

   1. 평가 후보 섹션에서 평가 후보 추가를 클릭하거나 후보가 이미 있는 경우 수정을 클릭하여 평가할 프롬프트와 응답을 정의합니다. 예를 들어 업로드된 파일 또는 생성된 데이터에서 프롬프트 또는 응답을 지정할 수 있습니다.

   2. 여러 후보를 비교하려면 비교 후보 추가 를 클릭합니다.

   3. 측정항목 섹션에서 후보의 응답 품질을 평가할 측정항목을 하나 이상 추가합니다. 측정항목 유형에 관한 자세한 내용은 Gen AI Evaluation Service 개요 페이지의 평가 측정항목 섹션을 참고하세요.

   일부 적응형 루브릭의 경우 고급 을 펼치고 Evaluate the dataset on cultural sensitivity와 같은 맞춤 안내를 제공하여 각 프롬프트에서 생성되는 루브릭을 조정할 수 있습니다.

   1. 이름 및 스토리지 구성 섹션에서 평가 이름과 평가 결과가 저장되는 Cloud Storage 버킷을 지정합니다.

5. 평가 를 클릭합니다.

평가 결과 보기

평가 결과를 보려면 다음 단계를 따르세요.

1. 콘솔에서 GenAI 평가 페이지로 이동합니다. Google Cloud

   평가로 이동

2. 평가 이름을 클릭합니다.

   평가 데이터 세트의 각 프롬프트에서 응답이 평가 결과와 함께 표시됩니다.

파트너 모델 평가

Gen AI Evaluation Service를 사용하여 다음 파트너 모델을 평가할 수 있습니다.

• Anthropic
• Llama

파트너 모델은 Vertex AI Model Garden을 통해 지원됩니다. 평가를 위해 파트0}Model Garden에서 파트너 모델을 사용 설정해야 합니다. 파트너 모델을 평가하려면 평가 설정 중에 모델 선택 메뉴에서 파트너 모델을 선택합니다.

가격 책정

서드 파티 모델 평가 가격 책정은 Vertex AI Model Garden에서 모델 추론에 발생한 요금을 기준으로 합니다. Vertex AI의 생성형 AI 가격 책정 페이지를 참고하세요.

다음 단계

• 평가 측정항목 정의