MCP Tools Reference: ces.googleapis.com

כלי: create_evaluation_dataset

יצירת מערך נתונים חדש להערכה.

בדוגמת הקוד הבאה מוצג שימוש בפקודה curl כדי להפעיל את הכלי create_evaluation_dataset MCP.

בקשת Curl 
curl --location 'https://ces.googleapis.com/mcp' \
--header 'content-type: application/json' \
--header 'accept: application/json, text/event-stream' \
--data '{
  "method": "tools/call",
  "params": {
    "name": "create_evaluation_dataset",
    "arguments": {
      // provide these details according to the tool's MCP specification
    }
  },
  "jsonrpc": "2.0",
  "id": 1
}'

סכימת הקלט

בקשת הודעה עבור EvaluationService.CreateEvaluationDataset.

CreateEvaluationDatasetRequest

ייצוג JSON 
{
  "parent": string,
  "evaluationDatasetId": string,
  "evaluationDataset": {
    object (EvaluationDataset)
  }
}
שדות
parent

string

חובה. האפליקציה שעבורה רוצים ליצור את ההערכה. פורמט: projects/{project}/locations/{location}/apps/{app}
evaluationDatasetId

string

זה שינוי אופציונלי. המזהה שבו יש להשתמש עבור מערך הנתונים של ההערכה, שיהפוך לרכיב הסופי של שם המשאב של מערך הנתונים של ההערכה. אם לא מציינים מזהה, המערכת מקצה מזהה ייחודי באופן אוטומטי לצורך ההערכה.
evaluationDataset

object (EvaluationDataset)

חובה. מערך הנתונים של ההערכה שרוצים ליצור.

EvaluationDataset

ייצוג JSON 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
שדות
name

string

מזהה. המזהה הייחודי של מערך נתוני ההערכה הזה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

חובה. שם התצוגה שהמשתמש נתן לקבוצת הנתונים של ההערכה. ייחודי באפליקציה.
evaluations[]

string

זה שינוי אופציונלי. הערכות שנכללות במערך הנתונים הזה.
createTime

string (Timestamp format)

פלט בלבד. חותמת הזמן שבה נוצר מערך הנתונים של ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
updateTime

string (Timestamp format)

פלט בלבד. חותמת זמן של מועד העדכון האחרון של מערך נתוני ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
etag

string

פלט בלבד. תג Etag שמשמש כדי לוודא שהאובייקט לא השתנה במהלך פעולת קריאה-שינוי-כתיבה. אם ה-etag ריק, העדכון ידרוס את כל השינויים שמתבצעים בו-זמנית.
createdBy

string

פלט בלבד. המשתמש שיצר את מערך נתוני ההערכה.
lastUpdatedBy

string

פלט בלבד. המשתמש שעדכן לאחרונה את מערך נתוני ההערכה.
aggregatedMetrics

object (AggregatedMetrics)

פלט בלבד. המדדים המצטברים של מערך הנתונים הזה להערכה בכל ההרצות.

חותמת הזמן

ייצוג JSON 
{
  "seconds": string,
  "nanos": integer
}
שדות
seconds

string (int64 format)

מייצג את השניות של זמן UTC מאז ראשית זמן יוניקס (Unix epoch) ‏1970-01-01T00:00:00Z. הערך חייב להיות בין ‎-62135596800 ל-‎253402300799, כולל (שמתאים לטווח 0001-01-01T00:00:00Z עד 9999-12-31T23:59:59Z).
nanos

integer

שבריר לא שלילי של שנייה ברזולוציית ננו-שנייה. השדה הזה מייצג את החלק של משך הזמן בננו-שניות, ולא מהווה חלופה לשניות. ערכי שניות שליליים עם שברים עדיין צריכים לכלול ערכי ננו-שניות לא שליליים שסופרים קדימה בזמן. הערך חייב להיות בין 0 ל-999,999,999, כולל.

AggregatedMetrics

ייצוג JSON 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
שדות
metricsByAppVersion[]

object (MetricsByAppVersion)

פלט בלבד. מדדים מצטברים, מקובצים לפי מזהה גרסת האפליקציה.

MetricsByAppVersion

ייצוג JSON 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
שדות
appVersionId

string

פלט בלבד. מזהה גרסת האפליקציה.
toolMetrics[]

object (ToolMetrics)

פלט בלבד. מדדים לכל כלי בגרסה הזו של האפליקציה.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

פלט בלבד. מדדים לדמיון סמנטי בגרסת האפליקציה הזו.
hallucinationMetrics[]

object (HallucinationMetrics)

פלט בלבד. מדדים להזיות בגרסת האפליקציה הזו.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

פלט בלבד. מדדים של זמן האחזור של קריאות לכלי בגרסה הזו של האפליקציה.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

פלט בלבד. מדדים של זמן התגובה בגרסת האפליקציה הזו.
passCount

integer

פלט בלבד. מספר הפעמים שההערכה עברה.
failCount

integer

פלט בלבד. מספר הפעמים שההערכה נכשלה.
metricsByTurn[]

object (MetricsByTurn)

פלט בלבד. מדדים מצטברים לכל תור בגרסת האפליקציה הזו.

ToolMetrics

ייצוג JSON 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
שדות
tool

string

פלט בלבד. שם הכלי.
passCount

integer

פלט בלבד. מספר הפעמים שהכלי עבר.
failCount

integer

פלט בלבד. מספר הפעמים שהכלי נכשל.

SemanticSimilarityMetrics

ייצוג JSON 
{
  "score": number
}
שדות
score

number

פלט בלבד. הציון הממוצע של הדמיון הסמנטי (0-4).

HallucinationMetrics

ייצוג JSON 
{
  "score": number
}
שדות
score

number

פלט בלבד. הציון הממוצע של הזיות (0 עד 1).

ToolCallLatencyMetrics

ייצוג JSON 
{
  "tool": string,
  "averageLatency": string
}
שדות
tool

string

פלט בלבד. שם הכלי.
averageLatency

string (Duration format)

פלט בלבד. החביון הממוצע של קריאות הכלים.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

משך

ייצוג JSON 
{
  "seconds": string,
  "nanos": integer
}
שדות
seconds

string (int64 format)

מספר השניות עם סימן של טווח הזמן. הערך חייב להיות בין ‎-315,576,000,000 לבין ‎+315,576,000,000, כולל. הערה: הגבולות האלה מחושבים לפי: 60 שניות בדקה * 60 דקות בשעה * 24 שעות ביממה * 365.25 ימים בשנה * 10,000 שנים
nanos

integer

שברים חתומים של שנייה ברזולוציית ננו-שנייה של טווח הזמן. משכי זמן של פחות משנייה אחת מיוצגים באמצעות שדה seconds עם הערך 0 ושדה nanos עם ערך חיובי או שלילי. למשכי זמן של שנייה אחת או יותר, הערך בשדה nanos צריך להיות שונה מאפס ובעל אותו סימן כמו הערך בשדה seconds. הערך חייב להיות בין ‎-999,999,999 ל-‎+999,999,999, כולל.

TurnLatencyMetrics

ייצוג JSON 
{
  "averageLatency": string
}
שדות
averageLatency

string (Duration format)

פלט בלבד. זמן האחזור הממוצע של התורות.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

MetricsByTurn

ייצוג JSON 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
שדות
turnIndex

integer

פלט בלבד. אינדקס הפנייה (מתחיל מ-0).
toolMetrics[]

object (ToolMetrics)

פלט בלבד. מדדים לכל כלי בתור הזה.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

פלט בלבד. מדדים לדמיון סמנטי בתור הזה.
hallucinationMetrics[]

object (HallucinationMetrics)

פלט בלבד. מדדים להזיות בתור הזה.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

פלט בלבד. מדדים של זמן האחזור של קריאה לכלי בתור הזה.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

פלט בלבד. מדדים של זמן הטעינה של התור הנוכחי.

סכימת הפלט

מערך נתוני הערכה מייצג קבוצה של הערכות שמקובצות יחד על סמך תגים משותפים.

EvaluationDataset

ייצוג JSON 
{
  "name": string,
  "displayName": string,
  "evaluations": [
    string
  ],
  "createTime": string,
  "updateTime": string,
  "etag": string,
  "createdBy": string,
  "lastUpdatedBy": string,
  "aggregatedMetrics": {
    object (AggregatedMetrics)
  }
}
שדות
name

string

מזהה. המזהה הייחודי של מערך נתוני ההערכה הזה. פורמט: projects/{project}/locations/{location}/apps/{app}/evaluationDatasets/{evaluationDataset}
displayName

string

חובה. שם התצוגה שהמשתמש נתן לקבוצת הנתונים של ההערכה. ייחודי באפליקציה.
evaluations[]

string

זה שינוי אופציונלי. הערכות שנכללות במערך הנתונים הזה.
createTime

string (Timestamp format)

פלט בלבד. חותמת הזמן שבה נוצר מערך הנתונים של ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
updateTime

string (Timestamp format)

פלט בלבד. חותמת זמן של מועד העדכון האחרון של מערך נתוני ההערכה.

הפלט שנוצר תמיד יהיה בפורמט RFC 3339, עם נורמליזציה של Z ושימוש ב-0, 3, 6 או 9 ספרות אחרי הנקודה. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. דוגמאות: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
etag

string

פלט בלבד. תג Etag שמשמש כדי לוודא שהאובייקט לא השתנה במהלך פעולת קריאה-שינוי-כתיבה. אם ה-etag ריק, העדכון ידרוס את כל השינויים שמתבצעים בו-זמנית.
createdBy

string

פלט בלבד. המשתמש שיצר את מערך נתוני ההערכה.
lastUpdatedBy

string

פלט בלבד. המשתמש שעדכן לאחרונה את מערך נתוני ההערכה.
aggregatedMetrics

object (AggregatedMetrics)

פלט בלבד. המדדים המצטברים של מערך הנתונים הזה להערכה בכל ההרצות.

חותמת הזמן

ייצוג JSON 
{
  "seconds": string,
  "nanos": integer
}
שדות
seconds

string (int64 format)

מייצג את השניות של זמן UTC מאז ראשית זמן יוניקס (Unix epoch) ‏1970-01-01T00:00:00Z. הערך חייב להיות בין ‎-62135596800 ל-‎253402300799, כולל (שמתאים לטווח 0001-01-01T00:00:00Z עד 9999-12-31T23:59:59Z).
nanos

integer

שבריר לא שלילי של שנייה ברזולוציית ננו-שנייה. השדה הזה מייצג את החלק של משך הזמן בננו-שניות, ולא מהווה חלופה לשניות. ערכי שניות שליליים עם שברים עדיין צריכים לכלול ערכי ננו-שניות לא שליליים שסופרים קדימה בזמן. הערך חייב להיות בין 0 ל-999,999,999, כולל.

AggregatedMetrics

ייצוג JSON 
{
  "metricsByAppVersion": [
    {
      object (MetricsByAppVersion)
    }
  ]
}
שדות
metricsByAppVersion[]

object (MetricsByAppVersion)

פלט בלבד. מדדים מצטברים, מקובצים לפי מזהה גרסת האפליקציה.

MetricsByAppVersion

ייצוג JSON 
{
  "appVersionId": string,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ],
  "passCount": integer,
  "failCount": integer,
  "metricsByTurn": [
    {
      object (MetricsByTurn)
    }
  ]
}
שדות
appVersionId

string

פלט בלבד. מזהה גרסת האפליקציה.
toolMetrics[]

object (ToolMetrics)

פלט בלבד. מדדים לכל כלי בגרסה הזו של האפליקציה.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

פלט בלבד. מדדים לדמיון סמנטי בגרסת האפליקציה הזו.
hallucinationMetrics[]

object (HallucinationMetrics)

פלט בלבד. מדדים להזיות בגרסת האפליקציה הזו.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

פלט בלבד. מדדים של זמן האחזור של קריאות לכלי בגרסה הזו של האפליקציה.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

פלט בלבד. מדדים של זמן התגובה בגרסת האפליקציה הזו.
passCount

integer

פלט בלבד. מספר הפעמים שההערכה עברה.
failCount

integer

פלט בלבד. מספר הפעמים שההערכה נכשלה.
metricsByTurn[]

object (MetricsByTurn)

פלט בלבד. מדדים מצטברים לכל תור בגרסת האפליקציה הזו.

ToolMetrics

ייצוג JSON 
{
  "tool": string,
  "passCount": integer,
  "failCount": integer
}
שדות
tool

string

פלט בלבד. שם הכלי.
passCount

integer

פלט בלבד. מספר הפעמים שהכלי עבר.
failCount

integer

פלט בלבד. מספר הפעמים שהכלי נכשל.

SemanticSimilarityMetrics

ייצוג JSON 
{
  "score": number
}
שדות
score

number

פלט בלבד. הציון הממוצע של הדמיון הסמנטי (0-4).

HallucinationMetrics

ייצוג JSON 
{
  "score": number
}
שדות
score

number

פלט בלבד. הציון הממוצע של הזיות (0 עד 1).

ToolCallLatencyMetrics

ייצוג JSON 
{
  "tool": string,
  "averageLatency": string
}
שדות
tool

string

פלט בלבד. שם הכלי.
averageLatency

string (Duration format)

פלט בלבד. החביון הממוצע של קריאות הכלים.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

משך

ייצוג JSON 
{
  "seconds": string,
  "nanos": integer
}
שדות
seconds

string (int64 format)

מספר השניות עם סימן של טווח הזמן. הערך חייב להיות בין ‎-315,576,000,000 לבין ‎+315,576,000,000, כולל. הערה: הגבולות האלה מחושבים לפי: 60 שניות בדקה * 60 דקות בשעה * 24 שעות ביממה * 365.25 ימים בשנה * 10,000 שנים
nanos

integer

שברים חתומים של שנייה ברזולוציית ננו-שנייה של טווח הזמן. משכי זמן של פחות משנייה אחת מיוצגים באמצעות שדה seconds עם הערך 0 ושדה nanos עם ערך חיובי או שלילי. למשכי זמן של שנייה אחת או יותר, הערך בשדה nanos צריך להיות שונה מאפס ובעל אותו סימן כמו הערך בשדה seconds. הערך חייב להיות בין ‎-999,999,999 ל-‎+999,999,999, כולל.

TurnLatencyMetrics

ייצוג JSON 
{
  "averageLatency": string
}
שדות
averageLatency

string (Duration format)

פלט בלבד. זמן האחזור הממוצע של התורות.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. דוגמה: "3.5s".

MetricsByTurn

ייצוג JSON 
{
  "turnIndex": integer,
  "toolMetrics": [
    {
      object (ToolMetrics)
    }
  ],
  "semanticSimilarityMetrics": [
    {
      object (SemanticSimilarityMetrics)
    }
  ],
  "hallucinationMetrics": [
    {
      object (HallucinationMetrics)
    }
  ],
  "toolCallLatencyMetrics": [
    {
      object (ToolCallLatencyMetrics)
    }
  ],
  "turnLatencyMetrics": [
    {
      object (TurnLatencyMetrics)
    }
  ]
}
שדות
turnIndex

integer

פלט בלבד. אינדקס הפנייה (מתחיל מ-0).
toolMetrics[]

object (ToolMetrics)

פלט בלבד. מדדים לכל כלי בתור הזה.
semanticSimilarityMetrics[]

object (SemanticSimilarityMetrics)

פלט בלבד. מדדים לדמיון סמנטי בתור הזה.
hallucinationMetrics[]

object (HallucinationMetrics)

פלט בלבד. מדדים להזיות בתור הזה.
toolCallLatencyMetrics[]

object (ToolCallLatencyMetrics)

פלט בלבד. מדדים של זמן האחזור של קריאה לכלי בתור הזה.
turnLatencyMetrics[]

object (TurnLatencyMetrics)

פלט בלבד. מדדים של זמן הטעינה של התור הנוכחי.

הערות על כלים

הערות על כלים נשלחות ללקוחות MCP כדי לתאר את הסיכון הבסיסי של כלי מסוים. רוב הלקוחות מתייחסים לרמזים האלה כאל רמזים לא מהימנים, אבל אפשר להשתמש בהם כדי להחליט מתי לשלוח למשתמש בקשת אישור.

בנוסף למחרוזת הכותרת, מוגדרים הרמזים הבוליאניים הבאים:

  • ‫readOnlyHint: אם הערך הוא true, הכלי לא משנה את הסביבה שלו. ברירת מחדל: false.
  • ‫destructiveHint: אם הערך הוא True, הכלי יכול לבצע פעולות הרסניות. אם הערך הוא false, הכלי יכול לבצע רק פעולות של הוספה. ברירת מחדל: true.
  • ‫idempotentHint: אם הערך הוא True, קריאה חוזרת לכלי עם אותם ארגומנטים לא תשפיע על הסביבה שלו. ברירת מחדל: false.
  • ‫openWorldHint: אם הערך הוא True, הכלי יכול ליצור אינטראקציה עם 'עולם פתוח' של ישויות חיצוניות. אם הערך הוא false, הכלי יכול ליצור אינטראקציה רק עם ישויות פנימיות. לדוגמה, כלי לחיפוש באינטרנט יהיה עולם פתוח, אבל כלי לזיכרון לא יהיה עולם פתוח.

רמז הרסני: ❌ | רמז אידמפוטנטי: ❌ | רמז לקריאה בלבד: ❌ | רמז לעולם פתוח: ❌