Prompts vergleichen

Mit der Funktion „Vergleichen“ können Sie sehen, wie sich ein anderer Prompt, ein anderes Modell oder eine andere Parametereinstellung auf die Ausgabe des Modells auswirkt. Sie können sich die einzelnen Prompts und die zugehörigen Antworten nebeneinander ansehen, um sie auf folgende Weise zu vergleichen und zu analysieren:

  • Mit einem neuen Prompt.
  • Mit einem anderen gespeicherten Prompt.
  • Mit einer Grundwahrheit.

Hinweis

So greifen Sie auf die Vergleichsfunktion zu:

  1. Rufen Sie in der Google Cloud Console die Seite Prompt erstellen auf.

    Zur Seite „Prompt erstellen“

  2. Wählen Sie Vergleichen aus. Die Seite Vergleichen wird angezeigt.

Prompt in der Funktion „Vergleichen“ erstellen

Auf der Seite Vergleichen können Sie einen Prompt erstellen, bevor Sie einen anderen Prompt auswählen, um die Ergebnisse zu vergleichen.

So erstellen Sie einen Prompt:

  1. Geben Sie im Feld Neuer Prompt Ihren Prompt ein.

  2. Klicken Sie auf Prompts senden. Die Antwort des Modells wird unter dem von Ihnen eingegebenen Prompt-Text angezeigt.

  3. Klicken Sie auf Als neu speichern. Das Dialogfeld Speichern wird angezeigt.

  4. Geben Sie im Feld Prompt-Name den Namen für den neuen Prompt ein.

  5. Wählen Sie im Feld Region Ihre Region aus oder übernehmen Sie die Standardregion.

  6. Wenn kundenverwaltete Verschlüsselungsschlüssel (CMEK) verwendet werden, gehen Sie so vor:

    1. Klicken Sie das Kästchen kundenverwalteter Verschlüsselungsschlüssel (CMEK) an.
    2. Wählen Sie im Feld Cloud Key Management Service-Schlüssel auswählen einen Schlüssel aus.
  7. Klicken Sie auf Speichern, um den Prompt in der Liste der Prompts zu speichern, die auf der Seite Gespeicherten Prompt vergleichen verwendet werden können.

  8. Klicken Sie auf Prompts senden, um die Prompts und die zugehörigen Antworten zu vergleichen.

Sie können Ihre Prompts aktualisieren und aktualisierte Versionen als neue Prompts speichern.

Mit einem neuen Prompt vergleichen

So vergleichen Sie einen gespeicherten Prompt mit einem neuen Prompt:

  1. Klicken Sie auf Neuen Prompt vergleichen. Der Bereich Vergleichen wird angezeigt.
  2. Optional: Klicken Sie auf Modell wechseln, um ein anderes Modell als das Standardmodell zu verwenden.
  3. Optional: Maximieren Sie Ausgaben.
  4. Ausgaben:
    1. Optional: Wenn das Modell die Ausgabe in einem bestimmten Format wie JSON erstellen soll, klicken Sie auf den Schalter Strukturierte Ausgabe. Nachdem Sie Strukturierte Ausgabe ausgewählt haben, werden die Fundierungsoptionen deaktiviert, da die Fundierung bei strukturierter Ausgabe nicht unterstützt wird.
    2. Optional: Ändern Sie das Thinking-Budget in eine der folgenden Optionen:
      • Automatisch: Das Modell denkt nur, wenn es muss. Wie viel es denkt oder eine Situation analysiert, wird an die aktuellen Anforderungen angepasst.
      • Manuell: Sie können die Tokens für das Budget für Denkprozesse anpassen.
      • Aus: Es werden keine Denkprozesse oder Budgets verwendet.
  1. Optional: Maximieren Sie Tools.
  2. Tools:
    1. Wählen Sie eine der folgenden Optionen aus:
      • Fundierung: Google: Fundierung mit der Google Suche oder Google Maps.
      • Fundierung: Ihre Daten: Fundierung mit RAG Engine auf der Gemini Enterprise Agent Platform, Agent Search auf der Gemini Enterprise Agent Platform oder Elasticsearch.
        1. Wenn Sie Fundierung: Ihre Daten auswählen, wählen Sie die Datenquelle aus, die Sie verwenden möchten.
  1. Optional: Maximieren Sie Erweitert:
  2. Fortgeschritten:
    1. Wählen Sie Region aus.
    2. Wähle Sicherheitsfilter-Einstellungen aus. Ein Dialogfeld wird angezeigt. Behalten Sie die Standardeinstellung Aus bei oder geben Sie für jede der folgenden Optionen Wenige blockieren, Einige blockieren oder Meiste blockieren an:
      • Hassrede: Negative oder schädliche Kommentare, die auf Identität oder geschützte Merkmale ausgerichtet sind.
      • Gefährliche Inhalte: Inhalte, die schädliche Waren, Dienstleistungen und Aktivitäten fördern oder den Zugriff darauf ermöglichen.
      • Sexuell explizite Inhalte: Enthält Verweise auf sexuelle Handlungen oder andere vulgäre Inhalte.
      • Belästigende Inhalte: Böswillige, einschüchternde, mobbende oder missbräuchliche Kommentare, die auf andere Personen ausgerichtet sind.
    3. Klicken Sie auf Speichern, um die Einstellungen zu speichern und das Dialogfeld zu schließen.
    4. Wähle im Feld Temperatur die gewünschte Temperatur aus. Die Temperatur bestimmt den Grad der Zufälligkeit bei der Tokenauswahl. Eine niedrigere Temperatur ist geeignet, wenn Sie eine faktisch korrekte Antwort erwarten. Eine höhere Temperatur kann zu unterschiedlichen oder unerwarteten Ergebnissen führen.
    5. Wählen Sie im Feld Tokenausgabelimit das Tokenausgabelimit aus. Das Tokenausgabelimit legt die maximale Textmenge fest, die für einen Prompt ausgegeben wird. Ein Token besteht aus etwa vier Zeichen.
    6. Wählen Sie im Feld Maximale Anzahl von Antworten die maximale Anzahl von Antworten aus. Die maximale Anzahl von Modellantworten, die pro Prompt generiert werden. Antworten können aufgrund von Sicherheitsfiltern oder anderen Richtlinien blockiert werden.
    7. Wählen Sie einen Wert im Feld Top-P aus. Der Wert „Top-P“ ändert, wie das Modell Tokens für die Ausgabe auswählt.
    8. Klicken Sie im Feld Modellantworten streamen auf den Schalter. Wenn diese Option ausgewählt ist, werden die Antworten ausgegeben, sobald sie generiert werden.
    9. Geben Sie im Feld Stoppsequenz hinzufügen eine Stoppsequenz ein. Drücken Sie nach jeder Sequenz die Eingabetaste.
  1. Klicken Sie auf Speichern, um die Änderungen an den Einstellungen zu speichern.
  2. Klicken Sie auf Übernehmen.
  3. Klicken Sie auf Prompts senden, um die Prompts und die zugehörigen Antworten zu vergleichen.

Weitere Informationen zu den Tokenlimits für die einzelnen Modelle finden Sie unter Thinking-Budget steuern.

Mit einem anderen gespeicherten Prompt vergleichen

So vergleichen Sie einen gespeicherten Prompt mit einem anderen gespeicherten Prompt:

  1. Klicken Sie auf Gespeicherten Prompt vergleichen. Der Bereich Vorhandener Prompt wird angezeigt.
  2. Wählen Sie bis zu zwei vorhandene Prompts zum Vergleichen aus.

    1. Wählen Sie einen Prompt-Namen aus. Wenn Ihre Liste viele Prompts enthält, klicken Sie in das Feld Filter und wählen Sie das Attribut aus, nach dem Sie filtern möchten. Geben Sie einen Wert ein und drücken Sie die Eingabetaste.
    2. Klicken Sie auf Übernehmen. Auf der Seite Vergleichen wird der ausgewählte Prompt zusammen mit anderen Prompts angezeigt, die Sie erstellt oder für den Vergleich ausgewählt haben.
  3. Klicken Sie auf Prompts senden, um die Prompts und die zugehörigen Antworten zu vergleichen.

Mit Ground-Truth-Daten vergleichen

Die Grundwahrheit ist Ihre bevorzugte Antwort auf den Prompt. Alle anderen Modellantworten werden anhand der Grundwahrheit bewertet.

So vergleichen Sie Ihren gespeicherten Prompt mit einer Grundwahrheit:

  1. Klicken Sie auf Grundwahrheit. Der Bereich Ground Truth wird angezeigt.
  2. Geben Sie Ihre Grundwahrheit ein, um zusätzliche Bewertungsmesswerte zu generieren.
  3. Klicken Sie auf Speichern, um die Grundwahrheit zu speichern.
  4. Klicken Sie auf Prompts senden, um die Prompts und die zugehörigen Antworten zu vergleichen.

Die Bewertungsmesswerte, die beim Vergleichen eines Prompts mit einer Grundwahrheit generiert werden, sind von der ausgewählten Region nicht betroffen.

Nächste Schritte