SMT für KI-Inferenz

Mit der AI Inference Single Method Transform (SMT) können Sie Inferenzen für Pub/Sub-Nachrichten aus Gemini Enterprise Agent Platform-Modellen abrufen. Sie können Ihre eigenen benutzerdefinierten Modelle verwenden, die auf Agent Platform-Endpunkten bereitgestellt werden, oder eines der Google- und Partnermodelle, die über die Agent Platform verfügbar sind. Die Inferenzen des Modells werden jeder Nachricht hinzugefügt und stehen zusammen mit den ursprünglichen Nachrichtendaten für die nachgelagerte Verarbeitung zur Verfügung.

Anwendungsfälle für die KI-Inferenz-SMT:

  • Anreicherung in Echtzeit: Fügen Sie Ereignisdaten, die über Pub/Sub übertragen werden, Kontext, Klassifizierungen, Vorhersagen, Stimmungen oder Einbettungen hinzu.

  • Vereinfachte KI-Pipelines: Sie benötigen keine Vermittlungsdienste mehr, um Inferenzen von KI-Modellen zu erhalten. Pub/Sub übernimmt den Aufruf des KI-Modells und die Anreicherung der Nachricht mit der Inferenz.

  • Geringere Latenz für KI-Pipelines: Entfernen Sie zusätzliche Netzwerk-Hops in Ihrer Architektur, um eine geringere End-to-End-Latenz zu erreichen.

  • Verbesserte Flusssteuerung: Um eine Überlastung der Modellendpunkte zu vermeiden, optimiert Pub/Sub die Rate der Anfragen an das KI-Modell. Weitere Informationen finden Sie in diesem Dokument unter Nachrichtenfluss.

Das AI Inference SMT unterstützt die folgenden Modelltypen:

  • Selbst bereitgestellte Modelle Offene, Partner- und benutzerdefinierte Modelle, die auf einem freigegebenen oder dedizierten öffentlichen Agent Platform-Endpunkt bereitgestellt werden.

  • Model-as-a-Service-Modelle (MaaS). Modelle, die als Dienst über den Model Garden angeboten werden, z. B. Gemini und Claude, bei denen Sie die Bereitstellung nicht verwalten müssen. Eine Liste der MaaS-Modelle, die mit dem AI Inference SMT kompatibel sind, finden Sie unter Kompatible MaaS-Modelle.

Erforderliche Rollen und Berechtigungen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Pub/Sub-Bearbeiter (roles/pubsub.editor) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Themas oder Abos mit SMTs benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen eines Themas oder Abos mit SMTs erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um ein Thema oder ein Abo mit SMTs zu erstellen:

  • Zum Erstellen eines Themas: pubsub.topics.create für das Projekt
  • Abo erstellen: pubsub.subscriptions.create für das Projekt

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Dienstkontoberechtigungen

Das AI Inference SMT verwendet ein IAM-Dienstkonto, um den Agent Platform-Endpunkt aufzurufen. Standardmäßig wird das Konto Cloud Pub/Sub-Dienst-Agent (service-PROJECT_NUMBER@gcp-sa-pubsub.iam.gserviceaccount.com) verwendet. Sie können auch ein eigenes Dienstkonto angeben.

Das Dienstkonto benötigt die folgenden Berechtigungen für das Projekt in Google Cloud, das den Agent Platform-Endpunkt enthält:

  • aiplatform.endpoints.get
  • aiplatform.endpoints.predict

Weisen Sie dem Dienstkonto die Rolle Agent Platform User zu, um diese Berechtigungen zu erteilen. Dies gilt unabhängig davon, ob Sie das Dienstkonto Cloud Pub/Sub Service Agent oder ein benutzerdefiniertes Dienstkonto verwenden.

Nachrichtenverarbeitung

In diesem Abschnitt wird beschrieben, wie die SMT für KI-Inferenz Pub/Sub-Nachrichten verarbeitet.

Eingabe

Die Pub/Sub-Nachrichtendaten müssen eine Anfrage an das KI-Modell als JSON-String sein. Sie können auch zusätzliche Modellparameter angeben, die mit jeder Anfrage gesendet werden sollen. Die SMT führt diese Parameter mit den Nachrichtendaten zusammen und sendet die zusammengeführten JSON-Daten an den Modellendpunkt.

Beispiel:

  • Eingabenachrichtendaten: {"messages": [{"role": "user", "content": "Explain photosynthesis"}]}
  • SMT-Parameter: {"temperature": 0.2}

Die resultierende Nutzlast, die an das Modell gesendet wird, lautet:

{
  "messages": [
    {
      "role": "user",
      "content": "Explain photosynthesis"
    }
  ],
  "temperature": 0.2
}

Wenn ein in der SMT-Konfiguration angegebener Parameter denselben Namen wie ein Feld in den Nachrichtendaten hat, hat der Wert in den Nachrichtendaten Vorrang.

In der folgenden Tabelle sehen Sie, welche API das SMT aufruft, um die Inferenz abzurufen, je nach Modelltyp.

Modellbereitstellung Modelltyp API
Selbst bereitgestellt Alle rawPredict
Model-as-a-Service (MaaS)

Gemini Foundation Model

Beispiel: gemini-3.0-pro

 Chat Completions API

Andere Gemini-Modelle

Beispiel: gemini-embeddings

 rawPredict
Anthropic, Mistral AI oder AI21 rawPredict
Alle anderen MaaS-Modelle Chat Completions API

Informationen zur korrekten Formatierung der Nachrichtendaten und Modellparameter finden Sie in der Dokumentation zu Ihrem Modell. Beispiele für Gemini-Foundation Models finden Sie unter Beispiele mit der Chat Completions API.

Wenn Ihre Publisher-Anwendung Nachrichten nicht im spezifischen JSON-Format formatieren kann, das vom Modell benötigt wird (z. B. das Chat Completions API-Format), können Sie eine JavaScript-UDF-SMT vor der AI Inference-SMT verketten, um die Anfrage-Nutzlast vorzuverarbeiten und zu formatieren. Ein Beispiel finden Sie unter Nutzlasten mit einer JavaScript-UDF vorverarbeiten.

Ausgabe

Wenn der Aufruf des Modellendpunkts erfolgreich ist, reichert die SMT die ursprüngliche Pub/Sub-Nachricht mit der Modellantwort an. Die angereicherte Nachricht ist ein JSON-String wie der folgende, wobei ORIGINAL_MESSAGE die ursprünglichen Nachrichtendaten und INFERENCE_RESULT die Antwort des Modells ist:

{
  "original_message": { ORIGINAL_MESSAGE },
  "model_output": { INFERENCE_RESULT }
}

Nachrichtenfluss

Themen-SMTs: Wenn Sie ein SMT für KI-Inferenz für ein Thema definieren, verarbeitet Pub/Sub eingehende Nachrichten so:

  1. Eine Publisher-Anwendung sendet eine Nachricht an ein Pub/Sub-Thema.

  2. Die Nachricht wird zur Inferenz an den konfigurierten Modellendpunkt gesendet. Die angereicherte Nachricht, die die ursprünglichen Daten und die Inferenz des Modells enthält, wird in den internen Speicher von Pub/Sub geschrieben.

  3. Pub/Sub stellt die angereicherte Nachricht an alle angehängten Abos zu.

Abo-SMTs: Wenn Sie eine KI-Inferenz-SMT für ein Abo definieren, verarbeitet Pub/Sub eingehende Nachrichten so:

  1. Eine Publisher-Anwendung sendet eine Nachricht an ein Pub/Sub-Thema.

  2. Pub/Sub stellt die Nachricht an das Abo zu.

  3. Die Nachricht wird zur Inferenz an den konfigurierten Modellendpunkt gesendet.

  4. Das Abo sendet die angereicherte Nachricht an die Abonnentenanwendung.

  5. Pub/Sub optimiert die Rate der Anfragen an das KI-Modell, um den Durchsatz basierend auf der Latenz und dem Kontingent Ihrer Bereitstellung zu maximieren. Hinweis: Diese Funktion wird bei Verwendung der unären Pull API nicht unterstützt.

Sie können eine KI-Inferenz-SMT mit einer oder mehreren JavaScript-UDF-SMTs verketten. Mit diesem Muster können Sie eine Nachricht vorverarbeiten, damit sie dem erwarteten Eingabeformat Ihres Modells entspricht, oder die Ausgabe des Modells nachbearbeiten, bevor sie an Abonnenten gesendet wird.

Best Practice: Wir empfehlen dringend, für die KI-Inferenz Abo-SMTs anstelle von Themen-SMTs zu verwenden. Wenn der KI-Modellendpunkt gedrosselt wird, Latenzspitzen auftreten oder er nicht verfügbar ist, sind die potenziellen Auswirkungen auf Ihre Pipeline bei einer SMT mit einem Thema größer:

  • Bei einem SMT für ein Thema schlägt die Veröffentlichungsanfrage fehl, was sich direkt auf die Verfügbarkeit Ihrer Publisher-Anwendung auswirkt.

  • Bei einer SMT für ein Abo wiederholt Pub/Sub die Zustellung, einschließlich der Ausführung der SMT, gemäß der Wiederholungsrichtlinie des Abos. Sie können auch ein Thema für unzustellbare Nachrichten konfigurieren, um dauerhafte Fehler zu beheben, ohne die Verfügbarkeit der Aufnahme zu beeinträchtigen.

KI-Inferenz-SMT erstellen

SMTs können für Pub/Sub-Themen oder -Abos konfiguriert werden.

  • Themen-SMTs werden ausgeführt, bevor Pub/Sub die Nachricht speichert. Die Ergebnisse sind für alle Abonnenten verfügbar.

  • Abo-SMTs werden ausgeführt, bevor die Nachricht zugestellt wird. Die Ergebnisse sind nur für dieses Abo verfügbar.

Console

  1. Öffnen Sie in der Google Cloud Console die Pub/Sub-Seite Themen.

    Themen aufrufen

  2. Erstellen Sie entweder ein Thema oder ein Abo.

    • Klicken Sie auf Thema erstellen, um ein Thema zu erstellen. Die Seite Thema erstellen wird geöffnet.

    • So erstellen Sie ein Abo:

      1. Klicken Sie auf den Namen des Themas, für das Sie das Abo erstellen möchten.

      2. Klicken Sie auf Abo erstellen. Die Seite Abo zum Thema hinzufügen wird geöffnet.

  3. Klicken Sie unter Transformationen auf Transformation hinzufügen.

  4. Wählen Sie als Transformationstyp die Option KI-Inferenz aus.

  5. Geben Sie unter Endpunkt den vollständigen Ressourcennamen Ihres Modellendpunkts ein:

    • Selbst bereitgestelltes Modell: projects/PROJECT/locations/LOCATION/endpoints/ENDPOINT
    • Model Garden-Modell: projects/PROJECT/locations/LOCATION/publishers/PUBLISHER/models/MODEL_NAME

  6. Optional. Wählen Sie ein Dienstkonto aus, das beim Aufrufen des Agent Platform-Endpunkts verwendet werden soll. Weitere Informationen erhalten Sie unter Dienstkontoberechtigungen.

  7. Optional. Geben Sie im Feld Parameter Modellparameter als JSON-Objekt ein. Das SMT führt diese Parameter mit jeder Nachricht zusammen, bevor das Modell aufgerufen wird. Beispiel:

    {
  "temperature": 0.5,
  "max_tokens": 1000
}

  8. Klicken Sie auf Erstellen, um das Thema oder Abo zu erstellen.

gcloud

Definitionsdatei erstellen

Erstellen Sie eine YAML- oder JSON-Datei, in der die Inference AI definiert wird.

YAML 

- aiInference:
    endpoint: "ENDPOINT_RESOURCE"
    unstructuredInference: {
        parameters:
          MODEL_PARAMETERS
    }
    service_account_email: SERVICE_ACCOUNT

JSON 

{
  "aiInference": {
    "endpoint": "ENDPOINT_RESOURCE",
    "unstructuredInference": {
        "parameters": {
          MODEL_PARAMETERS
        }
    }
    "service_account_email": SERVICE_ACCOUNT
  }
}

Ersetzen Sie Folgendes:

  • ENDPOINT_RESOURCE: Der vollständige Ressourcenname des Modellendpunkts. Verwenden Sie das folgende Format:

    • Selbst bereitgestelltes Modell: projects/PROJECT/locations/LOCATION/endpoints/ENDPOINT
    • Model Garden-Modell: projects/PROJECT/locations/LOCATION/publishers/PUBLISHER/models/MODEL_NAME

  • MODEL_PARAMETERS: Optional. Modellparameter, die als JSON-Objekt angegeben werden. Das SMT führt diese Parameter mit jeder Nachricht zusammen, bevor das Modell aufgerufen wird. Beispiel:

    {
  "temperature": 0.5,
  "max_tokens": 1000
}

  • SERVICE_ACCOUNT: Optional. Eine Dienstkonto-E-Mail-Adresse, die beim Aufrufen des Endpunkts verwendet werden soll. Weitere Informationen finden Sie unter Dienstkontoberechtigungen.

Thema oder Abo erstellen

Führen Sie den Befehl gcloud pubsub topics create aus, um ein Thema zu erstellen.

gcloud pubsub topics create TOPIC_ID \
  --message-transforms-file=TRANSFORMS_FILE

Ersetzen Sie Folgendes:

  • TOPIC_ID: Die ID oder der Name des Themas, das Sie erstellen möchten.
  • TRANSFORMS_FILE: Der Pfad zur Definitionsdatei.

Führen Sie den Befehl gcloud pubsub subscriptions create aus, um ein Abo zu erstellen.

gcloud pubsub subscriptions create SUBSCRIPTION_ID \
  --topic=projects/PROJECT_ID/topics/TOPIC_ID \
  --message-transforms-file=TRANSFORMS_FILE

Ersetzen Sie Folgendes:

  • SUBSCRIPTION_ID: Die ID oder der Name des zu erstellenden Abos.

  • PROJECT_ID: Die ID des Projekts, das das Thema enthält.

  • TOPIC_ID: Die ID des Themas, das abonniert werden soll.

  • TRANSFORMS_FILE: Der Pfad zur Definitionsdatei.

Validieren und testen

Optional können Sie die konfigurierte SMT validieren und testen, bevor Sie das Thema oder Abo erstellen. Weitere Informationen finden Sie in folgenden Dokumenten:

Beispiele

KI-Inferenz-SMT verwenden

Im folgenden Beispiel wird gezeigt, wie Sie ein Abo mit einem SMT für KI-Inferenz erstellen und dann damit einen Prompt an Gemini senden.

gcloud

  1. Erstellen Sie mit einem Texteditor eine Datei namens ai-smt.yaml und fügen Sie den folgenden Text ein:

    - aiInference:
    endpoint: projects/PROJECT_ID/locations/LOCATION/publishers/google/models/gemini-3.8-flash
    unstructuredInference: {
        parameters: {
            "max_tokens": 25000
        }
    }

    Ersetzen Sie Folgendes:

    • PROJECT_ID: Die ID Ihres Google Cloud-Projekts.
    • LOCATION: Der Standort des aufzurufenden Endpunkts. Beispiel: us-central1.

  2. Erstellen Sie ein neues Pub/Sub-Thema.

    gcloud pubsub topics create TOPIC_ID

    Ersetzen Sie TOPIC_ID durch den Namen des zu erstellenden Themas. Beispiel: topic-1.

  3. Erstellen Sie ein Abo mit einem SMT für KI-Inferenz.

    gcloud pubsub subscriptions create TOPIC_ID-sub \
  --ack-deadline=600 \
  --topic TOPIC_ID \
  --message-transforms-file ai-smt.yaml

  4. Veröffentlichen Sie eine Nachricht zum Thema. Die Nachricht enthält einen Prompt, der für die Chat Completions API formatiert ist.

    gcloud pubsub topics publish TOPIC_ID --message=$'{
  "model":"google/gemini-3.8-flash","messages":[{
    "role": "user",
    "content": "Explain how AI works in a few words"
    }]
  }'

  5. Nachricht aus dem Abo empfangen.

    gcloud pubsub subscriptions pull TOPIC_ID-sub

    Wenn der Aufruf der Agent Platform erfolgreich ist, wird die Nachricht mit der Ausgabe des Prompts angereichert.

Nutzlasten mit einer JavaScript-UDF vorverarbeiten

Wenn Ihre Publisher-Anwendung Rohdaten, Logs oder Ereignisnutzlasten anstelle des von KI-Modellen benötigten strukturierten JSON-Formats (z. B. das OpenAI-kompatible Chat Completions-Format) ausgibt, können Sie eine JavaScript-UDF-SMT vor der AI Inference-SMT verketten. Die UDF fungiert als Übersetzungsebene und wandelt die Rohdaten in das vom Modell erwartete Format um.

Das folgende JavaScript-UDF-Beispiel zeigt, wie eine Nachricht mit einem Text-Prompt in eine Chat Completions API-Anfrage vorverarbeitet wird, die mit Gemini 3.8 Flash kompatibel ist:

/**
 * Pre-processes a message containing a text prompt into a
 * Chat Completions API request compatible with Gemini 3.8 Flash.
 */
function prepareGeminiRequest(message, metadata) {
  // Assuming the incoming message data is a raw text prompt
  const promptText = message.data;

  const chatRequest = {
    "model": "google/gemini-3.8-flash",
    "messages": [
      {
        "role": "user",
        "content": promptText
      }
    ]
  };

  // Replace the message data with the stringified JSON request
  message.data = JSON.stringify(chatRequest);
  return message;
}

Sie können auch eine JavaScript-UDF zur Nachbearbeitung nach der AI Inference-SMT verketten, um bestimmte Felder aus der Antwort des Modells zu extrahieren, bevor sie an Abonnenten gesendet wird.

Kompatible MaaS-Modelle

In der folgenden Tabelle sind die Model-as-a-Service-Modelle (MaaS) aufgeführt, die Google mit dem AI Inference SMT getestet hat und die bekanntermaßen kompatibel sind. Diese Liste kann sich ändern, wenn Modelle eingestellt oder neue MaaS-Modelle hinzugefügt werden.

ModellAPI aufgerufen
google/gemini-3.8-flash Chat Completions API
google/gemini-3.7-flash Chat Completions API
google/gemini-3.6-flash Chat Completions API
google/gemini-3.5-flash Chat Completions API
google/gemini-3.5-flash-lite Chat Completions API
google/gemini-3.1-flash-lite Chat Completions API
google/gemini-3.1-pro-preview Chat Completions API
google/gemini-3-flash-preview Chat Completions API
google/gemini-3.1-flash-image Chat Completions API
google/gemini-3-pro-image Chat Completions API
google/gemini-2.5-flash-image Chat Completions API
google/gemini-2.5-pro Chat Completions API
google/gemini-2.5-flash-lite Chat Completions API
google/gemini-2.5-flash Chat Completions API
google/gemini-2.0-flash-lite-001 Chat Completions API
google/gemini-2.0-flash-001 Chat Completions API
meta/llama-4-maverick-17b-128e-instruct-maas Chat Completions API
meta/llama-4-scout-17b-16e-instruct-maas Chat Completions API
meta/llama-3.3-70b-instruct-maas Chat Completions API
deepseek-ai/deepseek-r1-0528-maas Chat Completions API
deepseek-ai/deepseek-v3.1-maas Chat Completions API
qwen/qwen3-235b-a22b-instruct-2507-maas Chat Completions API
qwen/qwen3-coder-480b-a35b-instruct-maas Chat Completions API
openai/gpt-oss-20b-maas Chat Completions API
openai/gpt-oss-120b-maas Chat Completions API
google/text-multilingual-embedding-002 rawPredict
google/text-embedding-005 rawPredict
google/text-embedding-large-exp-03-07 rawPredict
google/gemini-embedding-001 rawPredict
google/multimodalembedding rawPredict
anthropic/claude-sonnet-4-6 rawPredict
anthropic/claude-sonnet-4-5 rawPredict
anthropic/claude-opus-4-6 rawPredict
anthropic/claude-opus-4-5 rawPredict
anthropic/claude-haiku-4-5 rawPredict
mistralai/mistral-ocr-2505 rawPredict
mistralai/mistral-small-2503 rawPredict
mistralai/mistral-medium-3 rawPredict
mistralai/codestral-2 rawPredict

Beschränkungen

  • Pro Thema oder Abo ist nur eine KI-Inferenz-SMT zulässig.

  • Private Endpunkte werden nicht unterstützt. Selbst bereitgestellte Modelle müssen auf öffentlichen Agent Platform-Endpunkten gehostet werden.

  • Der globale Endpunkt wird nur für Gemini-Foundation Models unterstützt. Für andere Modelle müssen Sie einen regionalen Endpunkt verwenden.

  • Pub/Sub validiert die Eingabenachrichtendaten nicht. Sie sind dafür verantwortlich, dass das Datenformat korrekt ist.

  • Die Transformation sendet eine Inferenzanfrage pro Pub/Sub-Nachricht. Clientseitiges Batching wird nicht durchgeführt.

  • Asynchrone Batch-Inferenzen werden nicht unterstützt.

  • Die Inferenz darf nicht länger als 60 Sekunden dauern. Wenn die Zeit 60 Sekunden überschreitet, wird der Zustellungsversuch abgebrochen und Pub/Sub versucht es noch einmal, bis die konfigurierte Nachrichtenspeicherdauer und die Einstellungen für die Wiederholungsrichtlinie erreicht sind. Wenn der Versuch fehlschlägt, wird die Nachricht an das Thema für unzustellbare Nachrichten weitergeleitet, sofern eines konfiguriert ist.

Nicht unterstützte Modelle

Das SMT für KI-Inferenz unterstützt die folgenden MaaS-Modelle nicht. Für viele dieser Modelle sind selbst bereitgestellte Versionen verfügbar, die Sie stattdessen verwenden können.

  • deepseek-ai/deepseek-ocr-maas
  • deepseek-ai/deepseek-v3.2-maas
  • google/gemini-embedding-2-preview
  • google/lyria-002
  • google/lyria-3-clip-preview
  • google/lyria-3-pro-preview
  • google/veo-3.1-fast-generate-001
  • google/veo-3.1-generate-001
  • intfloat/multilingual-e5-large-instruct-maas
  • intfloat/multilingual-e5-small-instruct-maas
  • minimaxai/minimax-m2-maas
  • moonshotai/kimi-k2-thinking-maas
  • qwen/qwen3-next-80b-a3b-instruct-maas
  • qwen/qwen3-next-80b-a3b-thinking-maas
  • zai-org/glm-4.7-maas
  • zai-org/glm-5-maas

Regionale Einschränkungen

Für SMTs für KI-Inferenz gelten die folgenden Einschränkungen, je nach Region des Agent Platform-Endpunkts.

  • Wenn für ein Thema eine SMT für KI-Inferenz definiert ist, muss sich die Endpunktregion innerhalb der Regionen befinden, die gemäß der Speicherrichtlinie für Nachrichten des Themas zulässig sind.

    Diese Einschränkung gilt auch für Abo-SMTs, wenn die Organisationsrichtlinien-Einschränkung Übertragungsregionen für Pub/Sub-Nachrichten erzwingen in Kraft ist.

  • Wenn eine SMT für KI-Inferenz für ein Exportabo definiert ist, muss sich die Endpunktregion in der Region der zugehörigen Ressource befinden:

  • Wenn eine Veröffentlichungsanfrage an eine andere Region als die Endpunktregion gesendet wird, leitet Pub/Sub die Anfrage automatisch an die Endpunktregion weiter.

  • Wenn Sie Nachrichten aus einem Abo mit einer SMT für KI-Inferenz abrufen und die Pull-Anfrage an eine andere Region als die Endpunktregion gesendet wird, lehnt Pub/Sub die Anfrage ab. Wir empfehlen, für Pull-Abos einen standortbezogenen Endpunkt zu verwenden. Diese Einschränkung gilt sowohl für Streaming-Pull als auch für unären Pull.

  • Wenn ein Push-Abo ein AI Inference-SMT hat, werden Nachrichten aus der Endpunktregion per Push übertragen. Wenn ein Verstoß gegen eine regionale Einschränkung auftritt, werden von Pub/Sub keine Nachrichten mehr aus diesem Abo per Push übertragen.

Fehlerbehebung

In diesem Abschnitt finden Sie Tipps zur Fehlerbehebung für das AI Inference SMT.

  • SMT-Fehler bei Themen Wenn die Inferenz beim Veröffentlichen der Nachricht fehlschlägt, schlägt die gesamte Veröffentlichungsanfrage fehl. Die Fehlerinformationen werden an den Publisher-Client zurückgegeben.

  • SMT-Fehler bei Abos: Wenn die Inferenz bei der Zustellung der Nachricht fehlschlägt (z. B. aufgrund einer längeren Nichtverfügbarkeit des Modells, einer anhaltenden Kontingentüberschreitung oder Fehlern aufgrund ungültiger Argumente), wird die ursprüngliche, unveränderte Nachricht an das konfigurierte Thema für unzustellbare Nachrichten weitergeleitet. So gehen keine Daten verloren. Die weitergeleitete Nachricht enthält ein CloudPubSubDeadLetterSourceSMTErrorMessage-Attribut mit den Details des SMT-Fehlers. Wir empfehlen, ein Thema für unzustellbare Nachrichten einzurichten, wenn Sie SMTs für ein Abo verwenden.

  • Modellinferenzfehler: Wenn die Inferenz fehlschlägt und ein Fehler zurückgegeben wird, prüfen Sie Folgendes:

    • Prüfen Sie, ob der konfigurierte Endpunkt korrekt ist.

    • Prüfen Sie, ob die Pub/Sub-Nachrichtendaten eine gültige Inferenzanfrage für Ihr Modell enthalten.

    • Prüfen Sie, ob alle Modellparameter gültig sind.

    Die Inferenz kann auch aus anderen Gründen fehlschlagen, z. B. aufgrund von Verbindungsproblemen.

  • Berechtigungs- oder Endpunktfehler Wenn das konfigurierte Dienstkonto die Berechtigung für den Endpunkt verliert oder der Endpunkt gelöscht wird, schlägt die SMT fehl.

Kontingente und Limits

  • Zusätzlich zu den Pub/Sub-Kontingenten und -Limits unterliegt die SMT für KI-Inferenz den Kontingenten und Ratenbegrenzungen des Agent Platform-Endpunkts. Die integrierte Flusssteuerung von Pub/Sub passt die Anfragerate automatisch an, um eine Überlastung des Endpunkts zu vermeiden. Die Rate darf jedoch das Kontingent des Modells nicht überschreiten.

  • Die endgültige Größe der transformierten Nachricht, einschließlich der ursprünglichen Nachricht und der Inferenz-Ausgabe, muss kleiner als die Größenbeschränkung für Pub/Sub-Nachrichten sein. Wenn die transformierte Nachricht das Limit überschreitet, schlägt die Transformation fehl.

Nächste Schritte