Offene Modelle mit „Model as a Service“ (MaaS) verwenden

In diesem Dokument wird beschrieben, wie Sie offene Modelle über Model as a Service (MaaS) auf der Gemini Enterprise Agent Platform verwenden. MaaS bietet serverlosen Zugriff auf ausgewählte Partner- und Open-Source-Modelle, sodass keine Infrastruktur bereitgestellt oder verwaltet werden muss.

Model Garden ist eine zentrale Bibliothek mit KI- und ML-Modellen von Google, Google-Partnern und Open-Source-Modellen (Open-Weight und Open-Source), einschließlich MaaS-Modellen. Model Garden bietet mehrere Möglichkeiten zum Bereitstellen verfügbarer Modelle auf der Gemini Enterprise Agent Platform, einschließlich Modellen von Hugging Face.

Weitere Informationen zu MaaS finden Sie in der Dokumentation zu Partnermodellen.

Hinweis

Wenn Sie MaaS-Modelle verwenden möchten, müssen Sie die Agent Platform API in IhremGoogle Cloud -Projekt aktivieren.

gcloud services enable aiplatform.googleapis.com

API des Modells aktivieren

Bevor Sie ein MaaS-Modell verwenden können, müssen Sie die zugehörige API aktivieren. Rufen Sie dazu die Modellseite in Model Garden auf. Einige Modelle, die über MaaS verfügbar sind, können auch selbst bereitgestellt werden. Die Model Garden-Modellkarten für die beiden Angebote unterscheiden sich. Die Modellkarte für MaaS enthält API Service im Namen.

Modell mit dem Google Gen AI SDK for Python aufrufen

Im folgenden Beispiel wird das Modell Llama 3.3 mit dem Google Gen AI SDK for Python aufgerufen.

from google import genai
from google.genai import types

PROJECT_ID="PROJECT_ID"
LOCATION="LOCATION"
MODEL="meta/llama-3.3-70b-instruct-maas"  # The model ID from Model Garden with "API Service"

# Define the prompt to send to the model.
prompt = "What is the distance between earth and moon?"

# Initialize the Google Gen AI SDK client.
client = genai.Client(
    vertexai=True,
    project=PROJECT_ID,
    location=LOCATION,
)

# Prepare the content for the chat.
contents: types.ContentListUnion = [
    types.Content(
        role="user",
        parts=[
            types.Part.from_text(text=prompt)
        ]
    )
]

# Configure generation parameters.
generate_content_config = types.GenerateContentConfig(
    temperature = 0,
    top_p = 0,
    max_output_tokens = 4096,
)

try:
    # Create a chat instance with the specified model.
    chat = client.chats.create(model=MODEL)
    # Send the message and print the response.
    response = chat.send_message(contents)
    print(response.text)
except Exception as e:
    print(f"{MODEL} call failed due to {e}")

Nächste Schritte