Offene Modelle mit „Model as a Service“ (MaaS) verwenden

In diesem Dokument wird beschrieben, wie Sie offene Modelle über Model as a Service (MaaS) auf der Gemini Enterprise Agent Platform verwenden. MaaS bietet serverlosen Zugriff auf ausgewählte Partner- und Open-Source-Modelle, sodass Sie keine Infrastruktur bereitstellen oder verwalten müssen.

Gemini Enterprise Agent Platform Model Garden ist eine zentrale Bibliothek mit KI- und ML-Modellen von Google, Google-Partnern und offenen Modellen (Open-Weight- und Open-Source-Modelle), einschließlich MaaS-Modellen. Model Garden bietet mehrere Möglichkeiten, verfügbare Modelle auf der Gemini Enterprise Agent Platform bereitzustellen, einschließlich Modellen von Hugging Face.

Weitere Informationen zu MaaS finden Sie in der Dokumentation zu Partnermodellen.

Hinweis

Wenn Sie MaaS-Modelle verwenden möchten, müssen Sie die Agent Platform API in Ihrem Projekt inGoogle Cloud aktivieren.

gcloud services enable aiplatform.googleapis.com

API des Modells aktivieren

Bevor Sie ein MaaS-Modell verwenden können, müssen Sie die zugehörige API aktivieren. Rufen Sie dazu die Modellseite in Model Garden auf. Einige über MaaS verfügbare Modelle können auch selbst bereitgestellt werden. Die Model Garden-Modellkarten für beide Angebote unterscheiden sich. Die MaaS-Modellkarte enthält API-Dienst im Namen.

Modell mit dem Google Gen AI SDK for Python aufrufen

Im folgenden Beispiel wird das Llama 3.3-Modell mit dem Google Gen AI SDK for Python aufgerufen.

from google import genai
from google.genai import types

PROJECT_ID="PROJECT_ID"
LOCATION="LOCATION"
MODEL="meta/llama-3.3-70b-instruct-maas"  # The model ID from Model Garden with "API Service"

# Define the prompt to send to the model.
prompt = "What is the distance between earth and moon?"

# Initialize the Google Gen AI SDK client.
client = genai.Client(
    vertexai=True,
    project=PROJECT_ID,
    location=LOCATION,
)

# Prepare the content for the chat.
contents: types.ContentListUnion = [
    types.Content(
        role="user",
        parts=[
            types.Part.from_text(text=prompt)
        ]
    )
]

# Configure generation parameters.
generate_content_config = types.GenerateContentConfig(
    temperature = 0,
    top_p = 0,
    max_output_tokens = 4096,
)

try:
    # Create a chat instance with the specified model.
    chat = client.chats.create(model=MODEL)
    # Send the message and print the response.
    response = chat.send_message(contents)
    print(response.text)
except Exception as e:
    print(f"{MODEL} call failed due to {e}")

Nächste Schritte