Offene Modelle mit „Model as a Service“ (MaaS) verwenden

In diesem Dokument wird beschrieben, wie Sie offene Modelle über Model as a Service (MaaS) in Vertex AI verwenden. MaaS bietet serverlosen Zugriff auf ausgewählte Partner- und Open-Source-Modelle, sodass keine Infrastruktur bereitgestellt oder verwaltet werden muss.

Model Garden ist eine zentrale Bibliothek mit KI- und ML-Modellen von Google, Google-Partnern und Open-Source-Modellen (Open-Weight und Open-Source), einschließlich MaaS-Modellen. Model Garden bietet mehrere Möglichkeiten, verfügbare Modelle in Vertex AI bereitzustellen, darunter Modelle von Hugging Face.

Weitere Informationen zu MaaS finden Sie in der Dokumentation zu Partnermodellen.

Hinweise

Wenn Sie MaaS-Modelle verwenden möchten, müssen Sie die Vertex AI API in IhremGoogle Cloud -Projekt aktivieren.

gcloud services enable aiplatform.googleapis.com

API des Modells aktivieren

Bevor Sie ein MaaS-Modell verwenden können, müssen Sie die zugehörige API aktivieren. Rufen Sie dazu die Modellseite in Model Garden auf. Einige Modelle, die über MaaS verfügbar sind, können auch selbst bereitgestellt werden. Die Modellkarten für die beiden Angebote in Model Garden unterscheiden sich. Die MaaS-Modellkarte enthält API-Dienst im Namen.

Modell mit dem Google Gen AI SDK for Python aufrufen

Im folgenden Beispiel wird das Modell Llama 3.3 mit dem Google Gen AI SDK for Python aufgerufen.

from google import genai
from google.genai import types

PROJECT_ID="PROJECT_ID"
LOCATION="LOCATION"
MODEL="meta/llama-3.3-70b-instruct-maas"  # The model ID from Model Garden with "API Service"

# Define the prompt to send to the model.
prompt = "What is the distance between earth and moon?"

# Initialize the Google Gen AI SDK client.
client = genai.Client(
    vertexai=True,
    project=PROJECT_ID,
    location=LOCATION,
)

# Prepare the content for the chat.
contents: types.ContentListUnion = [
    types.Content(
        role="user",
        parts=[
            types.Part.from_text(text=prompt)
        ]
    )
]

# Configure generation parameters.
generate_content_config = types.GenerateContentConfig(
    temperature = 0,
    top_p = 0,
    max_output_tokens = 4096,
)

try:
    # Create a chat instance with the specified model.
    chat = client.chats.create(model=MODEL)
    # Send the message and print the response.
    response = chat.send_message(contents)
    print(response.text)
except Exception as e:
    print(f"{MODEL} call failed due to {e}")

Nächste Schritte