Usa modelos abiertos con el modelo como servicio (MaaS)

En este documento, se describe cómo usar modelos abiertos a través de Model as a Service (MaaS) en Gemini Enterprise Agent Platform. MaaS proporciona acceso sin servidores a modelos seleccionados de socios y de código abierto, lo que elimina la necesidad de aprovisionar o administrar la infraestructura.

Model Garden de Gemini Enterprise Agent Platform es una biblioteca centralizada de modelos de IA y AA de Google, socios de Google y modelos abiertos (de pesos abiertos y de código abierto), incluidos los modelos de MaaS. Model Garden proporciona varias formas de implementar los modelos disponibles en Gemini Enterprise Agent Platform, incluidos los modelos de Hugging Face.

Para obtener más información sobre MaaS, consulta la documentación de los modelos de socios.

Antes de comenzar

Para usar los modelos de MaaS, debes habilitar la API de Agent Platform en tu proyecto deGoogle Cloud .

gcloud services enable aiplatform.googleapis.com

Habilita la API del modelo

Antes de poder usar un modelo de MaaS, debes habilitar su API. Para hacerlo, ve a la página del modelo en Model Garden. Algunos modelos disponibles a través de MaaS también están disponibles para la autoimplementación. Las tarjetas de modelos de Model Garden para ambas ofertas son diferentes. La tarjeta de modelo de MaaS incluye Servicio de API en su nombre.

Llamar al modelo con el SDK de IA generativa de Google para Python

En el siguiente ejemplo, se llama al modelo Llama 3.3 con el SDK de IA generativa de Google para Python.

from google import genai
from google.genai import types

PROJECT_ID="PROJECT_ID"
LOCATION="LOCATION"
MODEL="meta/llama-3.3-70b-instruct-maas"  # The model ID from Model Garden with "API Service"

# Define the prompt to send to the model.
prompt = "What is the distance between earth and moon?"

# Initialize the Google Gen AI SDK client.
client = genai.Client(
    vertexai=True,
    project=PROJECT_ID,
    location=LOCATION,
)

# Prepare the content for the chat.
contents: types.ContentListUnion = [
    types.Content(
        role="user",
        parts=[
            types.Part.from_text(text=prompt)
        ]
    )
]

# Configure generation parameters.
generate_content_config = types.GenerateContentConfig(
    temperature = 0,
    top_p = 0,
    max_output_tokens = 4096,
)

try:
    # Create a chat instance with the specified model.
    chat = client.chats.create(model=MODEL)
    # Send the message and print the response.
    response = chat.send_message(contents)
    print(response.text)
except Exception as e:
    print(f"{MODEL} call failed due to {e}")

¿Qué sigue?