Usa modelos abiertos con el modelo como servicio (MaaS)

En este documento, se describe cómo usar modelos abiertos a través de Model as a Service (MaaS) en Vertex AI. El MaaS proporciona acceso sin servidores a modelos de socios y de código abierto seleccionados, lo que elimina la necesidad de aprovisionar o administrar la infraestructura.

Model Garden es una biblioteca centralizada de modelos de IA y AA de Google, socios de Google y modelos abiertos (de código abierto y con pesos abiertos), incluidos los modelos de MaaS. Model Garden proporciona varias formas de implementar modelos disponibles en Vertex AI, incluidos los modelos de Hugging Face.

Para obtener más información sobre el MaaS, consulta la documentación de los modelos de socios.

Antes de comenzar

Para usar los modelos de MaaS, debes habilitar la API de Vertex AI en tu proyecto deGoogle Cloud .

gcloud services enable aiplatform.googleapis.com

Habilita la API del modelo

Antes de usar un modelo de MaaS, debes habilitar su API. Para ello, ve a la página del modelo en Model Garden. Algunos modelos disponibles a través de MaaS también están disponibles para la implementación por cuenta propia. Las tarjetas de modelo de Model Garden para ambas ofertas son diferentes. La tarjeta del modelo de MaaS incluye API Service en su nombre.

Llama al modelo con el SDK de IA generativa de Google para Python

En el siguiente ejemplo, se llama al modelo Llama 3.3 con el SDK de IA generativa de Google para Python.

from google import genai
from google.genai import types

PROJECT_ID="PROJECT_ID"
LOCATION="LOCATION"
MODEL="meta/llama-3.3-70b-instruct-maas"  # The model ID from Model Garden with "API Service"

# Define the prompt to send to the model.
prompt = "What is the distance between earth and moon?"

# Initialize the Google Gen AI SDK client.
client = genai.Client(
    vertexai=True,
    project=PROJECT_ID,
    location=LOCATION,
)

# Prepare the content for the chat.
contents: types.ContentListUnion = [
    types.Content(
        role="user",
        parts=[
            types.Part.from_text(text=prompt)
        ]
    )
]

# Configure generation parameters.
generate_content_config = types.GenerateContentConfig(
    temperature = 0,
    top_p = 0,
    max_output_tokens = 4096,
)

try:
    # Create a chat instance with the specified model.
    chat = client.chats.create(model=MODEL)
    # Send the message and print the response.
    response = chat.send_message(contents)
    print(response.text)
except Exception as e:
    print(f"{MODEL} call failed due to {e}")

¿Qué sigue?