Use modelos abertos através do modelo como serviço (MaaS)

Este documento descreve como usar modelos abertos através do modelo como serviço (MaaS) na Vertex AI. O MaaS oferece acesso sem servidor a modelos de código aberto e de parceiros selecionados, eliminando a necessidade de aprovisionar ou gerir infraestruturas.

O Model Garden é uma biblioteca centralizada de modelos de IA e ML da Google, de parceiros Google e de modelos abertos (de código aberto e com pesos abertos), incluindo modelos de MaaS. O Model Garden oferece várias formas de implementar modelos disponíveis no Vertex AI, incluindo modelos da Hugging Face.

Para mais informações sobre o MaaS, consulte a documentação dos modelos de parceiros.

Antes de começar

Para usar modelos de MaaS, tem de ativar a API Vertex AI no seuGoogle Cloud projeto.

gcloud services enable aiplatform.googleapis.com

Ative a API do modelo

Antes de poder usar um modelo de MaaS, tem de ativar a respetiva API. Para o fazer, aceda à página do modelo no Model Garden. Alguns modelos disponíveis através do MaaS também estão disponíveis para implementação autónoma. Os cartões de modelos do Model Garden para ambas as ofertas são diferentes. O cartão do modelo MaaS inclui API Service no nome.

Chame o modelo através do SDK de IA gen da Google para Python

O exemplo seguinte chama o modelo Llama 3.3 através do SDK de IA gen da Google para Python.

from google import genai
from google.genai import types

PROJECT_ID="PROJECT_ID"
LOCATION="LOCATION"
MODEL="meta/llama-3.3-70b-instruct-maas"  # The model ID from Model Garden with "API Service"

# Define the prompt to send to the model.
prompt = "What is the distance between earth and moon?"

# Initialize the Google Gen AI SDK client.
client = genai.Client(
    vertexai=True,
    project=PROJECT_ID,
    location=LOCATION,
)

# Prepare the content for the chat.
contents: types.ContentListUnion = [
    types.Content(
        role="user",
        parts=[
            types.Part.from_text(text=prompt)
        ]
    )
]

# Configure generation parameters.
generate_content_config = types.GenerateContentConfig(
    temperature = 0,
    top_p = 0,
    max_output_tokens = 4096,
)

try:
    # Create a chat instance with the specified model.
    chat = client.chats.create(model=MODEL)
    # Send the message and print the response.
    response = chat.send_message(contents)
    print(response.text)
except Exception as e:
    print(f"{MODEL} call failed due to {e}")

O que se segue?