Usar modelos abertos com o modelo como serviço (MaaS, na sigla em inglês)

Este documento descreve como usar modelos abertos com o modelo como serviço (MaaS) na Vertex AI. O MaaS oferece acesso sem servidor a modelos selecionados de parceiros e de código aberto, eliminando a necessidade de provisionar ou gerenciar infraestrutura.

O Model Garden é uma biblioteca centralizada de modelos de IA e ML do Google, de parceiros do Google e de modelos abertos (de código aberto e com pesos abertos), incluindo modelos de MaaS. O Model Garden oferece várias maneiras de implantar modelos disponíveis na Vertex AI, incluindo modelos do Hugging Face.

Para mais informações sobre o MaaS, consulte a documentação de modelos de parceiros.

Antes de começar

Para usar modelos de MaaS, ative a API Vertex AI no seu projetoGoogle Cloud .

gcloud services enable aiplatform.googleapis.com

Ativar a API do modelo

Antes de usar um modelo de MaaS, é necessário ativar a API dele. Para fazer isso, acesse a página do modelo no Model Garden. Alguns modelos disponíveis no MaaS também podem ser implantados por conta própria. Os cards de modelo do Model Garden para as duas ofertas são diferentes. O card do modelo do MaaS inclui API Service no nome.

Chamar o modelo usando o SDK de IA generativa do Google para Python

O exemplo a seguir chama o modelo Llama 3.3 usando o SDK da IA generativa do Google para Python.

from google import genai
from google.genai import types

PROJECT_ID="PROJECT_ID"
LOCATION="LOCATION"
MODEL="meta/llama-3.3-70b-instruct-maas"  # The model ID from Model Garden with "API Service"

# Define the prompt to send to the model.
prompt = "What is the distance between earth and moon?"

# Initialize the Google Gen AI SDK client.
client = genai.Client(
    vertexai=True,
    project=PROJECT_ID,
    location=LOCATION,
)

# Prepare the content for the chat.
contents: types.ContentListUnion = [
    types.Content(
        role="user",
        parts=[
            types.Part.from_text(text=prompt)
        ]
    )
]

# Configure generation parameters.
generate_content_config = types.GenerateContentConfig(
    temperature = 0,
    top_p = 0,
    max_output_tokens = 4096,
)

try:
    # Create a chat instance with the specified model.
    chat = client.chats.create(model=MODEL)
    # Send the message and print the response.
    response = chat.send_message(contents)
    print(response.text)
except Exception as e:
    print(f"{MODEL} call failed due to {e}")

A seguir