Usar modelos abertos com o modelo como um serviço (MaaS, na sigla em inglês)

Neste documento, descrevemos como usar modelos abertos com o modelo como serviço (MaaS) na Gemini Enterprise Agent Platform. O MaaS oferece acesso sem servidor a modelos selecionados de parceiros e de código aberto, eliminando a necessidade de provisionar ou gerenciar infraestrutura.

O Model Garden da Gemini Enterprise Agent Platform é uma biblioteca centralizada de modelos de IA e ML do Google, de parceiros do Google e de modelos abertos (de peso aberto e de código aberto), incluindo modelos de MaaS. O Model Garden oferece várias maneiras de implantar modelos disponíveis na Gemini Enterprise Agent Platform, incluindo modelos do Hugging Face.

Para mais informações sobre o MaaS, consulte a documentação de modelos de parceiros.

Antes de começar

Para usar os modelos de MaaS, ative a API Agent Platform no seu projeto doGoogle Cloud .

gcloud services enable aiplatform.googleapis.com

Ativar a API do modelo

Antes de usar um modelo de MaaS, é necessário ativar a API dele. Para fazer isso, acesse a página do modelo no Model Garden. Alguns modelos disponíveis pelo MaaS também estão disponíveis para autoimplantação. As cards de modelo do Model Garden para as duas ofertas são diferentes. O card de modelo do MaaS inclui Serviço de API no nome.

Chamar o modelo usando o SDK de IA generativa do Google para Python

O exemplo a seguir chama o modelo Llama 3.3 usando o SDK de IA Generativa do Google para Python.

from google import genai
from google.genai import types

PROJECT_ID="PROJECT_ID"
LOCATION="LOCATION"
MODEL="meta/llama-3.3-70b-instruct-maas"  # The model ID from Model Garden with "API Service"

# Define the prompt to send to the model.
prompt = "What is the distance between earth and moon?"

# Initialize the Google Gen AI SDK client.
client = genai.Client(
    vertexai=True,
    project=PROJECT_ID,
    location=LOCATION,
)

# Prepare the content for the chat.
contents: types.ContentListUnion = [
    types.Content(
        role="user",
        parts=[
            types.Part.from_text(text=prompt)
        ]
    )
]

# Configure generation parameters.
generate_content_config = types.GenerateContentConfig(
    temperature = 0,
    top_p = 0,
    max_output_tokens = 4096,
)

try:
    # Create a chat instance with the specified model.
    chat = client.chats.create(model=MODEL)
    # Send the message and print the response.
    response = chat.send_message(contents)
    print(response.text)
except Exception as e:
    print(f"{MODEL} call failed due to {e}")

A seguir