Use um agente de pipeline de consultas do LlamaIndex

Antes de começar

Este tutorial pressupõe que leu e seguiu as instruções em:

Obtenha uma instância de um agente

Para consultar um LlamaIndexQueryPipelineAgent, primeiro tem de criar uma nova instância ou obter uma instância existente.

Para obter o LlamaIndexQueryPipelineAgent correspondente a um ID do recurso específico:

SDK Vertex AI para Python

Execute o seguinte código:

import vertexai

client = vertexai.Client(  # For service interactions via client.agent_engines
    project="PROJECT_ID",
    location="LOCATION",
)

agent = client.agent_engines.get(name="projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID")

print(agent)

onde

Biblioteca de pedidos Python

Execute o seguinte código:

from google import auth as google_auth
from google.auth.transport import requests as google_requests
import requests

def get_identity_token():
    credentials, _ = google_auth.default()
    auth_request = google_requests.Request()
    credentials.refresh(auth_request)
    return credentials.token

response = requests.get(
f"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID",
    headers={
        "Content-Type": "application/json; charset=utf-8",
        "Authorization": f"Bearer {get_identity_token()}",
    },
)

API REST

curl \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/reasoningEngines/RESOURCE_ID

Quando usa o SDK Vertex AI para Python, o objeto agent corresponde a uma classe AgentEngine que contém o seguinte:

  • Um agent.api_resource com informações sobre o agente implementado. Também pode chamar agent.operation_schemas() para devolver a lista de operações que o agente suporta. Consulte o artigo Operações suportadas para ver detalhes.
  • Um agent.api_client que permite interações de serviço síncronas
  • Um agent.async_api_client que permite interações de serviço assíncronas

O resto desta secção pressupõe que tem uma instância do AgentEngine, denominada agent.

Operações compatíveis

As seguintes operações são suportadas para LlamaIndexQueryPipelineAgent:

  • query: para receber uma resposta a uma consulta de forma síncrona.

O método query suporta o seguinte tipo de argumento:

  • input: as mensagens a enviar ao agente.

Consultar o agente

O comando:

agent.query(input="What is Paul Graham's life in college?")

é equivalente ao seguinte (na forma completa):

agent.query(input={"input": "What is Paul Graham's life in college?"})

Para personalizar o dicionário de entrada, consulte o artigo Personalize o modelo de comando.

Também pode personalizar o comportamento do agente além de input transmitindo argumentos de palavras-chave adicionais a query().

response = agent.query(
    input={
      "input" = [
        "What is Paul Graham's life in college?",
        "How did Paul Graham's college experience shape his career?",
        "How did Paul Graham's college experience shape his entrepreneurial mindset?",
      ],
    },
    batch=True  # run the pipeline in batch mode and pass a list of inputs.
)
print(response)

Consulte o código QueryPipeline.run para ver uma lista completa dos parâmetros disponíveis.

O que se segue?