Gerar músicas com o Lyria

Você pode usar o Lyria para gerar novas faixas de música a partir de comandos. As interfaces compatíveis incluem o Google Cloud console e a API Gemini na API Gemini Enterprise Agent Platform API.

Testar o Lyria na Plataforma de Agentes (Agent Platform Studio)

Antes de começar

Faça login na sua Google Cloud conta do. Se você começou a usar o Google Cloudagora, crie uma conta para avaliar o desempenho dos nossos produtos em situações reais. Clientes novos também recebem US $300 em créditos para executar, testar e implantar cargas de trabalho.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Gemini Enterprise Agent Platform API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Enable the Gemini Enterprise Agent Platform API.

Roles required to enable APIs

To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

Enable the API

1. Configure a autenticação do ambiente.

   Selecione a guia para como planeja usar as amostras nesta página:

   Console

   Quando você usa o Google Cloud console para acessar Google Cloud serviços e APIs, não é necessário configurar a autenticação.

   REST

   Para usar as amostras da API REST desta página em um ambiente de desenvolvimento local, use as credenciais fornecidas para a CLI gcloud.

   Instale a Google Cloud CLI.

   Ao usar um provedor de identidade (IdP) externo, primeiro faça login na CLI gcloud com sua identidade federada.

   Saiba mais em Autenticar para usar REST na documentação de autenticação do Google Cloud .

Console

1. Noconsole, acesse a página Google Cloud **Vertex AI Studio** > **Gerar mídia** > **Gerar mídia**.

   Gerar Studio

2. Clique em Música.

3. No menu Tarefa, selecione Texto para música.

4. No menu Modelo, selecione uma opção na lista.

5. Opcional: na seção Recursos de entrada, clique em Adicionar para incluir um recurso para essa solicitação.

6. Na caixa Comando, insira o comando de texto em inglês americano que descreve a música a ser gerada.

7. Clique em Executar.

   Os clipes de áudio gerados estão disponíveis para visualização e download como arquivos WAV.

Lyria 3 REST

Antes de usar os dados da solicitação abaixo, faça as substituições a seguir:

• PROJECT_ID: uma string que representa o Google Cloud ID do projeto.

• MODEL_ID: uma string que representa o ID do modelo a ser usado. Estes são os valores aceitos:

  • lyria-3-clip-preview
  • lyria-3-pro-preview
• TEXT_PROMPT: o comando de texto usado para orientar a geração de música.
• IMAGE_URI: opcional: o URI do Cloud Storage em que a imagem de entrada está localizada.
• IMAGE_DATABYTES: opcional: uma imagem de entrada codificada em Base64.

Método HTTP e URL:

POST https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions

Corpo JSON da solicitação:

{
  "model": "MODEL_ID",
  "input": [
    {
      "type": "text",
      "text": "TEXT_PROMPT"
    },
    {
      "type": "image",
      "mime_type": "image/jpeg",
      "uri": "IMAGE_URI"
    },
    {
      "type": "image",
      "mime_type": "image/png",
      "data": "IMAGE_DATABYTES"
    },
  ]
}

Para enviar a solicitação, escolha uma destas opções:

curl

Observação: o comando a seguir pressupõe que você fez login na CLI gcloud com sua conta de usuário executando gcloud init ou gcloud auth login, ou usando o Cloud Shell, que faz login automaticamente na CLI gcloud. . É possível verificar a conta ativa atual executando gcloud auth list.

Salve o corpo da solicitação em um arquivo com o nome request.json e execute o comando a seguir:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions"

PowerShell

Observação: o comando a seguir pressupõe que você fez login na CLI gcloud com sua conta de usuário executando gcloud init ou gcloud auth login . É possível verificar a conta ativa atual executando gcloud auth list.

Salve o corpo da solicitação em um arquivo com o nome request.json, e execute o comando abaixo:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID/locations/global/interactions" | Select-Object -Expand Content

A solicitação retorna o nome da operação, o status e o resultado.

{
  "status": "completed",
  "outputs": [
    {
      "text": "LYRICS",
      "type": "text"
    },
    {
      "text": "DESCRIPTION",
      "type": "text"
    },
    {
      "mime_type": "audio/mpeg",
      "data": "GENERATED_SONG_DATABYTES",
      "type": "audio"
    },
    {}
  ],
  "role": "model",
  "created": "CREATED_TIME",
  "updated": "UPDATE_TIME",
  "object": "interaction",
  "model": "lyria-3-pro-preview"
}

Lyria 2 REST

Use o método predict para enviar uma solicitação de geração de música. A resposta vai conter diretamente os dados de áudio, normalmente codificados em Base64 se a resposta for JSON.

Para mais informações sobre solicitações de modelo lyria-002, consulte a lyria-002 referência da API do modelo.

Para gerar música, envie uma solicitação POST ao endpoint predict do modelo.

Solicitação:

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002:predict \
  -d '{
    "instances": [
      {
        "prompt": "An uplifting and hopeful orchestral piece with a soaring string melody and triumphant brass.",
        "negative_prompt": " dissonant, minor key",
        "seed": 12345
      }
    ],
    "parameters": {
      // "sample_count": 1 // Use either seed or sample_count
    }
  }'

Resposta:

Uma solicitação bem-sucedida retorna um objeto JSON que contém os dados de áudio gerados. O código será semelhante a este:

{
  "predictions": [
    {
      "audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_1",
      "mimeType": "audio/wav"
    },
    {
      "audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_2",
      "mimeType": "audio/wav"
    }
  ],
  "deployedModelId": "xxxxxxxxxxxxxxx",
  "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002",
  "modelDisplayName": "Lyria 2"
}

Em seguida, você decodificaria o audioContent (Base64) para receber o arquivo de áudio WAV. Cada clipe tem 32,8 segundos de duração.

A seguir

• Saiba como escrever comandos eficazes no guia de comandos de geração de música do Lyria

• Confira a referência da API Lyria

• Descubra outros modelos de IA generativa na Plataforma de agentes do Gemini Enterprise