Lyria API

Lyria は、高品質の音声を生成するための新しい基盤モデルです。テキスト プロンプトから多様なサウンドスケープや楽曲を作成できます。Lyria を使用すると、テキスト プロンプトから高品質のインストゥルメンタルを生成できます。

コンソールでこのモデルを確認するには、Model Garden に移動して Lyria モデルカードを確認します([Media Studio] タブからアクセスできます)。

Vertex AI で Lyria を試す(Vertex AI Studio)

Colab で Lyria を試す

サポートされているモデル

Lyria API は、次のモデルをサポートしています。

  • lyria-002

HTTP リクエスト

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  https://LOCATION[-aiplatform.googleapis.com/v1/projects/](https://-aiplatform.googleapis.com/v1/projects/)PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002:predict \
  -d '{
    "instances": [
      {
        "prompt": "string",
        "negative_prompt": "string", // Optional
        "seed": 0 // Optional. Cannot be used with sample_count.
      }
    ],
    "parameters": {
      "sample_count": 1 // Optional. Cannot be used with seed.
    }
  }'

Lyria モデルには、次のパラメータを使用します。詳細については、Lyria Model Garden カードの詳細をご覧ください。

パラメータ

prompt

instances オブジェクト内)

string

必須。生成する音声を米国英語(en-us)で説明するテキスト。

例: "An energetic electronic dance track with a fast tempo."

negative_prompt

instances オブジェクト内)

string

省略可。生成されるオーディオから除外する内容の説明。

例: "vocals, slow tempo"

seed

instances オブジェクト内)

integer

省略可。決定論的生成のシード。指定した場合、モデルは同じプロンプトと他のパラメータを使用して同じ音声の生成を試みます。

同じリクエストで sample_count と併用することはできません。

例: 12345

sample_count

parameters オブジェクト内)

integer

省略可。生成する音声サンプルの数。指定されず、シードが使用されていない場合、デフォルトは 1 です。

同じリクエストで seed と併用することはできません。

例: 2

リクエストの例

テキスト プロンプトからインストゥルメンタルを生成するには、次のリクエストを使用します。

Text-to-Music 生成リクエスト

curl

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://us-central1-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/publishers/google/models/lyria-002:predict \
-d '{
  "instances": [
    {
      "prompt": "A calm acoustic folk song with a gentle guitar melody and soft strings.",
      "negative_prompt": "drums, electric guitar",
      "seed": 98765
    }
  ],
  "parameters": {}
}'

JSON

この例では、再現可能な出力を得るために seed を使用します。


{
  "instances": [
    {
      "prompt": "A calm acoustic folk song with a gentle guitar melody and soft strings.",
      "negative_prompt": "drums, electric guitar",
      "seed": 98765
    }
  ],
  "parameters": {}
}

sample_count を含む JSON

この例では、sample_count を使用して複数のサンプルを生成します。

Lyria API を使用してテキスト プロンプトをテストするには、パブリッシャー モデル エンドポイントに POST リクエストを送信します。次の例では、instances オブジェクトから seed を省略し、parameters オブジェクトで sample_count を使用して複数のサンプルを生成します。


{
  "instances": [
    {
      "prompt": "A calm acoustic folk song with a gentle guitar melody and soft strings.",
      "negative_prompt": "drums, electric guitar"
    }
  ],
  "parameters": {
    "sample_count": 2
  }
}

レスポンスの本文

リクエストが成功すると、生成された音声データを含む JSON オブジェクトが返されます。生成された各音声クリップの長さは 30 秒で、48 kHz のサンプリング レートの WAV 音声ファイルとして提供されます。

{
  "predictions": [
    {
      "audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_1",
      "mimeType": "audio/wav"
    }
    // Additional audio samples will be listed here if sample_count > 1
    // e.g.,
    //{"audioContent": "BASE64_ENCODED_WAV_STRING_SAMPLE_2",
    // "mimeType": "audio/wav"
    //}
  ],
  "deployedModelId": "xxxxxxxxxxxxxxx", // Actual ID may vary based on deployment
  "model": "projects/PROJECT_ID/locations/LOCATION/publishers/google/models/lyria-002",
  "modelDisplayName": "Lyria 2"
}
レスポンス要素
predictions

array

生成された音声サンプルの配列。配列内の各オブジェクトは 1 つの音声クリップを表します。

predictions[].audioContent

string

生成された WAV 音声データの Base64 エンコード文字列。

predictions[].mimeType

string

音声データの MIME タイプ。Lyria の場合は "audio/wav" です。

deployedModelId

string

リクエストを処理したデプロイ済みモデルの ID(エンドポイント タイプの場合)。

model

string

リクエストを処理したモデルの完全なリソース名。

modelDisplayName

string

モデルの表示名。

ベスト プラクティスと制限事項

プロンプト、言語サポート(プロンプトは米国英語のみ)、生成時間、出力形式(WAV、48 kHz、30 秒のインストゥルメンタル クリップ)、安全対策、デプロイ情報に関する詳細なベスト プラクティスについては、Lyria モデルカードをご覧ください。

要点:

  • 詳細なプロンプト: 通常、より良い音声が生成されます。
  • 指定: ジャンル、ムード、楽器、テンポ。
  • ネガティブ プロンプト: negative_prompt を使用して要素を除外します。
  • 出力: 30 秒の WAV 音声クリップ、48 kHz、インストゥルメンタルのみ。
  • 安全性: コンテンツの安全フィルタ、朗読チェック、アーティストの意図チェック、SynthID 透かしが適用されます。

料金

Lyria 2 の使用料金は、生成された出力音楽 30 秒あたり $0.06 です。料金の詳細については、Vertex AI の料金をご覧ください。

詳細

  • Vertex AI での生成 AI で詳細をご確認ください。
  • Lyria の概要については、Model Garden(Media Studio)で入手できるモデルカードをご覧ください。

次のステップ