Google は AI 技術を使用して、コンテンツをご希望の言語に翻訳しています。AI 翻訳には誤りが含まれる場合があります。

音声出力でインテントを検出

アプリケーションでは、エンドユーザーに音声で返答するためのボットが必要となることがよくあります。Dialogflow アプリケーションでは、エンドユーザーに音声で返答するためのボットが必要となることがよくあります。Dialogflow では、DeepMind WaveNet を利用した Cloud Text-to-Speech を使用して、エージェントから音声レスポンスを生成できます。インテントのテキストレスポンスから音声への変換は、音声出力、音声合成、

インテントを検出するときに、入力と出力の両方に音声を使用できます。これは、純粋な音声インターフェースを使用してユーザーと通信するアプリを開発する場合によくあります。

サポートされている言語の一覧については、言語ページの TTS 列をご覧ください。

始める前に

この機能は API をエンドユーザーインタラクションに使用する場合にのみ利用できます。統合を使用している場合は、このガイドをスキップできます。

始める前に、次の手順を完了します。

Dialogflow の基本をご覧ください。
手順に沿って設定してください。

エージェントを作成する

Dialogflow ES コンソールに移動します。
プロンプトが表示されたら、コンソールにログインします。詳細については、Dialogflow コンソールの概要をご覧ください。
サイドバーメニューで [エージェントを読み込み中] を開きます。
[CREATE AGENT] をクリックします。
エージェント名、デフォルトの言語、デフォルトのタイムゾーンを入力します。
既存のプロジェクトを入力します。Dialogflow コンソールでプロジェクトを作成するには、[Create a new Google project] を選択します。
[作成] をクリックします。

インテントの検出

インテントを検出するには、Sessions タイプの detectIntent メソッドを呼び出します。

REST

1.音声コンテンツを作成する

サンプルの input_audio ファイル book-a-room.wav をダウンロードします。このファイルには「book a room」という音声が収録されています。この例では、音声ファイルを base64 でエンコードする必要があります。これにより、以下の JSON リクエストで提供できるようになります。

Linux の例を次に示します。

wget https://cloud.google.com/dialogflow/es/docs/data/book-a-room.wav
base64 -w 0 book-a-room.wav > book-a-room.b64

他のプラットフォームの例については、Cloud Speech API のドキュメントの Base64 エンコード音声の埋め込みをご覧ください。

2. インテント検出リクエストを行う

Sessions タイプで detectIntent メソッドを呼び出し、base64 でエンコードされた音声を指定します。

リクエストのデータを使用する前に、次のように置き換えます。

PROJECT_ID: 実際の Google Cloud プロジェクト ID
SESSION_ID: セッション ID
BASE64_AUDIO: 上記の出力ファイルからの Base64 コンテンツ

HTTP メソッドと URL:

POST https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/sessions/SESSION_ID:detectIntent

リクエストの本文（JSON）:

{
  "queryInput": {
    "audioConfig": {
      "languageCode": "en-US"
    }
  },
  "outputAudioConfig" : {
    "audioEncoding": "OUTPUT_AUDIO_ENCODING_LINEAR_16"
  },
  "inputAudio": "BASE64_AUDIO"
}

リクエストを送信するには、次のいずれかのオプションを展開します。

curl（Linux、macOS、Cloud Shell）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ユーザーアカウントで gcloud CLI にログインしているか、Cloud Shell を使用して自動的に gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: PROJECT_ID" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/sessions/SESSION_ID:detectIntent"

PowerShell（Windows）

注: 次のコマンドは、gcloud init または gcloud auth login を実行して、ご自分のユーザーアカウントで gcloud CLI にログインしていることを前提としています。gcloud auth list を実行すると、現在アクティブなアカウントを確認できます。

リクエスト本文を request.json という名前のファイルに保存して、次のコマンドを実行します。

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://dialogflow.googleapis.com/v2/projects/PROJECT_ID/agent/sessions/SESSION_ID:detectIntent" | Select-Object -Expand Content

次のような JSON レスポンスが返されます。

{
  "responseId": "b7405848-2a3a-4e26-b9c6-c4cf9c9a22ee",
  "queryResult": {
    "queryText": "book a room",
    "speechRecognitionConfidence": 0.8616504,
    "action": "room.reservation",
    "parameters": {
      "time": "",
      "date": "",
      "duration": "",
      "guests": "",
      "location": ""
    },
    "fulfillmentText": "I can help with that. Where would you like to reserve a room?",
    "fulfillmentMessages": [
      {
        "text": {
          "text": [
            "I can help with that. Where would you like to reserve a room?"
          ]
        }
      }
    ],
    "intent": {
      "name": "projects/PROJECT_ID/agent/intents/e8f6a63e-73da-4a1a-8bfc-857183f71228",
      "displayName": "room.reservation"
    },
    "intentDetectionConfidence": 1,
    "diagnosticInfo": {},
    "languageCode": "en-us"
  },
  "outputAudio": "UklGRs6vAgBXQVZFZm10IBAAAAABAAEAwF0AAIC7AA..."
}

queryResult.action フィールドの値が room.reservation で、outputAudio フィールドに大きな base64 音声文字列が含まれていることに注意してください。

3. 出力音声を再生する

outputAudio フィールドからテキストをコピーし、output_audio.b64 という名前のファイルに保存します。このファイルは音声に変換する必要があります。

Linux の例を次に示します。

base64 -d output_audio.b64 > output_audio.wav

他のプラットフォームの例については、Text-to-Speech API ドキュメントの Base64 でエンコードされたオーディオコンテンツのデコードをご覧ください。

これで、output_audio.wav 音声ファイルを再生できるようになりました。上記の queryResult.fulfillmentMessages[1].text.text[0] フィールドのテキストと一致する音声が聞こえます。2 番目の fulfillmentMessages 要素が選択されたのは、デフォルトプラットフォームのテキストレスポンスであるためです。

Java

Dialogflow CX への認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の認証の設定をご覧ください。


import com.google.api.gax.rpc.ApiException;
import com.google.cloud.dialogflow.v2.DetectIntentRequest;
import com.google.cloud.dialogflow.v2.DetectIntentResponse;
import com.google.cloud.dialogflow.v2.OutputAudioConfig;
import com.google.cloud.dialogflow.v2.OutputAudioEncoding;
import com.google.cloud.dialogflow.v2.QueryInput;
import com.google.cloud.dialogflow.v2.QueryResult;
import com.google.cloud.dialogflow.v2.SessionName;
import com.google.cloud.dialogflow.v2.SessionsClient;
import com.google.cloud.dialogflow.v2.TextInput;
import com.google.common.collect.Maps;
import java.io.IOException;
import java.util.List;
import java.util.Map;

public class DetectIntentWithTextToSpeechResponse {

  public static Map<String, QueryResult> detectIntentWithTexttoSpeech(
      String projectId, List<String> texts, String sessionId, String languageCode)
      throws IOException, ApiException {
    Map<String, QueryResult> queryResults = Maps.newHashMap();
    // Instantiates a client
    try (SessionsClient sessionsClient = SessionsClient.create()) {
      // Set the session name using the sessionId (UUID) and projectID (my-project-id)
      SessionName session = SessionName.of(projectId, sessionId);
      System.out.println("Session Path: " + session.toString());

      // Detect intents for each text input
      for (String text : texts) {
        // Set the text (hello) and language code (en-US) for the query
        TextInput.Builder textInput =
            TextInput.newBuilder().setText(text).setLanguageCode(languageCode);

        // Build the query with the TextInput
        QueryInput queryInput = QueryInput.newBuilder().setText(textInput).build();

        //
        OutputAudioEncoding audioEncoding = OutputAudioEncoding.OUTPUT_AUDIO_ENCODING_LINEAR_16;
        int sampleRateHertz = 16000;
        OutputAudioConfig outputAudioConfig =
            OutputAudioConfig.newBuilder()
                .setAudioEncoding(audioEncoding)
                .setSampleRateHertz(sampleRateHertz)
                .build();

        DetectIntentRequest dr =
            DetectIntentRequest.newBuilder()
                .setQueryInput(queryInput)
                .setOutputAudioConfig(outputAudioConfig)
                .setSession(session.toString())
                .build();

        // Performs the detect intent request
        DetectIntentResponse response = sessionsClient.detectIntent(dr);

        // Display the query result
        QueryResult queryResult = response.getQueryResult();

        System.out.println("====================");
        System.out.format("Query Text: '%s'\n", queryResult.getQueryText());
        System.out.format(
            "Detected Intent: %s (confidence: %f)\n",
            queryResult.getIntent().getDisplayName(), queryResult.getIntentDetectionConfidence());
        System.out.format(
            "Fulfillment Text: '%s'\n",
            queryResult.getFulfillmentMessagesCount() > 0
                ? queryResult.getFulfillmentMessages(0).getText()
                : "Triggered Default Fallback Intent");

        queryResults.put(text, queryResult);
      }
    }
    return queryResults;
  }
}

Node.js

// Imports the Dialogflow client library
const dialogflow = require('@google-cloud/dialogflow').v2;

// Instantiate a DialogFlow client.
const sessionClient = new dialogflow.SessionsClient();

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// const projectId = 'ID of GCP project associated with your Dialogflow agent';
// const sessionId = `user specific ID of session, e.g. 12345`;
// const query = `phrase(s) to pass to detect, e.g. I'd like to reserve a room for six people`;
// const languageCode = 'BCP-47 language code, e.g. en-US';
// const outputFile = `path for audio output file, e.g. ./resources/myOutput.wav`;

// Define session path
const sessionPath = sessionClient.projectAgentSessionPath(
  projectId,
  sessionId
);
const fs = require('fs');
const util = require('util');

async function detectIntentwithTTSResponse() {
  // The audio query request
  const request = {
    session: sessionPath,
    queryInput: {
      text: {
        text: query,
        languageCode: languageCode,
      },
    },
    outputAudioConfig: {
      audioEncoding: 'OUTPUT_AUDIO_ENCODING_LINEAR_16',
    },
  };
  sessionClient.detectIntent(request).then(responses => {
    console.log('Detected intent:');
    const audioFile = responses[0].outputAudio;
    util.promisify(fs.writeFile)(outputFile, audioFile, 'binary');
    console.log(`Audio content written to file: ${outputFile}`);
  });
}
detectIntentwithTTSResponse();

Python

def detect_intent_with_texttospeech_response(
    project_id, session_id, texts, language_code
):
    """Returns the result of detect intent with texts as inputs and includes
    the response in an audio format.

    Using the same `session_id` between requests allows continuation
    of the conversation."""
    from google.cloud import dialogflow

    session_client = dialogflow.SessionsClient()

    session_path = session_client.session_path(project_id, session_id)
    print("Session path: {}\n".format(session_path))

    for text in texts:
        text_input = dialogflow.TextInput(text=text, language_code=language_code)

        query_input = dialogflow.QueryInput(text=text_input)

        # Set the query parameters with sentiment analysis
        output_audio_config = dialogflow.OutputAudioConfig(
            audio_encoding=dialogflow.OutputAudioEncoding.OUTPUT_AUDIO_ENCODING_LINEAR_16
        )

        request = dialogflow.DetectIntentRequest(
            session=session_path,
            query_input=query_input,
            output_audio_config=output_audio_config,
        )
        response = session_client.detect_intent(request=request)

        print("=" * 20)
        print("Query text: {}".format(response.query_result.query_text))
        print(
            "Detected intent: {} (confidence: {})\n".format(
                response.query_result.intent.display_name,
                response.query_result.intent_detection_confidence,
            )
        )
        print("Fulfillment text: {}\n".format(response.query_result.fulfillment_text))
        # The response's audio_content is binary.
        with open("output.wav", "wb") as out:
            out.write(response.output_audio)
            print('Audio content written to file "output.wav"')

関連するレスポンスフィールドの詳細については、インテント検出のレスポンスをご覧ください。

インテント検出のレスポンス

インテント検出リクエストに対するレスポンスは、DetectIntentResponse オブジェクトです。

通常のインテント検出処理では、DetectIntentResponse.queryResult.fulfillmentMessages フィールドの内容が制御されます。

DetectIntentResponse.outputAudio フィールドには、DetectIntentResponse.queryResult.fulfillmentMessages フィールドにあるデフォルトのプラットフォーム テキスト レスポンスの値に基づいて音声が入力されます。

複数のデフォルトテキストレスポンスが存在する場合は、音声の生成時に連結されます。
デフォルトのプラットフォームテキストレスポンスが存在しない場合、生成される音声コンテンツは空になります。

DetectIntentResponse.outputAudioConfig フィールドには、出力音声の生成に使用する音声設定が入力されます。

ストリームからインテントを検出する

ストリームからインテントを検出する場合は、出力音声を使用しない例（ストリームからのインテントの検出）と同様のリクエストを送信します。ただし、リクエストに OutputAudioConfig フィールドを指定します。output_audio フィールドと output_audio_config フィールドは、Dialogflow API サーバーから取得する最終的なストリーミングレスポンスに入力されます。詳細については、StreamingDetectIntentRequest と StreamingDetectIntentResponse をご覧ください。

読み上げのためのエージェント設定

音声合成のさまざまな側面を制御できます。エージェントの音声設定をご覧ください。

Dialogflow シミュレータを使用する

Dialogflow シミュレータを使用して、エージェントと対話して音声レスポンスを受け取ることができます。

エージェントの音声設定の手順に沿って、自動テキスト読み上げを有効にします。
シミュレータで、キーボードから「book a room」と入力するか、声に出して言います。
シミュレータの [出力音声] セクションを表示します。

音声入力ストリームでインテントを検出

感情分析を使用してインテントを検出する

音声出力でインテントを検出 コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。

始める前に

エージェントを作成する

インテントの検出

REST

1.音声コンテンツを作成する

2. インテント検出リクエストを行う

curl（Linux、macOS、Cloud Shell）

PowerShell（Windows）

3. 出力音声を再生する

Java

Node.js

Python

インテント検出のレスポンス

ストリームからインテントを検出する

読み上げのためのエージェント設定

Dialogflow シミュレータを使用する

音声出力でインテントを検出