Genauigkeit messen und verbessern

In dieser Kurzanleitung erfahren Sie, wie Sie die Genauigkeit vonGoogle Cloud Cloud Speech-to-Text für Ihre Audiodaten messen und verbessern können. Sehen Sie sich auch die verschiedenen Modelle und Optionen an, die über die API verfügbar sind, um die Genauigkeit der Transkription zu verbessern. Hier erfahren Sie, wie Sie die Cloud Speech-to-Text-Benutzeroberfläche in der Google Cloud -Console und eine Ground-Truth-Datei verwenden, um die Genauigkeit zu messen und Einblicke in das Cloud Speech-to-Text-System zu erhalten.

Systeme für maschinelles Lernen (ML) sind von Natur aus ungenau und Systeme für die automatische Spracherkennung (ASR), auch bekannt als Cloud Speech-to-Text-Systeme, sind da keine Ausnahme. Die genaue Messung der Genauigkeit hängt stark von den jeweiligen Anwendungsfällen und den zu bewertenden Systemen ab, da sich Unterschiede in der Audioaufzeichnungsqualität und den akustischen Bedingungen erheblich auf die Genauigkeit auswirken können. Daher ist es nicht praktikabel, einen einzelnen Genauigkeitswert für alle Kunden und Anwendungsfälle zu verwenden. Um die zuverlässige Leistung von ASR-Systemen in kritischen produktionsorientierten Systemen sicherzustellen. Es ist auch wichtig zu verstehen, wie Cloud Speech-to-Text im breiteren Kontext Ihres Systems funktioniert.

In dieser Kurzanleitung verwenden wir die branchenübliche Standardmethode für den Vergleich,die Wortfehlerrate (Word Error Rate, WER), oft als WER abgekürzt. Weitere Informationen zur Berechnung und Interpretation der WER finden Sie unter Sprachgenauigkeit messen und verbessern.

Erste Schritte mit der Google Cloud -Console

Erforderliche Berechtigungen für diese Aufgabe

Zum Ausführen dieser Aufgabe benötigen Sie folgende Berechtigungen:

• storage.buckets.get
• storage.buckets.list

Auf Projekt- oder Bucketebene:

• storage.objects.create
• storage.objects.get
• storage.objects.list
• storage.objects.update

Achten Sie darauf, dass Sie sich für ein Konto von Google Cloud registriert und ein Projekt erstellt haben.

1. Rufen Sie in der Google Cloud -Console Speech auf und gehen Sie dann zur Cloud Speech-to-Text-UI.
2. Verwenden Sie eine Audiodatei, die akustisch repräsentativ für Ihren Anwendungsfall und die geplante Verwendung des ASR-Systems ist, und folgen Sie der Kurzanleitung für die erste Transkription mit Cloud Speech-to-Text.

Transkriptionsgenauigkeit berechnen

1. Nachdem Sie Ihre Audiodatei erfolgreich transkribiert haben, können Sie den Abschnitt Transkriptionsgenauigkeit verwenden. Dieser Abschnitt bleibt leer, bis die Genauigkeit Ihrer Transkription berechnet wurde.
2. Mit dem Button Ground Truth hochladen oben im Bereich können Sie mit der Berechnung der Genauigkeit beginnen.

Detailseite für die Cloud Speech-to-Text-Transkription mit dem Bereich „Transkriptionsgenauigkeit“ und dem Button „Ground Truth hochladen“

Ground Truth angeben

1. Wenn Sie die Genauigkeit der Transkription berechnen möchten, stellen Sie eine Ground-Truth-Datei bereit. Dies ist eine TXT- oder CSV-Datei, in der Regel eine von Menschen erstellte Transkriptionsdatei, die die korrekten oder erwarteten Transkriptionen zum Vergleich enthält.
2. Hier ein Beispiel für gs://cloud-samples-data/speech/brooklyn_bridge.wav: Die Ground-Truth-Datei enthält: How old is the Brooklyn Bridge. Wenn Sie keine Ground-Truth-Datei haben, empfehlen wir, die Transkription in einem Textformat herunterzuladen. Bearbeiten Sie die Transkriptionsdatei nach Bedarf. Laden Sie die Transkriptdatei als Ground-Truth-Datei hoch.
3. Geben Sie die Ground Truth-Datei über Hochladen oder eine vorhandene Cloud Storage-Datei an und klicken Sie auf Speichern.

Seite zum Erstellen von Cloud Speech-to-Text-Transkripten mit Optionen zum Auswählen oder Hochladen einer Ground Truth-Datei

Ground Truth bestätigen

1. Nachdem Sie auf Speichern geklickt haben, werden Sie aufgefordert, zu bestätigen, dass die angegebene Ground-Truth-Datei korrekt ist. Prüfen Sie, ob die Ground-Truth-Datei die korrekten Transkriptionen enthält, da sie sich direkt auf die Genauigkeitsmesswerte auswirkt.
2. Klicken Sie auf Bestätigen, um fortzufahren.

Cloud Speech-to-Text-Transkriptionsseite mit dem Inhalt der hochgeladenen Ground Truth-Datei.

Bewertungsergebnisse prüfen

1. Je nach Größe der Eingabedaten kann die Auswertung einige Zeit in Anspruch nehmen. Die Ergebnisse werden nach Abschluss angezeigt.
2. Nach Abschluss der Auswertung werden die folgenden Abschnitte angezeigt:
   • Die Tabelle Genauigkeit der Transkription, die Genauigkeitsmesswerte und ein Link zur Ground-Truth-Datei, die im Prozess verwendet wurde.
   • Die Transcription mit einem Ein/Aus-Schalter zum Vergleichen mit der Ground-Truth-Datei sowie einer Aufschlüsselung der Genauigkeitsmesswerte und Highlights.
3. Sehen Sie sich die Genauigkeitsergebnisse an und interpretieren Sie sie, um die Leistung des Cloud Speech-to-Text-Erkenners zu verstehen, der verwendet wird, um Bereiche für Verbesserungen zu identifizieren. Die Ergebnisse variieren je nach verwendeten Eingaben und Transkriptionen. In den folgenden Beispielen sehen Sie repräsentative Fälle der Genauigkeitsergebnisse, die wertvolle Informationen für die Optimierung des Cloud Speech-to-Text-Systems liefern.
   • Beispiel für eine Fehlerrate von 0 %:

     

     Seite „Transkriptionsgenauigkeit“ von Cloud Speech-to-Text mit berechneten Bewertungsergebnissen für das angegebene Transkript mit einer Fehlerrate von 0%

   • Beispiel für einen WER von 40 %:

     

     Seite „Transkriptionsgenauigkeit“ von Cloud Speech-to-Text mit berechneten Bewertungsergebnissen für das angegebene Transkript mit einer Fehlerrate von 40%

Optional: Grundwahrheit aktualisieren

Sie können eine andere Ground-Truth-Datei für die vorhandene Transkription testen, indem Sie eine andere Datei wieder anhängen und dann die Schritte 3 und 4 mit einer aktualisierten Ground-Truth-Datei wiederholen.

Überzeugen Sie sich selbst

Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, mit dem sie sich dann von der Leistungsfähigkeit von Cloud STT in der Praxis überzeugen können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

Cloud STT kostenlos testen