Streams erstellen und Daten aufnehmen

Der erste Schritt bei der Analyse Ihrer Videodaten mit einer Anwendung ist das Erstellen einer Pipeline für den kontinuierlichen Datenfluss. Mit Streams können Sie Echtzeit-Videodaten aufnehmen, die dann als Eingabe für Modelle verwendet oder in einem Warehouse gespeichert werden können.

Stream erstellen

Um Videodaten streamen zu können, müssen Sie zuerst einen Stream erstellen.

Wenn Sie zum ersten Mal einen Stream in einem neuen Projekt erstellen, kann das einige Zeit dauern. Diese Zeit beträgt etwa 30 Minuten. Das liegt daran, dass das System einen Computercluster für nachfolgende Berechnungen initialisieren muss.

Console

Erstellen Sie einen Stream in der Google Cloud Console.

  1. Öffnen Sie den Tab Streams des Gemini Enterprise Agent Platform Vision-Dashboards.

    Tab „Streams“ aufrufen

  2. Klicken Sie auf „Hinzufügen“ und dann auf **Registrieren**.

  3. Geben Sie den Streamnamen ein und wählen Sie eine Region aus. Sie können auf Zeile hinzufügen klicken, um mehrere Streams gleichzeitig zu registrieren.

  4. Klicken Sie auf die Schaltfläche Registrieren , um einen oder mehrere Streams zu erstellen.

Videos aufnehmen

Nachdem Sie einen Stream erstellt haben, können Sie mit diesem Stream Daten aufnehmen.

Für aufgenommene Videos gelten einige Einschränkungen und Überlegungen:

  • Die Eingabevideoquelle muss die folgenden Spezifikationen erfüllen:

    Wenn das Video diese Spezifikationen nicht erfüllt, kann Gemini Enterprise Agent Platform Vision die Eingabe möglicherweise nicht richtig verarbeiten.

  • Audio wird bei der Aufnahme verworfen.
  • Wenn der Stream Teil einer App ist, die mit einem Warehouse verbunden ist, müssen die Videoparameter (z. B. fps oder Auflösung) für den gesamten Stream gleich sein. Variationen bei den Parametern von RTSP-Videodaten oder lokalen Videodaten werden nicht unterstützt.
  • Aufgrund der Latenz beim Starten des Modells fehlen bei aufgenommenen Videos möglicherweise die ersten Sekunden des Inhalts. Diese Zeit kann bis zu 15 Sekunden betragen.
  • Die Aufnahme kann nach einer langen Verbindung beendet werden (durchschnittlich etwa 5 Stunden). Das Tool vaictl bietet keine Möglichkeit zur Wiederverbindung. Nutzer müssen die Verbindung manuell wiederherstellen.
  • vaictl ist zwar ein nützliches Tool zum Aufnehmen von Videodaten, aber es kann nicht automatisch Fehler bei der Netzwerkverbindung beheben. Diese Fehler können entweder auf der Seite der Datenquelle oder auf der Seite der Cloud-Aufnahme auftreten. Es liegt in der Verantwortung des Nutzers, ein Neustartskript zu erstellen, um unerwartete vaictl Vorgangsbeendigungen zu verarbeiten.

Gemini Enterprise Agent Platform Vision SDK

Wenn Sie eine Anfrage zum Aufnehmen von Videodaten über einen vorhandenen Stream senden möchten, müssen Sie das Gemini Enterprise Agent Platform Vision SDK installieren.

Ersetzen Sie die folgenden Variablen:

  • PROJECT_ID: Ihre Google Cloud Projekt-ID
  • LOCATION_ID: Ihre Standort-ID Beispiel: us-central1. Weitere Informationen. Unterstützte Regionen.
  • LOCAL_FILE.EXT: Der Dateiname einer lokalen Videodatei. Beispiel: my-video.mp4.
  • STREAM_ID: Die Stream-ID, die Sie im Cluster erstellt haben Beispiel: input-1.
  • RTSP_ADDRESS: Die Adresse Ihres RTSP-Feeds (Real Time Streaming Protocol) (RTSP). Beispiel: rtsp://my-ip-camera.

Lokale Videodaten :

# This command streams a video file to a stream. Streaming ends when the video ends.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send video-file to streams STREAM_ID --file-path LOCAL_FILE.EXT

Lokale Videodaten (in einer Schleife) :

# This command streams a video file to a stream. Video is looped into the stream until you stop the command.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send video-file to streams STREAM_ID --file-path LOCAL_FILE.EXT --loop

Daten aus dem RTSP-Feed (Real Time Streaming Protocol) :

# This command will send an RTSP feed into the stream.
# This command has to run in the network that has direct access to the RTSP feed.
vaictl -p PROJECT_ID \
         -l LOCATION_ID \
         -c application-cluster-0 \
         --service-endpoint visionai.googleapis.com \
send rtsp to streams STREAM_ID --rtsp-uri RTSP_ADDRESS

Aufgenommene Videos abspielen

Nachdem Sie einen Stream erstellt und Videoinhalte an den Stream gesendet haben, können Sie die Videoinhalte abspielen.

Wenn Sie den Tab mit der Streamansicht länger als eine Stunde geöffnet lassen, müssen Sie die Seite aktualisieren, damit die Videoinhalte weiterhin geladen werden.

Console

Spielen Sie aufgenommene Videos in der Google Cloud Console ab.

  1. Öffnen Sie den Tab Streams des Gemini Enterprise Agent Platform Vision-Dashboards.

    Tab „Streams“ aufrufen

  2. Klicken Sie in der Liste der Streams auf den Streamnamen.

  3. Auf der Detailseite des Videostreams wird automatisch die Liveansicht des aufgenommenen Videos geladen.