Gemini Enterprise Agent Platform Vision ist eine KI-gestützte Plattform, mit der Sie -Videodaten aufnehmen, analysieren und speichern können. Mit Gemini Enterprise Agent Platform Vision können Sie KI-Anwendungen erstellen und bereitstellen. Sie können End-to-End-Lösungen für Gemini Enterprise Agent Platform Vision erstellen, indem Sie die Integration von Gemini Enterprise Agent Platform Vision mit anderen Produktkomponenten nutzen.
Wenn Sie mit der Implementierung von Lösungen mit der Gemini Enterprise Agent Platform Vision-Plattform beginnen möchten, sehen Sie sich die folgenden Konzepte und Komponenten der Agent Platform Vision an:
Streams: Stellen eine Videostreaming-Ebene Ihrer Lösung dar. Die Streamquelle kann ein Live-Video (z. B. eine IP-Kamera) oder eine Videodatei (z. B. eine MP4-Datei) sein.
Anwendungen: Ermöglichen die Verbindung zwischen einem Stream und einem KI-Prozessor, um einen Machine-Learning-Vorgang für das Video auszuführen. Sie können beispielsweise einen Kamerastream mit einem KI-Modell verbinden, das Personen zählt, die vor der Kamera vorbeigehen.
Media Warehouses: Speichern Sie die von Streams aufgenommenen Videos inGoogle Cloud Storage. Wenn Sie Daten an diesem Ziel speichern, können Sie Analyseergebnisse und Metadaten der KI‑Verarbeitung abfragen, die für Daten aus den aufgenommenen Streams verwendet werden.
Ziele
In dieser Anleitung wird Folgendes beschrieben:
- Erstellen Sie eine Daten-Input-Stream-Ressource.
- Beginnen Sie mit dem Streamen von Videodaten in diese Streamressource.
- Leere Anwendung erstellen
- Fügen Sie Ihrer Anwendung Knoten hinzu, um Daten zu streamen, zu ändern und zu speichern.
- Stellen Sie die App für die Verwendung bereit.
- Ausgabe der verarbeiteten Daten in der Google Cloud Console ansehen
Bevor Sie mit diesem Tutorial beginnen, benötigen Sie eine Streaming-Videoressource, an die Sie Daten an Ihre Gemini Enterprise Agent Platform Vision-App senden können. Diese Ressource kann entweder ein lokales Video oder ein RTSP-Feed sein. Diese Videodaten müssen menschliche Gesichter enthalten, die von der Beispiel-App unkenntlich gemacht werden können.
Kosten
In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:
- Agent Platform Vision (Streams - Data ingested, Streams - Data consumed, Models - Person / face blur, Warehouse - Video storage)
Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen.
Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.
Hinweis
- Rufen Sie den Speicherort Ihrer Streaming-Videoquelle ab, entweder lokal (z. B.
./sample_video.mp4) oder die IP-Adresse des Live-RTSP-Feeds (z. B.rtsp://192.168.1.180:540). Sie benötigen diese Informationen, um nach dem Erstellen der Stream-Ressource mit der Aufnahme von Daten in einen Stream zu beginnen. - Melden Sie sich in Ihrem Google Cloud -Konto an. Wenn Sie mit Google Cloudnoch nicht vertraut sind, erstellen Sie einfach ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Vision AI API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Create a service account:
-
Ensure that you have the Create Service Accounts IAM role
(
roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles. -
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart. - Click Create and continue.
-
Grant the Vision AI > Vision AI Editor role to the service account.
To grant the role, find the Select a role list, then select Vision AI > Vision AI Editor.
- Click Continue.
-
Click Done to finish creating the service account.
Do not close your browser window. You will use it in the next step.
-
Ensure that you have the Create Service Accounts IAM role
(
-
Create a service account key:
- In the Google Cloud console, click the email address for the service account that you created.
- Click Keys.
- Click Add key, and then click Create new key.
- Click Create. A JSON key file is downloaded to your computer.
- Click Close.
-
Set the environment variable
GOOGLE_APPLICATION_CREDENTIALSto the path of the JSON file that contains your credentials. This variable applies only to your current shell session, so if you open a new session, set the variable again. -
Install the Google Cloud CLI.
-
If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init -
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Vision AI API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Create a service account:
-
Ensure that you have the Create Service Accounts IAM role
(
roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles. -
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart. - Click Create and continue.
-
Grant the Vision AI > Vision AI Editor role to the service account.
To grant the role, find the Select a role list, then select Vision AI > Vision AI Editor.
- Click Continue.
-
Click Done to finish creating the service account.
Do not close your browser window. You will use it in the next step.
-
Ensure that you have the Create Service Accounts IAM role
(
-
Create a service account key:
- In the Google Cloud console, click the email address for the service account that you created.
- Click Keys.
- Click Add key, and then click Create new key.
- Click Create. A JSON key file is downloaded to your computer.
- Click Close.
-
Set the environment variable
GOOGLE_APPLICATION_CREDENTIALSto the path of the JSON file that contains your credentials. This variable applies only to your current shell session, so if you open a new session, set the variable again. -
Install the Google Cloud CLI.
-
If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init vaictl-Tool zum Erfassen von Daten in einem Stream installieren (Betriebssystem: Debian GNU/Linux, CPU-Architektur: x86_64):- Laden Sie das erforderliche Paket herunter:
wget https://github.com/google/visionai/releases/download/v0.0.5/visionai_0.0-5_amd64.deb
- Führen Sie nach dem Herunterladen des Pakets den folgenden Befehl in dem Verzeichnis aus, in das Sie die Datei heruntergeladen haben:
sudo apt install ./visionai_0.0-5_amd64.deb
- Installation prüfen:
vaictl --help
- Laden Sie das erforderliche Paket herunter:
Stream erstellen
Wenn Sie eine App zur Analyse von Streamingvideos erstellen möchten, müssen Sie zuerst eine Streamressource erstellen und registrieren. Als Ressource, die die Videodaten von den Nutzern empfängt, ist der Stream für jedes Szenario erforderlich, das Sie mit Gemini Enterprise Agent Platform Vision erstellen.Console
So erstellen Sie einen neuen Stream in der Google Cloud Console:
Öffnen Sie den Tab Streams des Gemini Enterprise Agent Platform Vision-Dashboards.
Klicken Sie auf Registrieren.
Geben Sie
input-streamals Streamnamen ein und wählen Sie die Region aus, in der Sie den Stream erstellen möchten.Klicken Sie auf Registrieren, um einen oder mehrere Streams zu erstellen.
Video in den Stream aufnehmen
Nachdem Sie eine Streamressource erstellt haben, können Sie mit dem vaictl-Befehlszeilentool Videodaten an den Stream senden.
IP-Kamera
Wenn Sie mit einer Live-IP-Kamera testen, benötigen Sie die IP-Adresse der Kamera. Sie müssen diese Informationen zusammen mit anderen Variablenersetzungen in der Anfrage angeben:
- PROJECT_ID: Ihre Google Cloud Projekt-ID
- LOCATION_ID: Ihre Standort-ID. Beispiel:
us-central1. Weitere Informationen finden Sie unter Cloud-Standorte. - RTSP_ADDRESS: Die Adresse Ihres RTSP-Feeds (Real Time Streaming Protocol). Beispiel:
rtsp://192.168.1.180:540.
Mit diesem Befehl wird ein RTSP-Feed in den Stream gesendet. Sie müssen diesen Befehl in dem Netzwerk ausführen, das direkten Zugriff auf den RTSP-Feed hat.
vaictl -p PROJECT_ID \
-l LOCATION_ID \
-c application-cluster-0 \
--service-endpoint visionai.googleapis.com \
send rtsp to streams input-stream --rtsp-uri RTSP_ADDRESS
Wenn der Befehl erfolgreich ausgeführt wird, erhalten Sie die folgende Ausgabe:
[...] Waiting for long running operation projects/your-project/locations/us-central1/operations/operation-1651364156981-5dde82db7e4a9-dfb17ca5-1051eb20 ⠙ I20220430 21:16:28.024988 211449 gstvaisink.cc:417] cluster-id=application-cluster-0 I20220430 21:16:28.025032 211449 gstvaisink.cc:418] cluster-endpoint=c8khq35ftg78mn61ef50.us-central1.visionai.goog I20220430 21:16:28.025040 211449 gstvaisink.cc:419] event-id=ev-1651364114183255223 I20220430 21:16:28.025048 211449 gstvaisink.cc:420] stream-id=input-stream I20220430 21:16:28.025053 211449 gstvaisink.cc:421] series-id=ev-1651364114183255223--input-stream I20220430 21:16:28.025060 211449 gstvaisink.cc:422] Sending data
Lokale Videodatei
Sie können auch Videodateidaten an einen Stream senden, anstatt einen Live-Videofeed zu verwenden. Diese Option kann nützlich sein, wenn Sie keinen Zugriff auf eine IP-Kamera haben.
Der einzige Unterschied bei dieser Option sind die vaictl-Befehlsparameter. Übergeben Sie stattdessen den Pfad für die lokale Videodatei. Ersetzen Sie die folgenden Variablen:
- PROJECT_ID: Ihre Google Cloud Projekt-ID
- LOCATION_ID: Ihre Standort-ID. Beispiel:
us-central1. Weitere Informationen - LOCAL_FILE.EXT: Der Dateiname einer lokalen Videodatei.
Beispiel:
my-video.mp4. --loop-Flag: Optional. Die Datei wird in einer Schleife wiederholt, um Streaming zu simulieren.
Mit diesem Befehl wird eine Videodatei in einen Stream übertragen. Wenn Sie das Flag --loop verwenden, wird das Video im Stream wiederholt, bis Sie den Befehl beenden:
vaictl -p PROJECT_ID \
-l LOCATION_ID \
-c application-cluster-0 \
--service-endpoint visionai.googleapis.com \
send video-file to streams 'input-stream' --file-path LOCAL_FILE.EXT --loop
Es kann etwa 100 Sekunden dauern, bis das Video nach dem Starten des vaictl-Aufnahmevorgangs im Dashboard angezeigt wird.
Sobald die Streamaufnahme verfügbar ist, können Sie den Videofeed auf dem Tab Streams des Gemini Enterprise Agent Platform Vision-Dashboards sehen, indem Sie den Stream input-stream auswählen.
Anwendung zum Unkenntlichmachen von Gesichtern erstellen
Nachdem Sie einen Stream erstellt und Daten in den Stream aufgenommen haben, können Sie eine Gemini Enterprise Agent Platform Vision-App erstellen, um die Daten zu verarbeiten. Eine App kann als automatisierte Pipeline betrachtet werden, die Folgendes verbindet:
- Datenaufnahme: Ein Videofeed wird in einen Stream aufgenommen.
- Datenanalyse: Nach der Aufnahme kann ein KI-Modell hinzugefügt werden. Alle Computer Vision-Vorgänge können für die aufgenommenen Videoinformationen ausgeführt werden.
- Datenspeicherung: Die beiden Versionen des Videofeeds (der ursprüngliche Stream und der vom KI-Modell verarbeitete Stream) können in einem Media Warehouse gespeichert werden.
In der Google Cloud Console wird eine Anwendung als Grafik dargestellt. Außerdem muss ein App-Diagramm in Gemini Enterprise Agent Platform Vision mindestens zwei Knoten haben: einen Videobronnenknoten (Stream) und mindestens einen weiteren Knoten (ein Verarbeitungsmodell oder ein Ausgabeziel).
Leere Anwendung erstellen
Bevor Sie den App-Graphen füllen können, müssen Sie zuerst eine leere App erstellen.Console
Erstellen Sie eine Anwendung in der Google Cloud Console.
Öffnen Sie den Tab Anwendungen im Gemini Enterprise Agent Platform Vision-Dashboard.
Klicken Sie auf den Button Erstellen.
Geben Sie
person-blur-appals App-Namen ein und wählen Sie Ihre Region aus.Klicken Sie auf Erstellen.
Knoten für Anwendungskomponenten hinzufügen
Nachdem Sie die leere Anwendung erstellt haben, können Sie dem Anwendungsdiagramm die drei Knoten hinzufügen:
- Aufnahmeknoten: Die Stream-Ressource, die bereits Daten aufnimmt.
- Verarbeitungsknoten: Das Modell zur Unkenntlichmachung von Personen, das auf aufgenommene Daten angewendet wird.
- Speicherknoten: Das Media Warehouse, in dem verarbeitete Videos gespeichert werden und das auch als Metadatenspeicher dient. Im Data Warehouse können Analysedaten zu aufgenommenen Videodaten sowie Informationen gespeichert werden, die von den KI-Modellen aus den Daten abgeleitet werden.
Console
Fügen Sie Ihrer App in der Konsole Knoten für Komponenten hinzu.
Öffnen Sie den Tab Anwendungen im Gemini Enterprise Agent Platform Vision-Dashboard.
Wählen Sie in der Liste neben dem Namen Ihrer
person-blur-app-Anwendung App ansehen aus. Sie werden zur grafischen Darstellung der Verarbeitungspipeline weitergeleitet.
Datenaufnahmeknoten hinzufügen
Wenn Sie den Knoten für den Eingabestream hinzufügen möchten, wählen Sie im seitlichen Menü im Abschnitt Connectors die Option Streams aus.
Wählen Sie im sich öffnenden Menü Stream im Abschnitt Quelle die Option Streams hinzufügen aus.
Wählen Sie im Menü Streams hinzufügen die Option Aus vorhandenen Streams auswählen aus und wählen Sie
person-blur-appaus der Liste der Streamressourcen aus.
Klicken Sie auf Streams hinzufügen, um den Stream dem App-Diagramm hinzuzufügen.
Knoten zur Datenverarbeitung hinzufügen
Wenn Sie den Knoten für das Modell zum Unkenntlichmachen von Personen hinzufügen möchten, wählen Sie im seitlichen Menü im Abschnitt Allgemeine Prozessoren die Option Personen unkenntlich machen aus.
Lassen Sie im Optionsmenü „Personen unkenntlich machen“, das sich öffnet, Vollständige Unkenntlichmachung ausgewählt und aktivieren Sie die Option Nur Gesichter unkenntlich machen.

Datenspeicherknoten hinzufügen
Wenn Sie den Knoten für den Ausgabespeicherort (Speicher) hinzufügen möchten, wählen Sie im seitlichen Menü im Abschnitt Connectors die Option Media Warehouse der Gemini Enterprise Agent Platform Vision aus.
Klicken Sie im Menü Media Warehouse von Gemini Enterprise Agent Platform Vision auf Warehouse verbinden.
Wählen Sie im Menü Warehouse verbinden die Option Neues Warehouse erstellen aus. Geben Sie dem Warehouse den Namen
person-blur-appund belassen Sie die TTL-Dauer bei 14 Tagen.Klicken Sie auf Erstellen, um das Warehouse hinzuzufügen.

Anwendung bereitstellen
Nachdem Sie Ihre End-to-End-Anwendung mit allen erforderlichen Komponenten erstellt haben, müssen Sie sie im letzten Schritt bereitstellen.Console
Öffnen Sie den Tab Anwendungen des Gemini Enterprise Agent Platform Vision-Dashboards.
Wählen Sie in der Liste neben dem Namen Ihrer
person-blur-app-Anwendung die Option Anwendung ansehen aus.Klicken Sie auf der Seite „Application Graph Builder“ (Anwendungsgrafik-Generator) auf die Schaltfläche Deploy (Bereitstellen).
Wählen Sie im folgenden Bestätigungsdialogfeld Bereitstellen aus.
Der Bereitstellungsvorgang kann einige Minuten dauern. Nach Abschluss der Bereitstellung werden neben den Knoten grüne Häkchen angezeigt.
Verarbeitete Ausgabedaten ansehen
Console
Öffnen Sie den Tab Warehouses des Gemini Enterprise Agent Platform Vision-Dashboards.
Suchen Sie in der Liste nach dem
person-blur-output-storage-Warehouse und klicken Sie auf Assets ansehen.
Bereinigen
Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.
Projekt löschen
- Wechseln Sie in der Google Cloud -Console zur Seite Ressourcen verwalten.
- Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
- Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.
Einzelne Ressourcen löschen
Warehouse löschen
- Rufen Sie in der Google Cloud Console die Seite Warehouses auf.
-
Suchen Sie
Ihr
person-blur-output-storage-Warehouse. - Klicken Sie zum Löschen des Data Warehouse auf Aktionen und dann auf Data Warehouse löschen. Folgen Sie der Anleitung.
Stream löschen
- Rufen Sie in der Google Cloud Console die Seite Streams auf.
-
Suchen Sie den -Stream
input-stream. - Klicken Sie zum Löschen des Streams auf Aktionen, dann auf Stream löschen und folgen Sie der Anleitung.
App löschen
- Rufen Sie in der Google Cloud Console die Seite Anwendungen auf.
-
Suchen Sie
Ihre
person-blur-app-App. - Klicken Sie zum Löschen der Anwendung auf Aktionen, dann auf Anwendung löschen und folgen Sie dann der Anleitung.
Nächste Schritte
- Weitere Informationen zu Verantwortungsbewusste KI-Praktiken.
- Weitere Informationen zu anderen Komponenten, die Sie einer Anwendung hinzufügen können, finden Sie unter Anwendung erstellen.
- Weitere Informationen zu anderen Ausgabespeicher- und Verarbeitungsoptionen finden Sie unter Anwendungsausgabe mit einem Datenziel verbinden.
- Warehouse-Daten in der Console suchen
- Referenzarchitekturen, Diagramme und Best Practices zu Google Cloud kennenlernen. Weitere Informationen zu Cloud Architecture Center