Gemini Enterprise Agent Platform Vision היא פלטפורמה מבוססת-AI שמאפשרת להטמיע, לנתח ולאחסן נתוני וידאו ב-. Gemini Enterprise Agent Platform Vision מאפשרת לכם ליצור ולפרוס אפליקציות AI. אתם יכולים לבנות פתרונות ראייה מקצה לקצה באמצעות Gemini Enterprise Agent Platform Vision על ידי מינוף השילוב של Gemini Enterprise Agent Platform Vision עם רכיבי מוצר אחרים.
כדי להתחיל להטמיע פתרונות באמצעות פלטפורמת Vision של Gemini Enterprise Agent Platform, כדאי לעיין במושגים וברכיבים הבאים של פלטפורמת Vision של Agent Platform:
Streams: מייצג שכבת סטרימינג של וידאו מהפתרון שלכם. מקור השידור יכול להיות וידאו בשידור חי (לדוגמה, מצלמת IP) או קובץ וידאו (לדוגמה, קובץ MP4).
אפליקציות: הפעלת החיבור בין סטרימינג למעבד AI כדי לבצע פעולת למידת מכונה בסרטון. לדוגמה, אפשר לחבר סטרימינג ממצלמה למודל AI שסופר את האנשים שעוברים מול המצלמה.
מחסני מדיה: אחסון הסרטון שנקלט על ידי הזרמות בGoogle Cloud אחסון. אחסון הנתונים ביעד הזה מאפשר לשלוח שאילתות על פלט הניתוח ועל המטא-נתונים ממעבדי ה-AI שמשמשים לעיבוד באמצעות AI של נתונים מהסטרימינג שנקלט.
מטרות
במדריך הזה מוסבר איך:
- יוצרים מקור לנתוני קלט.
- מתחילים להזרים נתוני וידאו למשאב הסטרימינג הזה.
- יוצרים אפליקציה ריקה.
- מוסיפים צמתים לאפליקציה כדי להזרים נתונים, לשנות נתונים ולאחסן נתונים.
- לפרוס את האפליקציה כדי שתוכלו להשתמש בה.
- צפייה בפלט של הנתונים שעברו עיבוד ב Google Cloud מסוף.
לפני שמתחילים את המדריך הזה, צריך שיהיה לכם מקור של סרטון סטרימינג כדי לשלוח נתונים לאפליקציית Vision בפלטפורמת הסוכנים של Gemini Enterprise. המקור יכול להיות סרטון מקומי או פיד RTSP. נתוני הווידאו האלה צריכים לכלול פנים של בני אדם, שאפליקציית הדוגמה יכולה לטשטש.
עלויות
במסמך הזה משתמשים ברכיבים הבאים של Google Cloud, והשימוש בהם כרוך בתשלום:
- Agent Platform Vision (Streams - Data ingested, Streams - Data consumed, Models - Person / face blur, Warehouse - Video storage)
כדי ליצור הערכת עלויות בהתאם לשימוש החזוי, אתם יכולים להשתמש במחשבון התמחור.
כשמסיימים את המשימות שמתוארות במסמך הזה אפשר למחוק את המשאבים שיצרתם כדי להימנע מחיובים נוספים. מידע נוסף זמין בקטע הסרת המשאבים.
לפני שמתחילים
- מאתרים את המיקום של מקור הווידאו לסטרימינג, באופן מקומי (לדוגמה,
./sample_video.mp4) או כתובת ה-IP של פיד ה-RTSP בשידור חי (לדוגמה,rtsp://192.168.1.180:540). תצטרכו את המידע הזה כדי להתחיל להזין נתונים לסטרימינג אחרי שתיצרו את משאב הסטרימינג. - נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Vision AI API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Create a service account:
-
Ensure that you have the Create Service Accounts IAM role
(
roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles. -
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart. - Click Create and continue.
-
Grant the Vision AI > Vision AI Editor role to the service account.
To grant the role, find the Select a role list, then select Vision AI > Vision AI Editor.
- Click Continue.
-
Click Done to finish creating the service account.
Do not close your browser window. You will use it in the next step.
-
Ensure that you have the Create Service Accounts IAM role
(
-
Create a service account key:
- In the Google Cloud console, click the email address for the service account that you created.
- Click Keys.
- Click Add key, and then click Create new key.
- Click Create. A JSON key file is downloaded to your computer.
- Click Close.
-
Set the environment variable
GOOGLE_APPLICATION_CREDENTIALSto the path of the JSON file that contains your credentials. This variable applies only to your current shell session, so if you open a new session, set the variable again. -
Install the Google Cloud CLI.
-
If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init -
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the Vision AI API, if it is not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Create a service account:
-
Ensure that you have the Create Service Accounts IAM role
(
roles/iam.serviceAccountCreator) and the Project IAM Admin role (roles/resourcemanager.projectIamAdmin). Learn how to grant roles. -
In the Google Cloud console, go to the Create service account page.
Go to Create service account - Select your project.
-
In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.
In the Service account description field, enter a description. For example,
Service account for quickstart. - Click Create and continue.
-
Grant the Vision AI > Vision AI Editor role to the service account.
To grant the role, find the Select a role list, then select Vision AI > Vision AI Editor.
- Click Continue.
-
Click Done to finish creating the service account.
Do not close your browser window. You will use it in the next step.
-
Ensure that you have the Create Service Accounts IAM role
(
-
Create a service account key:
- In the Google Cloud console, click the email address for the service account that you created.
- Click Keys.
- Click Add key, and then click Create new key.
- Click Create. A JSON key file is downloaded to your computer.
- Click Close.
-
Set the environment variable
GOOGLE_APPLICATION_CREDENTIALSto the path of the JSON file that contains your credentials. This variable applies only to your current shell session, so if you open a new session, set the variable again. -
Install the Google Cloud CLI.
-
If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.
-
To initialize the gcloud CLI, run the following command:
gcloud init - התקנת הכלי
vaictlלהזנת נתונים לזרם (מערכת הפעלה: Debian GNU/Linux, ארכיטקטורת CPU: x86_64):- מורידים את החבילה הנדרשת:
wget https://github.com/google/visionai/releases/download/v0.0.5/visionai_0.0-5_amd64.deb
- אחרי שמורידים את החבילה, מריצים את הפקודה הבאה בספרייה שבה הורדתם את הקובץ:
sudo apt install ./visionai_0.0-5_amd64.deb
- אימות ההתקנה:
vaictl --help
- מורידים את החבילה הנדרשת:
יצירת מקור נתונים
כדי ליצור אפליקציה לניתוח סרטונים בסטרימינג, קודם צריך ליצור ולרשום משאב סטרימינג. הזרם הוא המשאב שמקבל את נתוני הווידאו מהמשתמשים, ולכן הוא נדרש בכל תרחיש שיוצרים באמצעות Gemini Enterprise Agent Platform Vision.המסוף
כדי ליצור זרם חדש במסוף Google Cloud , פועלים לפי השלבים הבאים.
פותחים את הכרטיסייה Streams בלוח הבקרה של Gemini Enterprise Agent Platform Vision.
לוחצים על הרשמה.
מזינים את השם
input-streamכשם ה-stream ובוחרים את האזור שבו רוצים ליצור את ה-stream.לוחצים על Register (הרשמה) כדי ליצור זרם אחד או יותר.
הטמעת וידאו בשידור
אחרי שיוצרים משאב של שידור, אפשר להשתמש בכלי שורת הפקודה vaictl כדי לשלוח נתוני וידאו לשידור.
מצלמת IP
אם אתם בודקים באמצעות מצלמת IP פעילה, אתם צריכים לקבל את כתובת ה-IP של המצלמה. עליכם לספק את הפרטים האלה בבקשה, יחד עם החלפות משתנים אחרות:
- PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
- LOCATION_ID: מזהה המיקום. לדוגמה,
us-central1. מידע נוסף זמין במאמר מיקומים ב-Cloud. - RTSP_ADDRESS: הכתובת של פיד ה-Real Time Streaming Protocol (RTSP). לדוגמה,
rtsp://192.168.1.180:540.
הפקודה הזו שולחת פיד RTSP לשידור. צריך להריץ את הפקודה הזו ברשת שיש לה גישה ישירה לפיד ה-RTSP.
vaictl -p PROJECT_ID \
-l LOCATION_ID \
-c application-cluster-0 \
--service-endpoint visionai.googleapis.com \
send rtsp to streams input-stream --rtsp-uri RTSP_ADDRESS
אם הפקודה מופעלת בהצלחה, מקבלים את הפלט הבא:
[...] Waiting for long running operation projects/your-project/locations/us-central1/operations/operation-1651364156981-5dde82db7e4a9-dfb17ca5-1051eb20 ⠙ I20220430 21:16:28.024988 211449 gstvaisink.cc:417] cluster-id=application-cluster-0 I20220430 21:16:28.025032 211449 gstvaisink.cc:418] cluster-endpoint=c8khq35ftg78mn61ef50.us-central1.visionai.goog I20220430 21:16:28.025040 211449 gstvaisink.cc:419] event-id=ev-1651364114183255223 I20220430 21:16:28.025048 211449 gstvaisink.cc:420] stream-id=input-stream I20220430 21:16:28.025053 211449 gstvaisink.cc:421] series-id=ev-1651364114183255223--input-stream I20220430 21:16:28.025060 211449 gstvaisink.cc:422] Sending data
קובץ וידאו מקומי
אפשר גם לשלוח נתונים של קובץ וידאו לזרם במקום לפיד של סרטון בשידור חי. האפשרות הזו יכולה להיות שימושית אם אין לכם גישה למצלמת IP.
ההבדל היחיד באפשרות הזו הוא הפרמטרים של הפקודה vaictl. במקום להעביר את פרטי מצלמת ה-IP, מעבירים את הנתיב של קובץ הווידאו המקומי. מבצעים את ההחלפות הבאות של משתנים:
- PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
- LOCATION_ID: מזהה המיקום. לדוגמה,
us-central1. מידע נוסף - LOCAL_FILE.EXT: שם הקובץ של קובץ וידאו מקומי.
לדוגמה,
my-video.mp4. - הדגל
--loop: אופציונלי. הנתונים בקובץ מופעלים בלולאה כדי לדמות סטרימינג.
הפקודה הזו משדרת קובץ וידאו לשידור. אם משתמשים בדגל --loop, הסרטון חוזר על עצמו בשידור עד שמפסיקים את הפקודה:
vaictl -p PROJECT_ID \
-l LOCATION_ID \
-c application-cluster-0 \
--service-endpoint visionai.googleapis.com \
send video-file to streams 'input-stream' --file-path LOCAL_FILE.EXT --loop
יכול להיות שיעברו כ-100 שניות בין תחילת פעולת ההעברה vaictl לבין הופעת הסרטון בלוח הבקרה.
אחרי שהטמעת עדכונים בזמן אמת של השידור תהיה זמינה, תוכלו לראות את פיד סרטונים בכרטיסייה שידורים בלוח הבקרה של Gemini Enterprise Agent Platform Vision. לשם כך, צריך לבחור את השידור input-stream.
יצירת אפליקציה לטשטוש פנים
אחרי שיוצרים מקור נתונים ומזינים לתוכו נתונים, אפשר ליצור אפליקציית ראייה בפלטפורמת הסוכנים של Gemini Enterprise כדי לעבד את הנתונים. אפשר לחשוב על אפליקציה כעל צינור אוטומטי לעיבוד נתונים שמקשר בין הרכיבים הבאים:
- הטמעת נתונים: פיד סרטונים מוטמע בשידור.
- ניתוח נתונים: אפשר להוסיף מודל AI אחרי ההטמעה. אפשר לבצע כל פעולה של ראייה ממוחשבת על נתוני הווידאו שנקלטים.
- אחסון נתונים: אפשר לאחסן במחסן מדיה את שתי הגרסאות של פיד הווידאו (הסטרימינג המקורי והסטרימינג שעבר עיבוד על ידי מודל ה-AI).
במסוף Google Cloud , אפליקציה מיוצגת כתרשים. בנוסף, ב-Gemini Enterprise Agent Platform Vision, תרשים האפליקציה חייב לכלול לפחות שני צמתים: צומת של מקור וידאו (סטרימינג) ולפחות עוד צומת אחד (מודל עיבוד או יעד פלט).
יצירת אפליקציה ריקה
כדי לאכלס את תרשים האפליקציה, קודם צריך ליצור אפליקציה ריקה.המסוף
יוצרים אפליקציה במסוף Google Cloud .
פותחים את הכרטיסייה Applications בלוח הבקרה של Gemini Enterprise Agent Platform Vision.
לוחצים על הלחצן יצירה.
מזינים את
person-blur-appבתור שם האפליקציה ובוחרים את האזור.לוחצים על יצירה.
הוספת צמתים של רכיבי אפליקציה
אחרי שיוצרים את האפליקציה הריקה, אפשר להוסיף את שלושת הצמתים לגרף האפליקציה:
- צומת הטמעה: מקור הנתונים שמתבצעת בו כבר הטמעה של נתונים.
- צומת עיבוד: המודל לטשטוש פנים שפועל על הנתונים שנקלטו.
- צומת אחסון: מחסן המדיה שבו מאוחסנים הסרטונים שעברו עיבוד, ומשמש גם כמאגר מטא-נתונים. המחסן מאפשר ליצור מידע אנליטי על נתוני וידאו שהועברו אליו, וגם מידע על חנויות שהמודלים של ה-AI הסיקו מהנתונים.
המסוף
מוסיפים צמתי רכיבים לאפליקציה במסוף.
פותחים את הכרטיסייה Applications (אפליקציות) בלוח הבקרה של Gemini Enterprise Agent Platform Vision.
לצד השם של אפליקציית
person-blur-appברשימה, בוחרים באפשרות הצגת האפליקציה. כך עוברים להמחשה הגרפית של צינור העיבוד.
הוספת צומת להעברת נתונים
כדי להוסיף את צומת מקור הקלט, בוחרים באפשרות Streams בקטע Connectors בתפריט הצד.
בקטע מקור בתפריט סטרימינג שנפתח, לוחצים על הוספת סטרימים.
בתפריט Add streams, בוחרים באפשרות Select from existing streams ובוחרים את
person-blur-appמהרשימה של מקורות לסטרימינג.
כדי להוסיף את הזרם לתרשים האפליקציה, לוחצים על הוספת זרמים.
הוספת צומת לעיבוד נתונים
כדי להוסיף את הצומת של מודל טשטוש הפנים, בוחרים באפשרות טשטוש פנים בקטע מעבדים כלליים בתפריט הצד.
בתפריט האפשרויות של "טשטוש אנשים" שנפתח, משאירים את האפשרות Full occlusion מסומנת ומפעילים את האפשרות Blur faces only.

הוספה של צומת מאגר נתונים
כדי להוסיף את צומת יעד הפלט (אחסון), בוחרים באפשרות Gemini Enterprise Agent Platform Vision's Media Warehouse בקטע Connectors בתפריט הצד.
בתפריט Gemini Enterprise Agent Platform Vision's Media Warehouse, לוחצים על Connect warehouse (קישור למחסן).
בתפריט Connect warehouse, לוחצים על Create new warehouse. נותנים למחסן את השם
person-blur-appומשאירים את משך הזמן של TTL על 14 ימים.כדי להוסיף את המחסן, לוחצים על Create (יצירה).

פריסת האפליקציה
אחרי שיוצרים את האפליקציה מקצה לקצה עם כל הרכיבים הנדרשים, השלב האחרון הוא לפרוס אותה.המסוף
פותחים את הכרטיסייה Applications (אפליקציות) בלוח הבקרה של Gemini Enterprise Agent Platform Vision.
ברשימה, לצד שם האפליקציה של
person-blur-app, לוחצים על View app.בדף של הכלי ליצירת גרפים של אפליקציות, לוחצים על הלחצן Deploy (פריסה).
בתיבת הדו-שיח לאישור, לוחצים על Deploy.
יכול להיות שפעולת הפריסה תימשך כמה דקות. אחרי שהפריסה מסתיימת, מופיעים סימני וי ירוקים לצד הצמתים.
צפייה בנתוני הפלט שעברו עיבוד
המסוף
פותחים את הכרטיסייה Warehouses (מחסני נתונים) בלוח הבקרה Vision של Gemini Enterprise Agent Platform.
מחפשים את
person-blur-output-storageהמחסן ברשימה ולוחצים על הצגת נכסים.
הסרת המשאבים
כדי להימנע מחיובים בחשבון Google Cloud בגלל השימוש במשאבים שנעשה במסגרת המדריך הזה, אפשר למחוק את הפרויקט שמכיל את המשאבים או להשאיר את הפרויקט ולמחוק את המשאבים בנפרד.
מחיקת הפרויקט
- נכנסים לדף Manage resources במסוף Google Cloud .
- ברשימת הפרויקטים, בוחרים את הפרויקט שרוצים למחוק ולוחצים על Delete.
- כדי למחוק את הפרויקט, כותבים את מזהה הפרויקט בתיבת הדו-שיח ולוחצים על Shut down.
מחיקת משאבים בודדים
מחיקת מחסן
- נכנסים לדף Warehouses במסוף Google Cloud .
-
מאתרים את המחסן
person-blur-output-storage. - כדי למחוק את מחסן הנתונים, לוחצים על Actions (פעולות), על Delete warehouse (מחיקת מחסן נתונים) ופועלים לפי ההוראות.
מחיקת מקור נתונים
- נכנסים לדף Streams במסוף Google Cloud .
-
מאתרים את מקור הנתונים
input-stream. - כדי למחוק את הזרם, לוחצים על Actions (פעולות) ואז על Delete stream (מחיקת הזרם) ופועלים לפי ההוראות.
מחיקת אפליקציה
- נכנסים לדף Applications במסוף Google Cloud .
-
מאתרים את
האפליקציה
person-blur-app. - כדי למחוק את האפליקציה, לוחצים על Actions (פעולות), על Delete application (מחיקת האפליקציה) ופועלים לפי ההוראות.
המאמרים הבאים
- מידע נוסף על שיטות לפיתוח אחראי של AI
- מידע על רכיבים אחרים שאפשר להוסיף לאפליקציה זמין במאמר יצירת אפליקציה.
- מידע נוסף על אפשרויות אחרות לאחסון ולעיבוד של פלט זמין במאמר קישור פלט של אפליקציה ליעד נתונים .
- איך מחפשים נתונים במחסן הנתונים במסוף
- כדאי להעמיק את הקריאה ולהכיר דוגמאות לארכיטקטורות, תרשימים ושיטות מומלצות בנושאי Google Cloud. כל אלה זמינים במרכז הארכיטקטורה של Cloud.