הגדרת פרויקט וסביבת פיתוח

במדריך הזה מוסבר איך להגדיר פרויקט ב- Google Cloud כדי להתחיל להשתמש ב-Gemini Enterprise Agent Platform Vision.

הגדרת הפרויקט

נכנסים לחשבון Google Cloud . אם אתם משתמשים חדשים ב- Google Cloud, צרו חשבון כדי שתוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את Vertex AI Vision API:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

gcloud services enable visionai.googleapis.com

מגדירים את האימות:

1. מוודאים שיש לכם את תפקיד ה-IAM ‏Create Service Accounts ‏(roles/iam.serviceAccountCreator) ואת תפקיד ה-IAM ‏Project Admin ‏(roles/resourcemanager.projectIamAdmin). איך מקצים תפקידים

2. יוצרים את חשבון השירות:

   gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

   מחליפים את הערך SERVICE_ACCOUNT_NAME בשם שרוצים לתת לחשבון השירות.

3. מקצים לחשבון השירות את התפקיד roles/visionai.editor ב-IAM:

   gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=roles/visionai.editor

   מחליפים את מה שכתוב בשדות הבאים:

   • SERVICE_ACCOUNT_NAME: השם של חשבון השירות
   • PROJECT_ID: מזהה הפרויקט שבו יצרתם את חשבון השירות
   הערה: הדגל --role קובע לאילו משאבים בפרויקט לחשבון השירות תהיה גישה. אתם יכולים לבטל את התפקידים האלה או להוסיף עוד תפקידים מאוחר יותר.

4. יוצרים את קובץ המַפְתח:

   gcloud iam service-accounts keys create FILE_NAME.json --iam-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

   מחליפים את מה שכתוב בשדות הבאים:

   • FILE_NAME: שם לקובץ המַפְתח
   • SERVICE_ACCOUNT_NAME: השם של חשבון השירות
   • PROJECT_ID: מזהה הפרויקט שבו יצרתם את חשבון השירות

מגדירים את משתנה הסביבה GOOGLE_APPLICATION_CREDENTIALS לנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה. המשתנה הזה חל רק על סשן המעטפת הנוכחי, כך שאם פותחים סשן חדש צריך להגדיר את המשתנה שוב.

למשל: Linux או macOS

export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

מחליפים את KEY_PATH בנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה.

לדוגמה:

export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

למשל: Windows

ל-PowerShell:

$env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

מחליפים את KEY_PATH בנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה.

לדוגמה:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

בשורת הפקודה:

set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

מחליפים את KEY_PATH בנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה.

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (יצירת פרויקטים) (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את Vertex AI Vision API:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, צריך את תפקיד ה-IAM 'אדמין של Service Usage' (roles/serviceusage.serviceUsageAdmin), שכולל את ההרשאה serviceusage.services.enable. איך מקצים תפקידים

gcloud services enable visionai.googleapis.com

מגדירים את האימות:

1. מוודאים שיש לכם את תפקיד ה-IAM ‏Create Service Accounts ‏(roles/iam.serviceAccountCreator) ואת תפקיד ה-IAM ‏Project Admin ‏(roles/resourcemanager.projectIamAdmin). איך מקצים תפקידים

2. יוצרים את חשבון השירות:

   gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

   מחליפים את הערך SERVICE_ACCOUNT_NAME בשם שרוצים לתת לחשבון השירות.

3. מקצים לחשבון השירות את התפקיד roles/visionai.editor ב-IAM:

   gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=roles/visionai.editor

   מחליפים את מה שכתוב בשדות הבאים:

   • SERVICE_ACCOUNT_NAME: השם של חשבון השירות
   • PROJECT_ID: מזהה הפרויקט שבו יצרתם את חשבון השירות
   הערה: הדגל --role קובע לאילו משאבים בפרויקט לחשבון השירות תהיה גישה. אתם יכולים לבטל את התפקידים האלה או להוסיף עוד תפקידים מאוחר יותר.

4. יוצרים את קובץ המַפְתח:

   gcloud iam service-accounts keys create FILE_NAME.json --iam-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

   מחליפים את מה שכתוב בשדות הבאים:

   • FILE_NAME: שם לקובץ המַפְתח
   • SERVICE_ACCOUNT_NAME: השם של חשבון השירות
   • PROJECT_ID: מזהה הפרויקט שבו יצרתם את חשבון השירות

מגדירים את משתנה הסביבה GOOGLE_APPLICATION_CREDENTIALS לנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה. המשתנה הזה חל רק על סשן המעטפת הנוכחי, כך שאם פותחים סשן חדש צריך להגדיר את המשתנה שוב.

למשל: Linux או macOS

export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

מחליפים את KEY_PATH בנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה.

לדוגמה:

export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

למשל: Windows

ל-PowerShell:

$env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

מחליפים את KEY_PATH בנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה.

לדוגמה:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

בשורת הפקודה:

set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

מחליפים את KEY_PATH בנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה.

תפקידים: בהתאם לתרחיש השימוש, יכול להיות שהתפקיד project.editor יתאים יותר. אם מקצים את התפקיד visionai.editor בלבד לקישור המדיניות, צריך להקצות תפקידים נוספים לפעולות מסוימות. לדוגמה, צריך להוסיף bigquery.dataEditor כדי להשתמש במחבר BigQuery,‏ cloudfunctions.developer כדי להשתמש בפונקציות של Cloud Run וכו'.

כדי לבצע משימות מסוימות, צריך להשתמש בGoogle Cloud מוצרים נוספים מלבד Agent Platform Vision. יכול להיות שתצטרכו לבצע משימות הגדרה נוספות כדי להשתמש במוצרים אחרים של Google Cloud Google.

‫Gemini Enterprise Agent Platform Vision SDK

ערכת פיתוח התוכנה (SDK) של Agent Platform Vision מכילה כלים וספריות לפיתוח תוכניות ותהליכי עבודה מותאמים אישית באמצעות Agent Platform Vision.

הכלים האלה הם קבוצה של קובצי מקור בינאריים שעוזרים לכם להיות פרודוקטיביים כשאתם משתמשים בפתרונות או מפתחים פתרונות באמצעות Agent Platform Vision. אפשר גם להוסיף את קובצי המקור הבינאריים האלה לסקריפטים כדי לנהל פריסות בקנה מידה גדול יותר. ממשק שורת הפקודה (CLI) vaictl הוא דוגמה לקטגוריה הזו.

הספריות הן קבוצה של ממשקי API לתכנות שאפשר להשתמש בהם כדי לנהל, לשלוט ולבצע קלט/פלט של צורות שונות באופן פרוגרמטי באמצעות Agent Platform Vision. דוגמה לקטגוריה הזו היא C++ programming API.

הקוד של שני הכלים והספריות הוא קוד פתוח, ואנחנו מזמינים מפתחים ליצור אותם ישירות. בנוסף, אנחנו מציעים כלים בצורת קבצים בינאריים מוכנים מראש בפלטפורמות ספציפיות שאפשר להוריד לשימוש ישיר. בנוסף, אנחנו מציעים תמונות Docker למקרים שבהם הפלטפורמה שלכם לא נתמכת ישירות.

דרישות מוקדמות

לפני שמשתמשים ב-Gemini Enterprise Agent Platform Vision SDK, כדאי לקרוא את הדרישות המוקדמות הבאות.

פלטפורמות נתמכות

אנחנו תומכים ישירות רק במכונות x86 שמופעלת בהן הפצת Linux מבוססת Debian. אם אתם משתמשים בפלטפורמה אחרת, אנחנו מציעים גם קובץ אימג' של Docker עם כלים שכבר בנויים ומוגדרים.

דרישות נוספות לגבי תוכנה

רוב התלויות בתוכנות של צד שלישי שנדרשות ל-SDK של Gemini Enterprise Agent Platform Vision מנוהלות באופן אוטומטי כשמתקינים את הקבצים הבינאריים המובנים מראש. עם זאת, כדי להשתמש בהיבטים מסוימים של התכונות ושל תהליכי העבודה של ה-SDK, צריך להתקין תלות נוספת. בקטע הזה מפורטים החריגים האלה ומוסבר איך להוריד ולהתקין אותם.

Python SDK

חבילת Python pip מתקינה את כל יחסי התלות שלה באופן אוטומטי. עם זאת, התקנת Python הבסיסית צריכה לעמוד בתנאים הבאים:

• ‫Python >= 3.8.

בנייה מיחסי תלות במקור

רוב המשתמשים יכולים להשתמש בקבצים הבינאריים של ה-SDK שנוצרו מראש בתהליך העבודה שלהם. אם אתם רוצים לפתח ולבנות את ה-SDK מהמקור, אתם צריכים לוודא שהמערכת שלכם עומדת בדרישות הבאות.

• מתקינים את Bazel. הוראות התקנה מופיעות במסמכי Bazel.

• ב-Ubuntu 20.04, צריך גם כמה תלותיות במערכת. אפשר להתקין אותם באמצעות הפקודה הבאה:

  apt-get install -y --no-install-recommends \
      autoconf \
      automake \
      build-essential \
      ca-certificates \
      flex \
      bison \
      python3 \
      nasm \
      libjpeg-dev
  

קבלת קבצים בינאריים מוכנים מראש

הכלי vaictl הוא כלי בינארי מוכן לשימוש שאפשר להשתמש בו כדי לשלוט ב-Agent Platform Vision, וגם כדי לשלוח ולקבל נתונים שהוא מעבד.

בקטע הזה מוסבר איך להוריד ולהתקין את הכלי הזה.

התקנת חבילת Debian

יש שתי אפשרויות לשימוש בכלי vaictl של שורת הפקודה, שנדרש לעבודה עם קלט/פלט (נתונים של מקור נתונים):

• התקנה מקומית של כלי שורת הפקודה (מערכת הפעלה: Debian GNU/Linux, ארכיטקטורת CPU: x86_64) או
• מריצים את הפקודות בקובץ אימג' של Docker שבו מותקנות כל התלויות.

השתמש בשלבים הבאים כדי לקבל את כלי שורת הפקודה vaictl:

הורדת חבילה

להתקנות ישירות, אנחנו תומכים רק בהפצות Debian/Ubuntu.

אפשר גם להוריד את חבילת Debian הזו מדף הגרסאות של Gemini Enterprise Agent Platform Vision SDK ב-GitHub.

1. (אופציונלי) מסירים גרסאות קודמות של vaictl.

   כדי להתקין את כלי שורת הפקודה vaictl, צריך קודם למחוק מהמחשב גרסאות קודמות של הכלי:

   sudo apt-get remove visionai

2. מורידים את החבילה הנדרשת. אפשר להוריד את החבילה מדף הגרסאות של GitHub או להשתמש בפקודה הבאה:

   wget https://github.com/google/visionai/releases/download/v0.0.5/visionai_0.0-5_amd64.deb

3. אחרי שמורידים את החבילה, מריצים את הפקודה הבאה בספרייה שבה הורדתם את הקובץ:

   sudo apt install ./visionai_0.0-5_amd64.deb

4. אימות ההתקנה:

   vaictl --help

הורדת Docker

אתם יכולים לקבל קובץ אימג' של Docker שבו כבר מותקנים מראש Vision SDK של Gemini Enterprise Agent Platform וכל התלויות שלו. קובץ האימג' של Docker זמין בכתובת gcr.io/visionai-public-images/vaictl.

1. מורידים את התמונה מ-Container Registry:

   docker pull gcr.io/visionai-public-images/vaictl

2. מריצים מסוף אינטראקטיבי של מאגר.

   docker run -it --rm gcr.io/visionai-public-images/vaictl /bin/bash

3. בודקים את הפונקציונליות:

   vaictl --help

קבלת קוד המקור

‫Gemini Enterprise Agent Platform Vision SDK הוא קוד פתוח וזמין לציבור ב-GitHub.

ערכת ה-SDK תלויה בהגדרות של ממשקי ה-API של השירות, אבל התלות הזו כבר מנוהלת באופן אוטומטי על ידי Bazel, ולא צריך להשיג אותה באופן מפורש. עם זאת, אם אתם צריכים גישה ישירה לממשקי ה-API של השירות, תוכלו לקבל אותם ממאגר GitHub‏ googleapis.

Python programming SDK

‫Agent Platform Vision תומך גם ב-Python SDK. כדי לתכנת באמצעות ה-SDK הזה, צריך לוודא שאתם עומדים בדרישות הבסיסיות של Python SDK לפני שמתקינים את Python SDK.

מידע נוסף על ה-SDK מופיע במאמרי העזרה של Python SDK.

דוגמאות לקוד שמשתמש ב-Python SDK מופיעות במדריך בנושא טשטוש פנים באמצעות Python SDK, או בדוגמאות שמופיעות בהפצת המקור בספרייה visionai/python/examples/.

הורדת חבילת Python SDK

‫Gemini Enterprise Agent Platform Vision SDK מכיל גם ספריית Python. מורידים ומתקינים את הגרסה המוכנה מראש של Python SDK באמצעות ההוראות הבאות.

1. מורידים את החבילה.

   אפשר להוריד את חבילת Python SDK מדף הגרסאות של Gemini Enterprise Agent Platform Vision SDK ב-GitHub, או להריץ את הפקודה:

   wget https://github.com/google/visionai/releases/download/v0.0.5/visionai-0.0.5-py3-none-any.whl
   

2. זה שינוי אופציונלי. יוצרים ומפעילים סביבה וירטואלית חדשה:

   python3 -m venv vaivenv
   source vaivenv/bin/activate
   

3. מתקינים את החבילה:

   pip3 install visionai-0.0.5-py3-none-any.whl
   

4. זה שינוי אופציונלי. מוודאים שההתקנה בוצעה בהצלחה:

   python3
   

   import visionai
   

5. זה שינוי אופציונלי. משביתים את הסביבה הווירטואלית:

   deactivate
   

‫C++ programming SDK

‫C++ הוא ה-SDK הראשון לתכנות שאנחנו תומכים בו. ה-SDK הציבורי בשפת C++‎ נמצא בתיקייה visionai/public/streams.h. מידע נוסף מופיע במסמכי התיעוד.

המאמרים הבאים

• אופציונלי: איך ליצור ולבדוק באמצעות C++ SDK
• במאמר יצירת אפליקציה מוסבר איך להטמיע נתונים באפליקציה ואיך להוסיף רכיבי עיבוד.
• מידע על אפשרויות העיבוד והאחסון של הפלט זמין במאמר קישור פלט של אפליקציה ליעד נתונים .
• איך מחפשים נתונים במחסן הנתונים במסוף