הגדרת פרויקט וסביבת פיתוח

במדריך הזה מוסבר איך להגדיר פרויקט ב- Google Cloud כדי להתחיל להשתמש ב-Gemini Enterprise Agent Platform Vision.

הגדרת הפרויקט

נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את Vertex AI Vision API, אם הוא עדיין לא מופעל:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

gcloud services enable visionai.googleapis.com

מגדירים את האימות:

1. מוודאים שיש לכם את תפקיד ה-IAM ‏Create Service Accounts ‏(roles/iam.serviceAccountCreator) ואת תפקיד ה-IAM ‏Project Admin ‏(roles/resourcemanager.projectIamAdmin). איך מקצים תפקידים

2. יוצרים את חשבון השירות:

   gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

   מחליפים את הערך SERVICE_ACCOUNT_NAME בשם שרוצים לתת לחשבון השירות.

3. מקצים לחשבון השירות את התפקיד roles/visionai.editor ב-IAM:

   gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=roles/visionai.editor

   מחליפים את מה שכתוב בשדות הבאים:

   • SERVICE_ACCOUNT_NAME: השם של חשבון השירות
   • PROJECT_ID: מזהה הפרויקט שבו יצרתם את חשבון השירות
   הערה: הדגל --role קובע לאילו משאבים בפרויקט לחשבון השירות תהיה גישה. אתם יכולים לבטל את התפקידים האלה או להוסיף עוד תפקידים מאוחר יותר.

4. יוצרים את קובץ המַפְתח:

   gcloud iam service-accounts keys create FILE_NAME.json --iam-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

   מחליפים את מה שכתוב בשדות הבאים:

   • FILE_NAME: שם לקובץ המַפְתח
   • SERVICE_ACCOUNT_NAME: השם של חשבון השירות
   • PROJECT_ID: מזהה הפרויקט שבו יצרתם את חשבון השירות

מגדירים את משתנה הסביבה GOOGLE_APPLICATION_CREDENTIALS לנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה. המשתנה הזה חל רק על סשן המעטפת הנוכחי, כך שאם פותחים סשן חדש צריך להגדיר את המשתנה שוב.

למשל: Linux או macOS

export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

מחליפים את KEY_PATH בנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה.

לדוגמה:

export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

למשל: Windows

ל-PowerShell:

$env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

מחליפים את KEY_PATH בנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה.

לדוגמה:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

בשורת הפקודה:

set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

מחליפים את KEY_PATH בנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה.

התקינו את ה-CLI של Google Cloud.

אם אתם משתמשים בספק זהויות חיצוני (IdP), קודם אתם צריכים להיכנס ל-CLI של gcloud באמצעות המאגר המאוחד לניהול זהויות.

כדי לאתחל את ה-CLI של gcloud, הריצו את הפקודה הבאה:

gcloud init

יוצרים או בוחרים Google Cloud פרויקט.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

• Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
• יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

הערה: אם אתם לא מתכננים לשמור את המשאבים שתיצרו בתהליך הזה, תוכלו ליצור פרויקט חדש במקום לבחור באחד מהפרויקטים הקיימים. בסיום התהליך תוכלו למחוק את הפרויקט ולהסיר את כל המשאבים שמשויכים אליו.

• יוצרים Google Cloud פרויקט:

  gcloud projects create PROJECT_ID

  מחליפים את PROJECT_ID בשם של פרויקט Google Cloud שיוצרים.

• בוחרים את הפרויקט שיצרתם: Google Cloud

  gcloud config set project PROJECT_ID

  מחליפים את PROJECT_ID בשם הפרויקט ב- Google Cloud .

מוודאים שהחיוב מופעל בפרויקט Google Cloud .

מפעילים את Vertex AI Vision API, אם הוא עדיין לא מופעל:

תפקידים שנדרשים להפעלת ממשקי API

כדי להפעיל ממשקי API, נדרשת ההרשאה serviceusage.services.enable. אם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד 'בעלים' (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד 'אדמין בממשק Service Usage' (roles/serviceusage.serviceUsageAdmin). איך מקצים תפקידים

gcloud services enable visionai.googleapis.com

מגדירים את האימות:

1. מוודאים שיש לכם את תפקיד ה-IAM ‏Create Service Accounts ‏(roles/iam.serviceAccountCreator) ואת תפקיד ה-IAM ‏Project Admin ‏(roles/resourcemanager.projectIamAdmin). איך מקצים תפקידים

2. יוצרים את חשבון השירות:

   gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

   מחליפים את הערך SERVICE_ACCOUNT_NAME בשם שרוצים לתת לחשבון השירות.

3. מקצים לחשבון השירות את התפקיד roles/visionai.editor ב-IAM:

   gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=roles/visionai.editor

   מחליפים את מה שכתוב בשדות הבאים:

   • SERVICE_ACCOUNT_NAME: השם של חשבון השירות
   • PROJECT_ID: מזהה הפרויקט שבו יצרתם את חשבון השירות
   הערה: הדגל --role קובע לאילו משאבים בפרויקט לחשבון השירות תהיה גישה. אתם יכולים לבטל את התפקידים האלה או להוסיף עוד תפקידים מאוחר יותר.

4. יוצרים את קובץ המַפְתח:

   gcloud iam service-accounts keys create FILE_NAME.json --iam-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

   מחליפים את מה שכתוב בשדות הבאים:

   • FILE_NAME: שם לקובץ המַפְתח
   • SERVICE_ACCOUNT_NAME: השם של חשבון השירות
   • PROJECT_ID: מזהה הפרויקט שבו יצרתם את חשבון השירות

מגדירים את משתנה הסביבה GOOGLE_APPLICATION_CREDENTIALS לנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה. המשתנה הזה חל רק על סשן המעטפת הנוכחי, כך שאם פותחים סשן חדש צריך להגדיר את המשתנה שוב.

למשל: Linux או macOS

export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

מחליפים את KEY_PATH בנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה.

לדוגמה:

export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

למשל: Windows

ל-PowerShell:

$env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

מחליפים את KEY_PATH בנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה.

לדוגמה:

$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

בשורת הפקודה:

set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

מחליפים את KEY_PATH בנתיב של קובץ ה-JSON שמכיל את פרטי הכניסה.

תפקידים: בהתאם לתרחיש השימוש, יכול להיות שהתפקיד project.editor יתאים יותר. אם מקצים את התפקיד visionai.editor בלבד לקישור המדיניות, צריך להקצות תפקידים נוספים לפעולות מסוימות. לדוגמה, צריך להוסיף bigquery.dataEditor כדי להשתמש במחבר ל-BigQuery,‏ cloudfunctions.developer כדי להשתמש בפונקציות Cloud Run וכו'.

כדי לבצע משימות מסוימות, צריך להשתמש במוצריGoogle Cloud נוספים בנוסף ל-Agent Platform Vision. יכול להיות שתצטרכו לבצע משימות הגדרה נוספות כדי להשתמש במוצרים אחרים של Google Cloud Google.

‫Gemini Enterprise Agent Platform Vision SDK

ערכת פיתוח התוכנה (SDK) של Agent Platform Vision מכילה כלים וספריות שמאפשרים לפתח תוכניות ותהליכי עבודה מותאמים אישית באמצעות Agent Platform Vision.

הכלים האלה הם קבוצה של קובצי מקור בינאריים שעוזרים לכם להיות פרודוקטיביים כשאתם משתמשים בפתרונות או מפתחים פתרונות באמצעות Agent Platform Vision. אפשר גם להוסיף את קובצי המקור הבינאריים האלה לסקריפטים כדי לנהל פריסות בקנה מידה גדול יותר. ממשק שורת הפקודה (CLI) vaictl הוא דוגמה לקטגוריה הזו.

הספריות הן קבוצה של ממשקי API לתכנות שאפשר להשתמש בהם כדי לנהל, לשלוט ולבצע קלט/פלט של צורות שונות באופן פרוגרמטי באמצעות Agent Platform Vision. דוגמה לקטגוריה הזו היא C++ programming API.

הקוד של שני הכלים והספריות הוא קוד פתוח, ואנחנו מזמינים מפתחים ליצור אותם ישירות. בנוסף, אנחנו מציעים כלים בצורת קובצי בינאריים מוכנים מראש בפלטפורמות ספציפיות שאפשר להוריד לשימוש ישיר. אנחנו מציעים גם תמונות Docker למקרים שבהם הפלטפורמה שלכם לא נתמכת ישירות.

דרישות מוקדמות

לפני שמשתמשים ב-Gemini Enterprise Agent Platform Vision SDK, כדאי לקרוא את הדרישות המוקדמות הבאות.

פלטפורמות נתמכות

אנחנו תומכים ישירות רק במכונות x86 שמופעלת בהן הפצת Linux מבוססת Debian. אם אתם משתמשים בפלטפורמה אחרת, אנחנו מציעים גם קובץ אימג' של Docker עם כלים שכבר מובנים ומוגדרים.

דרישות נוספות לגבי תוכנה

רוב התלויות בתוכנות של צד שלישי שנדרשות ל-SDK של Gemini Enterprise Agent Platform Vision מנוהלות באופן אוטומטי כשמתקינים את הקבצים הבינאריים המוכנים מראש. עם זאת, כדי להשתמש בהיבטים מסוימים של התכונות ושל תהליכי העבודה של ה-SDK, צריך להתקין תלות נוספת. בקטע הזה מפורטים המקרים החריגים האלה ומוסבר איך להוריד ולהתקין אותם.

Python SDK

חבילת Python pip מתקינה את כל יחסי התלות שלה באופן אוטומטי. עם זאת, התקנת Python הבסיסית צריכה לעמוד בתנאים הבאים:

• ‫Python >= 3.8.

בנייה מיחסי תלות במקור

רוב המשתמשים יכולים להשתמש בקבצים הבינאריים של ה-SDK שנוצרו מראש בתהליך העבודה שלהם. אם אתם רוצים לפתח ולבנות את ה-SDK מהמקור, אתם צריכים לוודא שהמערכת שלכם עומדת בדרישות הבאות.

• מתקינים את Bazel. הוראות התקנה מופיעות במאמרי העזרה בנושא Bazel.

• ב-Ubuntu 20.04, צריך גם כמה תלות במערכת. אפשר להתקין אותם באמצעות הפקודה הבאה:

  apt-get install -y --no-install-recommends \
      autoconf \
      automake \
      build-essential \
      ca-certificates \
      flex \
      bison \
      python3 \
      nasm \
      libjpeg-dev
  

קבלת קבצים בינאריים מוכנים מראש

הכלי vaictl הוא כלי בינארי מוכן שאפשר להשתמש בו כדי לשלוט ב-Agent Platform Vision, וגם כדי לשלוח ולקבל נתונים שהוא מעבד.

בקטע הזה מוסבר איך להוריד ולהתקין את הכלי הזה.

התקנת חבילת Debian

יש שתי אפשרויות לשימוש בכלי vaictl משורת הפקודה, שנדרש לעבודה עם קלט/פלט (נתונים של זרם):

• התקנה מקומית של כלי שורת הפקודה (מערכת הפעלה: Debian GNU/Linux, ארכיטקטורת מעבד: x86_64) או
• מריצים את הפקודות בקובץ אימג' של Docker שבו מותקנים כל יחסי התלות.

השתמש בשלבים הבאים כדי לקבל את כלי שורת הפקודה vaictl:

הורדת חבילה

להתקנות ישירות, אנחנו תומכים רק בהפצות של Debian/Ubuntu.

אפשר גם להוריד את חבילת Debian הזו מדף הגרסאות של Gemini Enterprise Agent Platform Vision SDK ב-GitHub.

1. (אופציונלי) מסירים גרסאות קודמות של vaictl.

   כדי להתקין את כלי שורת הפקודה vaictl, צריך למחוק קודם את הגרסאות הקודמות של הכלי מהמחשב:

   sudo apt-get remove visionai

2. מורידים את החבילה הנדרשת. אפשר להוריד את החבילה מדף הגרסאות ב-GitHub, או להשתמש בפקודה הבאה:

   wget https://github.com/google/visionai/releases/download/v0.0.5/visionai_0.0-5_amd64.deb

3. אחרי שמורידים את החבילה, מריצים את הפקודה הבאה בספרייה שבה הורדתם את הקובץ:

   sudo apt install ./visionai_0.0-5_amd64.deb

4. אימות ההתקנה:

   vaictl --help

הורדת Docker

אתם יכולים לקבל קובץ אימג' של Docker שבו כבר מותקנים מראש ה-SDK של Gemini Enterprise Agent Platform Vision וכל התלות שלו. קובץ האימג' של Docker זמין בכתובת gcr.io/visionai-public-images/vaictl.

1. מורידים את התמונה מ-Container Registry:

   docker pull gcr.io/visionai-public-images/vaictl

2. מריצים טרמינל אינטראקטיבי של מאגר.

   docker run -it --rm gcr.io/visionai-public-images/vaictl /bin/bash

3. בודקים את הפונקציונליות:

   vaictl --help

קבלת קוד המקור

‫Gemini Enterprise Agent Platform Vision SDK הוא קוד פתוח וזמין לציבור ב-GitHub.

ערכת ה-SDK תלויה בהגדרות של ממשקי ה-API של השירות, אבל התלות הזו כבר מנוהלת באופן אוטומטי על ידי Bazel, ולא צריך להשיג אותה באופן מפורש. עם זאת, אם אתם צריכים גישה ישירה לממשקי ה-API של השירות, תוכלו לקבל אותם בgoogleapisמאגר GitHub.

Python programming SDK

הפלטפורמה Agent Platform Vision תומכת גם ב-Python SDK. כדי לתכנת באמצעות ה-SDK הזה, צריך לוודא שמתקיימים התנאים המוקדמים הבסיסיים של Python SDK לפני התקנת Python SDK.

מידע נוסף על ה-SDK מופיע במאמר בנושא Python SDK reference.

דוגמאות לקוד שמשתמש ב-Python SDK מופיעות במדריך בנושא טשטוש פנים באמצעות Python SDK, או בספרייה visionai/python/examples/ בהפצת המקור.

הורדת חבילת Python SDK

‫Gemini Enterprise Agent Platform Vision SDK מכיל גם ספריית Python. מורידים ומתקינים את הגרסה המוכנה מראש של Python SDK לפי ההוראות הבאות.

1. מורידים את החבילה.

   אפשר להוריד את חבילת ה-SDK של Python מדף הגרסאות של Gemini Enterprise Agent Platform Vision SDK ב-GitHub, או להריץ את הפקודה:

   wget https://github.com/google/visionai/releases/download/v0.0.5/visionai-0.0.5-py3-none-any.whl
   

2. זה שינוי אופציונלי. יוצרים ומפעילים סביבה וירטואלית חדשה:

   python3 -m venv vaivenv
   source vaivenv/bin/activate
   

3. מתקינים את החבילה:

   pip3 install visionai-0.0.5-py3-none-any.whl
   

4. זה שינוי אופציונלי. מוודאים שההתקנה עבדה:

   python3
   

   import visionai
   

5. זה שינוי אופציונלי. משביתים את הסביבה הווירטואלית:

   deactivate
   

ה-SDK לתכנות בשפת C++‎

‫C++‎ היא ערכת ה-SDK הראשונה לתכנות שאנחנו תומכים בה. ה-SDK הציבורי בשפת C++‎ נמצא ב-visionai/public/streams.h. מידע נוסף מופיע במסמכי התיעוד.

המאמרים הבאים

• אופציונלי: איך ליצור ולבדוק באמצעות C++ SDK
• במאמר יצירת אפליקציה מוסבר איך להטמיע נתונים באפליקציה ואיך להוסיף רכיבי עיבוד.
• מידע על אפשרויות אחסון ועיבוד של פלט מופיע במאמר קישור פלט של אפליקציה ליעד נתונים .
• איך מחפשים נתונים במחסן הנתונים במסוף