איך מתחילים להשתמש בחיפוש מדיה

אתם יכולים ליצור במהירות אפליקציה מתקדמת לחיפוש מדיה, שמאפשרת לקהלים שלכם לגלות תוכן עם תוצאות באיכות של Google.

למידע כללי על Agent Search למדיה, קראו את המאמר מבוא לחיפוש ולהמלצות של מדיה.

במדריך הזה נשתמש במערך הנתונים של Movielens כדי להדגים איך להעלות את קטלוג התוכן של המדיה לחיפוש מבוסס סוכנים. קבוצת הנתונים של Movielens מכילה קטלוג של סרטים (מסמכים).

אחרי שתעלו את נתוני הסרטים, תיצרו אפליקציית חיפוש ותבדקו אותה בדף התצוגה המקדימה.

אם השלמתם את המדריך תחילת העבודה עם המלצות למדיה ועדיין יש לכם את מאגר הנתונים (השם המוצע quickstart-media-data-store), אתם יכולים להשתמש במאגר הנתונים הזה במקום ליצור מאגר נתונים אחר. במקרה כזה, אתם צריכים להתחיל את המדריך מהשלב יצירת אפליקציה לחיפוש מדיה.

הזמן המשוער להשלמת המדריך: כשעה.

מטרות

  • איך מייבאים מסמכי מדיה כדי ליצור מאגר נתוני מדיה.
  • ליצור, להגדיר ולבדוק אפליקציית חיפוש.

לפני שמתחילים את המדריך, חשוב לוודא שביצעתם את השלבים שמפורטים בקטע לפני שמתחילים.


לחצו על תראו לי איך כדי לקרוא הסבר מפורט על המשימה ישירות במסוף Google Cloud :

תראו לי איך


לפני שמתחילים

  1. נכנסים לחשבון Google Cloud . אנחנו ממליצים למשתמשים חדשים ב- Google Cloud ליצור חשבון כדי שיוכלו להעריך את הביצועים של המוצרים שלנו בתרחישים מהעולם האמיתי. לקוחות חדשים מקבלים בחינם גם קרדיט בשווי 300$ להרצה, לבדיקה ולפריסה של עומסי העבודה.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Agent Search (Discovery Engine), Cloud Storage, BigQuery APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  5. Make sure that you have the following role or roles on the project: Discovery Engine Admin and BigQuery Admin.

    Check for the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

    4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

    Grant the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. Click Grant access.
    4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

    5. Click Select a role, then search for the role.
    6. To grant additional roles, click Add another role and add each additional role.
    7. Click Save.
  6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  7. Verify that billing is enabled for your Google Cloud project.

  8. Enable the Agent Search (Discovery Engine), Cloud Storage, BigQuery APIs, if any are not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the APIs

  9. Make sure that you have the following role or roles on the project: Discovery Engine Admin and BigQuery Admin.

    Check for the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

    4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

    Grant the roles

    1. In the Google Cloud console, go to the IAM page.

      Go to IAM
    2. Select the project.
    3. Click Grant access.
    4. In the New principals field, enter your user identifier. This is typically the email address for a Google Account.

    5. Click Select a role, then search for the role.
    6. To grant additional roles, click Add another role and add each additional role.
    7. Click Save.

הכנת מערך הנתונים

הערה: אם השלמתם את המדריך תחילת העבודה עם המלצות למדיה ועדיין יש לכם את מאגר הנתונים (השם המוצע quickstart-media-data-store), דלגו אל יצירת אפליקציה לחיפוש מדיה.

אתם משתמשים ב-Cloud Shell כדי לייבא את קבוצת הנתונים של Movielens ולשנות את המבנה שלה בשביל חיפוש מבוסס סוכנים ל-media.

פתיחת Cloud Shell

  1. פותחים את מסוףGoogle Cloud .
  2. בוחרים את הפרויקט ב- Google Cloud .
  3. שימו לב למזהה הפרויקט שמופיע בכרטיס Project info בדף מרכז הבקרה. תצטרכו את מזהה הפרויקט בשביל התהליכים הבאים.
  4. לוחצים על הכפתור Activate Cloud Shell בחלק העליון של המסוף. בחלק התחתון של מסוףGoogle Cloud ייפתח סשן של Cloud Shell במסגרת חדשה, ותופיע הודעה של שורת הפקודה. במאמר הפעלת Cloud Shell מוסבר איך להפעיל את Cloud Shell בדרכים אחרות.

    Cloud Shell

ייבוא של מערך הנתונים

מערך הנתונים של Movielens זמין בקטגוריה ציבורית של Cloud Storage כדי שיהיה קל יותר לייבא אותו.

  1. מריצים את הפקודה הבאה באמצעות מזהה הפרויקט כדי להגדיר את פרויקט ברירת המחדל לשורת הפקודה.

    gcloud config set project PROJECT_ID
    
  2. יוצרים מערך נתונים ב-BigQuery:

    bq mk movielens
    
  3. טעינת movies.csv לטבלה חדשה ב-BigQuery ב-movies:

    bq load --skip_leading_rows=1 movielens.movies \
      gs://cloud-samples-data/gen-app-builder/media-recommendations/movies.csv \
      movieId:integer,title,genres
    
  4. טעינת ratings.csv לטבלה חדשה ב-BigQuery ב-ratings:

    bq load --skip_leading_rows=1 movielens.ratings \
      gs://cloud-samples-data/gen-app-builder/media-recommendations/ratings.csv \
      userId:integer,movieId:integer,rating:float,time:timestamp
    

יצירת תצוגות ב-BigQuery

בשלב הזה, אתם משנים את המבנה של מערך הנתונים של Movielens כך שיתאים לפורמט הנדרש למאגרי נתונים של מדיה.

במדריך הזה, תיצרו view-item אירועי משתמשים מזויפים ב-90 הימים האחרונים מדירוגים חיוביים (>= 4).

  1. יוצרים תצוגה (View) שממירה את טבלת הסרטים לסכימה Document:

    bq mk --project_id=PROJECT_ID \
     --use_legacy_sql=false \
     --view '
      WITH t AS (
        SELECT
          CAST(movieId AS string) AS id,
          SUBSTR(title, 0, 128) AS title,
          SPLIT(genres, "|") AS categories
          FROM `PROJECT_ID.movielens.movies`)
        SELECT
          id, "default_schema" as schemaId, null as parentDocumentId,
          TO_JSON_STRING(STRUCT(title as title, categories as categories,
          CONCAT("http://mytestdomain.movie/content/", id) as uri,
          "2023-01-01T00:00:00Z" as available_time,
          "2033-01-01T00:00:00Z" as expire_time,
          "movie" as media_type)) as jsonData
        FROM t;' \
    movielens.movies_view
    

    עכשיו לתצוגה החדשה יש את הסכימה ש-Discovery Engine API מצפה לה.

  2. נכנסים לדף BigQuery במסוף Google Cloud .

    כניסה לדף BigQuery

  3. בחלונית Explorer, מרחיבים את שם הפרויקט, לוחצים על Datasets, בוחרים את קבוצת הנתונים movielens ולוחצים על movies_view כדי לפתוח את דף הסכימה של התצוגה הזו.

    לחלופין, בחלונית הימנית לוחצים על database Data Explorer, מרחיבים את שם הפרויקט, מרחיבים את מערך הנתונים movielens ולוחצים על movies_view כדי לפתוח את דף הסכימה של התצוגה הזו.

  4. עוברים לכרטיסייה סייר הטבלאות.

  5. בחלונית Generated query, לוחצים על הכפתור Copy to query. עורך השאילתות ייפתח.

  6. לוחצים על Run כדי לראות את נתוני הסרטים בתצוגה שיצרתם.

  7. כדי ליצור אירועי משתמשים פיקטיביים מדירוגי סרטים, מריצים את הפקודה הבאה ב-Cloud Shell:

    bq mk --project_id=PROJECT_ID \
     --use_legacy_sql=false \
     --view '
     WITH t AS (
      SELECT
        MIN(UNIX_SECONDS(time)) AS old_start,
        MAX(UNIX_SECONDS(time)) AS old_end,
        UNIX_SECONDS(TIMESTAMP_SUB(
        CURRENT_TIMESTAMP(), INTERVAL 90 DAY)) AS new_start,
        UNIX_SECONDS(CURRENT_TIMESTAMP()) AS new_end
      FROM `PROJECT_ID.movielens.ratings`)
      SELECT
        CAST(userId AS STRING) AS userPseudoId,
        "view-item" AS eventType,
        FORMAT_TIMESTAMP("%Y-%m-%dT%X%Ez",
        TIMESTAMP_SECONDS(CAST(
          (t.new_start + (UNIX_SECONDS(time) - t.old_start) *
          (t.new_end - t.new_start) / (t.old_end - t.old_start))
        AS int64))) AS eventTime,
        [STRUCT(movieId AS id, null AS name)] AS documents,
      FROM `PROJECT_ID.movielens.ratings`, t
      WHERE rating >= 4;' \
      movielens.user_events
    

הפעלת חיפוש מבוסס סוכנים

  1. נכנסים לדף AI Applications במסוף Google Cloud .

    אפליקציות AI

  2. אופציונלי: לוחצים על Google יכולה לדגום באופן סלקטיבי את הקלט והתשובות של המודל.

  3. לוחצים על Continue and activate the API.

בקטע הזה מוסבר איך יוצרים ופורסים אפליקציית חיפוש מדיה.

  1. נכנסים לדף AI Applications במסוף Google Cloud .

    אפליקציות AI

  2. לוחצים על Create app.

  3. בדף Create App, בקטע Media catalog search, לוחצים על Create.

  4. בשדה Your app name, מזינים שם לאפליקציה, למשל quickstart-media-search. מזהה האפליקציה מופיע מתחת לשם המנוע.

  5. לוחצים על Continue.

  6. אם השלמתם את המדריך תחילת העבודה עם המלצות למדיה ועדיין יש לכם את מאגר הנתונים (השם המוצע quickstart-media-data-store), בחרו אותו, לחצו על Create ודלגו אל תצוגה מקדימה של החיפוש.

  7. אם אין לכם מאגר נתונים שמכיל את מערך הנתונים של movielens, צרו מאגר נתונים חדש ובחרו אותו:

    1. בדף מאגרי נתונים, לוחצים על יצירת מאגר נתונים.

    2. מזינים שם לתצוגה של מאגר הנתונים, למשל quickstart-media-data-store, ולוחצים על Create.

    3. בוחרים את מאגר הנתונים שיצרתם ולוחצים על Create כדי ליצור את האפליקציה. תועברו לדף Select a data source.

ייבוא נתונים

בשלב הבא, מייבאים את נתוני הסרטים ואירועי המשתמשים שעברו עיצוב קודם לכן.

ייבוא מסמכים

  1. אם אתם לא מועברים באופן אוטומטי לדף בחירת מקור נתונים:

    • פותחים את הכרטיסייה מסמכים.
    • לוחצים על ייבוא נתונים.
  2. בדף Select a data source, בוחרים באפשרות BigQuery.

  3. מזינים את השם של התצוגה המפורטת ב-BigQuery שיצרתם ב-movies ולוחצים על ייבוא.

    PROJECT_ID.movielens.movies_view
    
  4. ממתינים עד שכל המסמכים ייובאו. התהליך אמור להימשך כ-15 דקות. בסיום התהליך אמורים להיות 86,537 מסמכים.

    אפשר לבדוק את הסטטוס של פעולת הייבוא בכרטיסייה פעילות. כשהייבוא מסתיים, סטטוס פעולת הייבוא משתנה ל-Completed.

ייבוא אירועי משתמשים

  1. פותחים את הכרטיסייה אירועים.

  2. לוחצים על ייבוא אירועים.

  3. בוחרים באפשרות BigQuery.

  4. מזינים את השם של התצוגה המפורטת ב-BigQuery שיצרתם ב-user_events ולוחצים על ייבוא.

    PROJECT_ID.movielens.user_events
    
  5. אפשר להמשיך לשלב הבא לפני שהאירועים מיובאים, אבל תוצאות החיפוש עדיין לא יכילו את קבוצת הנתונים המלאה.

    אפשר לבדוק את סטטוס הפעולה בכרטיסייה פעילות. התהליך נמשך כשעה כי אתם מייבאים מיליוני שורות.

  1. בתפריט הניווט, לוחצים על Configurations.

  2. בתיבה חיפוש כאן, מקלידים שם של סרט, למשל "שר הטבעות".

  3. שימו לב שתוצאות החיפוש רלוונטיות לשם הסרט שהזנתם.

  4. בדף הזה אתם יכולים להתאים אישית את האופן שבו ווידג'ט חיפוש Google מציג את המידע בתוצאות החיפוש. מידע נוסף זמין במאמר הגדרת תוצאות לווידג'ט חיפוש Google.

    באפליקציות לחיפוש מדיה, אתם יכולים:

    אחרי שמבצעים את השינויים, לוחצים על שמירה ופרסום כדי לעדכן את הווידג'ט.

פריסת ווידג'ט חיפוש Google

  1. בתפריט הניווט, לוחצים על Integration (שילוב).

  2. מוודאים שהכרטיסייה ווידג'ט מסומנת.

  3. בוחרים באפשרות מבוסס על JWT או OAuth בתור סוג ההרשאה של הווידג'ט.

  4. בשדה Domain, מזינים את שם הדומיין של דף האינטרנט שבו רוצים להציב את הווידג'ט. לדוגמה, אם אתם מתכוונים להעתיק את הווידג'ט לדף האינטרנט example.com/ai.html, הזינו את example.com בתור הדומיין.

  5. לוחצים על הוספה ואז על שמירה.

  6. מעתיקים את קטע הקוד שמופיע בקטע העתקת הקוד הבא לאפליקציית האינטרנט.

  7. בבסיס הקוד, יוצרים אסימון הרשאה.

  8. כדי להעביר את אסימון ההרשאה לווידג'ט, משתמשים בקטע הקוד "Set authorization token" שמופיע בקטע Copy the following code to your אפליקציית אינטרנט ומחליפים את הטקסט <JWT or OAuth token provided by you backend> באסימון ההרשאה.

  9. כדי לקבל עזרה בשילוב אפליקציית החיפוש באפליקציית האינטרנט, עיינו בדוגמאות הקוד בקטע קבלת תוצאות חיפוש.

הסרת המשאבים

כדי לא לצבור חיובים בחשבון Google Cloud על המשאבים שבהם השתמשתם בדף הזה, מבצעים את הפעולות הבאות.

אתם יכולים להשתמש שוב במאגר הנתונים שיצרתם להמלצות על מדיה במדריך תחילת העבודה עם המלצות על מדיה. כדאי לנסות את המדריך הזה לפני שמבצעים את תהליך הניקוי.

  1. כדי להימנע מחיובים מיותרים ב- Google Cloud , אם אתם לא צריכים את הפרויקט, מחקו אותו באמצעותGoogle Cloud console .
  2. אם יצרתם פרויקט חדש כדי ללמוד על "חיפוש מבוסס סוכנים" ואתם לא צריכים אותו יותר, מחקו את הפרויקט.
  3. אם השתמשתם בפרויקט קיים ב- Google Cloud , מחקו את המשאבים שיצרתם כדי להימנע מחיובים בחשבון. מידע נוסף זמין במאמרים מחיקת אפליקציה, מחיקת נתונים ממאגר נתונים ומחיקת מאגר נתונים.
  4. פועלים לפי השלבים שמפורטים בקטע השבתת Agent Search.
  5. אם יצרתם מערך נתונים ב-BigQuery, מחקו אותו ב-Cloud Shell:

    bq rm --recursive --dataset movielens
    

המאמרים הבאים