הכנת נתונים למקורות נתונים בהתאמה אישית

בארגונים יש לעיתים קרובות אפליקציות בהתאמה אישית שנבנו בתוך הארגון. אם אתם רוצים ש-Gemini Enterprise יתחבר למקורות הנתונים באפליקציות האלה, קודם אתם צריכים להכין את הנתונים. אופן הכנת הנתונים תלוי בסוג הנתונים שאתם מייבאים ממקור הנתונים המותאם אישית ובדרך שבה אתם בוחרים לייבא אותם. קודם כל, צריך לבחור את סוג הנתונים שרוצים לייבא:

במאמר מידע על חיבור של כמה מאגרי נתונים מפורטות המגבלות על חיפוש משולב, שבו אפשר לחבר כמה מאגרי נתונים לאפליקציה אחת.

נתונים לא מובְנים

ב-Gemini Enterprise אפשר לחפש במסמכים בפורמטים TXT,‏ PDF,‏ HTML,‏ DOCX,‏ PPTX,‏ XLSX ו-XLSM.

בטבלה הבאה מפורטות מגבלות גודל הקובץ של כל סוג קובץ עם הגדרות שונות (מידע נוסף זמין במאמר ניתוח מסמכים וחלוקה שלהם לחלקים). אפשר לייבא עד 100,000 קבצים בכל פעם.

סוג קובץ ייבוא ברירת מחדל
קבצים מבוססי-טקסט כמו HTML,‏ TXT,‏ JSON,‏ XHTML ו-XML פחות מ-200MB
‫PPTX,‏ DOCX,‏ XLSX ו-XLSM פחות מ-200MB
PDF פחות מ-200 MB

אם אתם מתכננים לכלול הטמעות בנתונים הלא מובנים, כדאי לעיין במאמר בנושא שימוש בהטמעות בהתאמה אישית במסמכי Agent Search.

אם יש לכם קובצי PDF שלא ניתן לחפש בהם (קובצי PDF סרוקים או קובצי PDF עם טקסט בתוך תמונות, כמו אינפוגרפיקות), מומלץ להפעיל את כלי הניתוח של הפריסה במהלך יצירת מאגר הנתונים. כך Gemini Enterprise יכול לחלץ רכיבים כמו בלוקים של טקסט וטבלאות. אם יש לכם קובצי PDF שניתן לחפש בהם, שמורכבים בעיקר מטקסט קריא למכונה ומכילים הרבה טבלאות, אתם יכולים להפעיל את עיבוד ה-OCR עם האפשרות לטקסט קריא למכונה כדי לשפר את הזיהוי והניתוח. מידע נוסף זמין במאמר ניתוח וחלוקה של מסמכים.

אם אתם רוצים להשתמש ב-Gemini Enterprise ליצירת תוכן מבוסס-אחזור (RAG), הפעילו את חלוקת המסמכים לחלקים כשאתם יוצרים את מאגר הנתונים. מידע נוסף זמין במאמר ניתוח מסמכים וחלוקה שלהם לחלקים.

אתם יכולים לייבא נתונים לא מובְנים מהמקורות הבאים:

Cloud Storage

אתם יכולים לייבא נתונים מ-Cloud Storage עם או בלי מטא-נתונים באמצעות Google Cloud מסוף, באמצעות השיטה ImportDocuments או באמצעות הטמעת עדכונים בזמן אמת דרך שיטות CRUD. למידע על מאמרי העזרה של ה-API, קראו את המאמרים DocumentService ו-documents.

ייבוא הנתונים הוא רקורסיבי. כלומר, אם יש תיקיות בתוך הקטגוריה או התיקייה שציינתם, הקבצים בתיקיות האלה מיובאים.

אם אתם מתכננים לייבא מסמכים מ-Cloud Storage בלי מטא-נתונים, שימו את המסמכים ישירות בקטגוריה של Cloud Storage. מזהה המסמך הוא דוגמה למטא-נתונים.

לצורך בדיקה, אפשר להשתמש בתיקיות הבאות של Cloud Storage שזמינות לציבור ומכילות קובצי PDF:

  • gs://cloud-samples-data/gen-app-builder/search/alphabet-investor-pdfs
  • gs://cloud-samples-data/gen-app-builder/search/CUAD_v1
  • gs://cloud-samples-data/gen-app-builder/search/kaiser-health-surveys
  • gs://cloud-samples-data/gen-app-builder/search/stanford-cs-224

אם אתם מתכננים לייבא נתונים מ-Cloud Storage עם מטא-נתונים, שימו קובץ JSON שמכיל את המטא-נתונים בקטגוריה של Cloud Storage, וציינו את המיקום שלה במהלך הייבוא.

המסמכים הלא מובְנים יכולים להיות באותה קטגוריה של Cloud Storage כמו המטא-נתונים, או בקטגוריה אחרת.

קובץ המטא-נתונים חייב להיות קובץ JSON Lines או NDJSON. מזהה המסמך הוא דוגמה למטא-נתונים. כל שורה בקובץ המטא-נתונים צריכה להיות באחד מהפורמטים הבאים של JSON:

  • שימוש ב-jsonData:

    { "id": "<your-id>", "jsonData": "<JSON string>", "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }

  • שימוש ב-structData:

    { "id": "<your-id>", "structData": { <JSON object> }, "content": { "mimeType": "<application/pdf or text/html>", "uri": "gs://<your-gcs-bucket>/directory/filename.pdf" } }

משתמשים בשדה uri בכל שורה כדי להפנות למיקום ב-Cloud Storage של המסמך.

זוהי דוגמה לקובץ מטא-נתונים בפורמט NDJSON למסמך לא מובנה. בדוגמה הזו, כל שורה בקובץ המטא-נתונים מפנה למסמך PDF ומכילה את המטא-נתונים של המסמך הזה. בשתי השורות הראשונות נעשה שימוש ב-jsonData ובשתי השורות האחרונות נעשה שימוש ב-structData. ב-structData אין צורך להוסיף תו בריחה למירכאות שמופיעות בתוך מירכאות.

{"id":"doc-0","jsonData":"{\"title\":\"test_doc_0\",\"uri\":\"https://test_doc_0.html\",\"description\":\"This document uses a blue color theme\",\"color_theme\":\"blue\"}","content":{"mimeType":"application/pdf","uri":"gs://test-bucket-12345678/test_doc_0.pdf"}}
{"id":"doc-1","jsonData":"{\"title\":\"test_doc_1\",\"uri\":\"https://test_doc_1.html\",\"description\":\"This document uses a green color theme\",\"color_theme\":\"green\"}","content":{"mimeType":"application/pdf","uri":"gs://test-bucket-12345678/test_doc_1.pdf"}}
{"id":"doc-2","structData":{"title":"test_doc_2","uri":"https://test_doc_2.html","description":"This document uses a red color theme","color_theme":"red"},"content":{"mimeType":"application/pdf","uri":"gs://test-bucket-12345678/test_doc_3.pdf"}}
{"id":"doc-3","structData":{"title":"test_doc_3","uri":"https://test_doc_3.html","description":"This is document uses a yellow color theme","color_theme":"yellow"},"content":{"mimeType":"application/pdf","uri":"gs://test-bucket-12345678/test_doc_4.pdf"}}

כדי ליצור מאגר נתונים, עיינו במאמר קישור של מקור נתונים של Google.

BigQuery

אם אתם מתכננים לייבא מטא-נתונים מ-BigQuery, בצעו את השלבים הבאים:

  1. יוצרים טבלה ב-BigQuery שמכילה מטא-נתונים. מזהה המסמך הוא דוגמה למטא-נתונים.

  2. שומרים את המסמכים הלא מובְנים בקטגוריה של Cloud Storage.

    אפשר לייבא באמצעות מסוףGoogle Cloud , באמצעות ה-method‏ ImportDocuments או באמצעות הטמעת עדכונים בזמן אמת דרך ה-methods של CRUD. למידע על מאמרי העזרה של ה-API, קראו את המאמרים DocumentService ו-documents.

משתמשים בסכימה הבאה של BigQuery. משתמשים בשדה uri בכל רשומה כדי להפנות למיקום של המסמך ב-Cloud Storage.

[
  {
    "name": "id",
    "mode": "REQUIRED",
    "type": "STRING",
    "fields": []
  },
  {
    "name": "jsonData",
    "mode": "NULLABLE",
    "type": "STRING",
    "fields": []
  },
  {
    "name": "content",
    "type": "RECORD",
    "mode": "NULLABLE",
    "fields": [
      {
        "name": "mimeType",
        "type": "STRING",
        "mode": "NULLABLE"
      },
      {
        "name": "uri",
        "type": "STRING",
        "mode": "NULLABLE"
      }
    ]
  }
]

מידע נוסף זמין במאמר יצירה של טבלאות ושימוש בהן במסמכי התיעוד של BigQuery.

כדי ליצור מאגר נתונים, עיינו במאמר קישור של מקור נתונים של Google.

Google Drive

אפשר לסנכרן נתונים מ-Google Drive כדי לחפש בהם.

אם אתם מתכננים לייבא נתונים מ-Google Drive, אתם צריכים להגדיר את Google Identity כספק הזהויות ב-Gemini Enterprise. במאמר זהות והרשאות מוסבר איך מגדירים בקרת גישה.

הוראות ליצירת מאגר נתונים מפורטות במאמר קישור מקור נתונים של Google.

נתונים מובְנים

מכינים את הנתונים בהתאם לשיטת הייבוא שבה רוצים להשתמש.

אפשר לייבא נתונים מובְנים מהמקורות הבאים:

כשמייבאים נתונים מובְנים מ-BigQuery או מ-Cloud Storage, אפשר לייבא את הנתונים עם מטא-נתונים. (נתונים מובְנים עם מטא-נתונים נקראים גם נתונים מובְנים משופרים).

BigQuery

אתם יכולים לייבא נתונים מובְנים מקבוצות נתונים ב-BigQuery.

הסכימה מזוהה באופן אוטומטי. אחרי הייבוא, Google ממליצה לערוך את הסכימה שזוהתה באופן אוטומטי כדי למפות מאפיינים חשובים, כמו כותרות. אם אתם מייבאים באמצעות ה-API במקום דרך מסוף Google Cloud , אתם יכולים לספק סכימה משלכם כאובייקט JSON. מידע נוסף זמין במאמר הגדרת סכימה או זיהוי אוטומטי שלה.

דוגמאות לנתונים מובנים שזמינים לכולם מופיעות במערכי הנתונים הציבוריים של BigQuery.

אם אתם מתכננים לכלול הטמעות בנתונים המובְנים, כדאי לעיין במאמר בנושא שימוש בהטמעות בהתאמה אישית במסמכי Agent Search.

אם בוחרים לייבא נתונים מובנים עם מטא-נתונים, צריך לכלול שני שדות בטבלאות BigQuery:

  • שדה id לזיהוי המסמך. אם מייבאים נתונים מובְנים בלי מטא-נתונים, המערכת יוצרת את ה-id. הוספת מטא-נתונים מאפשרת לציין את הערך של id.

  • שדה jsonData שמכיל את הנתונים. דוגמאות למחרוזות jsonData מופיעות בקטע הקודם, Cloud Storage.

כדי לייבא נתונים מובְנים עם מטא-נתונים, משתמשים בסכימה הבאה של BigQuery:

[
  {
    "name": "id",
    "mode": "REQUIRED",
    "type": "STRING",
    "fields": []
  },
  {
    "name": "jsonData",
    "mode": "NULLABLE",
    "type": "STRING",
    "fields": []
  }
]

כדי ליצור מאגר נתונים, עיינו במאמר קישור של מקור נתונים של Google.

Cloud Storage

נתונים מובְנים ב-Cloud Storage צריכים להיות בפורמט JSON Lines או NDJSON. כל קובץ צריך להיות קטן מ-2GB, וכל שורה בקובץ צריכה להיות קטנה מ-1MB. אפשר לייבא עד 1,000 קבצים בבקשת ייבוא אחת.

כדי לראות דוגמאות לנתונים מובְנים שזמינים באופן ציבורי, אפשר לעיין בתיקיות הבאות ב-Cloud Storage, שמכילות קובצי NDJSON:

  • gs://cloud-samples-data/gen-app-builder/search/kaggle_movies
  • gs://cloud-samples-data/gen-app-builder/search/austin_311

אם אתם מתכננים לכלול הטמעות בנתונים המובְנים, קראו את המאמר שימוש בהטמעות בהתאמה אישית במסמכי התיעוד של Agent Search.

הנה דוגמה לקובץ מטא-נתונים בפורמט NDJSON של נתונים מובְנים. כל שורה בקובץ מייצגת מסמך ומורכבת מקבוצה של שדות.

{"id": 10001, "title": "Hotel 1", "location": {"address": "1600 Amphitheatre Parkway, Mountain View, CA 94043"}, "available_date": "2024-02-10", "non_smoking": true, "rating": 3.7, "room_types": ["Deluxe", "Single", "Suite"]}
{"id": 10002, "title": "Hotel 2", "location": {"address": "Manhattan, New York, NY 10001"}, "available_date": "2023-07-10", "non_smoking": false, "rating": 5.0, "room_types": ["Deluxe", "Double", "Suite"]}
{"id": 10003, "title": "Hotel 3", "location": {"address": "Moffett Park, Sunnyvale, CA 94089"}, "available_date": "2023-06-24", "non_smoking": true, "rating": 2.5, "room_types": ["Double", "Penthouse", "Suite"]}

כדי ליצור מאגר נתונים, עיינו במאמר קישור מקור נתונים של הנתונים בחשבון Google.

נתוני JSON מקומיים

אפשר להעלות ישירות מסמך או אובייקט בפורמט JSON באמצעות ה-API.

כדי לקבל תוצאות טובות יותר, Google ממליצה לספק סכימה משלכם כאובייקט JSON. אם לא תספקו סכימה משלכם, הסכימה תזוהה באופן אוטומטי. אחרי הייבוא, מומלץ לערוך את הסכימה שזוהתה אוטומטית כדי למפות מאפייני מפתח, כמו שמות. מידע נוסף זמין במאמר בנושא הוספה או זיהוי אוטומטי של סכימה.

אם אתם מתכננים לכלול הטמעות בנתונים המובְנים, קראו את המאמר שימוש בהטמעות בהתאמה אישית במסמכי התיעוד של Agent Search.

הוראות ליצירת מאגר נתונים מפורטות במאמר קישור מקור נתונים של Google.