REST Resource: projects.locations.dataStores

משאב: DataStore

הודעה שמתארת אובייקט DataStore. מאגר נתונים, שנמצא בבעלות ישירה של פרויקט, מכיל קבוצה של מסמכים קשורים שחולקים DocumentType אחד שלא ניתן לשינוי, יחד עם ההגדרות שמשמשות לעיבוד שלהם. המסמכים המיובאים מפוצלים לפלחים, מוטמעים ונשמרים באוסף הגיבוי של מאגר הנתונים (ראו collectionName).

ייצוג ב-JSON 
{
  "name": string,
  "displayName": string,
  "description": string,
  "createTime": string,
  "updateTime": string,
  "labels": {
    string: string,
    ...
  },
  "documentType": enum (DocumentType),
  "processingConfig": {
    object (ProcessingConfig)
  },
  "state": enum (State),
  "collectionName": string,
  "documentMetadataSchema": {
    object (DocumentMetadataSchema)
  }
}
שדות
name

string

מזהה. שם המשאב המלא של מאגר הנתונים.

פורמט: projects/{project}/locations/{location}/dataStores/{dataStoreId}
displayName

string

זה שינוי אופציונלי. השם המוצג של מאגר הנתונים, כפי שצוין על ידי המשתמש.
description

string

זה שינוי אופציונלי. תיאור של מאגר הנתונים שהמשתמש ציין.
createTime

string (Timestamp format)

פלט בלבד. יצירת חותמת זמן

השימוש הוא ב-RFC 3339, שבו הפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
updateTime

string (Timestamp format)

פלט בלבד. עדכון חותמת הזמן

השימוש הוא ב-RFC 3339, שבו הפלט שנוצר תמיד יהיה מנורמל ל-Z וישתמש ב-0, 3, 6 או 9 ספרות אחרי הנקודה העשרונית. אפשר להשתמש גם בהיסטים אחרים, לא רק ב-Z. לדוגמה: "2014-10-02T15:01:23Z", ‏ "2014-10-02T15:01:23.045123456Z" או "2014-10-02T15:01:23+05:30".
labels

map (key: string, value: string)

זה שינוי אופציונלי. תוויות כצמדי מפתח/ערך.

אובייקט שמכיל רשימה של זוגות "key": value. לדוגמה: { "name": "wrench", "mass": "1.3kg", "count": "3" }.
documentType

enum (DocumentType)

חובה. לא ניתן לשינוי. סוג התוכן שלא ניתן לשינוי של כל המסמכים במאגר הנתונים הזה.
processingConfig

object (ProcessingConfig)

זה שינוי אופציונלי. הגדרה שקובעת איך המסמכים במאגר הנתונים הזה נטמעים (מנותחים, מחולקים לפלחים ומוטמעים).

אפשר לשנות את זה באמצעות dataStores.patch. השינוי חל רק על מסמכים שעובדו אחריו: מסמכים שכבר נמצאים במאגר הנתונים שומרים על הפלחים הקיימים שלהם, וייבוא מחדש של קובץ שלא השתנה לא מעבד אותו מחדש.
state

enum (State)

פלט בלבד. המצב של DataStore.
collectionName

string

פלט בלבד. שם המשאב של האוסף שתומך במאגר הנתונים הזה, בפורמט projects/{project}/locations/{location}/collections/{collectionId}. ‫collectionId הוא google-{dataStoreId}, או google- ואחריו גיבוב (hash) של מזהה ה-DataStore אם הוא ארוך מ-63 תווים. מאוכלס אחרי שנוצר האוסף התומך.
documentMetadataSchema

object (DocumentMetadataSchema)

זה שינוי אופציונלי. סכימה למטא-נתונים שמוגדרים על ידי המשתמש במסמכים במאגר הנתונים הזה. הסכימה תאומת מול טיוטה 7 של סכימת JSON.

אפשר להרחיב את הסכימה בהמשך באמצעות dataStores.patch על ידי הוספת מאפיינים. אי אפשר להסיר או לשנות מאפיינים קיימים.

DocumentType

סוג התוכן של המסמכים במאגר נתונים. לכל המסמכים ב-DataStore יש DocumentType אחד שלא ניתן לשינוי.

טיפוסים בני מנייה (enum)
DOCUMENT_TYPE_UNSPECIFIED ערך ברירת המחדל, סוג המסמך לא צוין.
UNSTRUCTURED מסמכי טקסט: קובצי PDF, טקסט פשוט, Word, ‏ PowerPoint ו-Excel, עם אפשרות למטא-נתונים.
VIDEO מסמכי וידאו, עם מטא-נתונים (אופציונלי).

ProcessingConfig

ההגדרה ProcessingConfig קובעת איך המסמכים ב-DataStore מנותחים, מחולקים ומוטמעים.

ייצוג ב-JSON 
{
  "videoProcessingConfig": {
    object (VideoProcessingConfig)
  },
  "unstructuredProcessingConfig": {
    object (UnstructuredProcessingConfig)
  }
}
שדות
videoProcessingConfig

object (VideoProcessingConfig)

זה שינוי אופציונלי. הגדרת צינור עיבוד הנתונים להטמעת סרטונים. רלוונטי כשהערך של documentType ב-DataStore הוא VIDEO.

אם לא מגדירים את זה ל-DataStore של VIDEO, ברירת המחדל של צינור עיבוד הנתונים היא פילוח של חלון קבוע בגודל של 30 שניות, והאודיו מושבת במהלך יצירת ההטמעה לכל פלח.
unstructuredProcessingConfig

object (UnstructuredProcessingConfig)

זה שינוי אופציונלי. הגדרת צינור עיבוד הנתונים להטמעת מסמכים לא מובְנים. רלוונטי כשהערך של documentType ב-DataStore הוא UNSTRUCTURED.

אם לא מגדירים את המאפיין הזה במאגר נתונים של UNSTRUCTURED, צינור עיבוד הנתונים מוגדר כברירת מחדל לפילוח לפי קטעים עם chunkSize של 500, ניתוח דיגיטלי ויצירת הטמעות לכל פלח בטקסט בלבד.

VideoProcessingConfig

הגדרת צינור עיבוד הנתונים של הטמעת הסרטונים שמוחל על מסמכים שמוטמעים במאגר הנתונים הזה. הגדרות הפילוח וההטמעה יכולות להשתנות בנפרד, אבל הן נשארות מקובצות בהודעה הזו.

כל הגדרות המשנה הן אופציונליות. כל הגדרת משנה שהושמטה חוזרת לברירת המחדל של הפלטפורמה שמתועדת בשדה הזה.

ייצוג ב-JSON 
{
  "segmentationConfig": {
    object (VideoSegmentationConfig)
  },
  "embeddingConfig": {
    object (VideoEmbeddingGenerationConfig)
  }
}
שדות
segmentationConfig

object (VideoSegmentationConfig)

זה שינוי אופציונלי. ההגדרה הזו קובעת איך הסרטונים יחולקו לקטעים לפני ההטמעה.

אם לא מגדירים את המדיניות, ברירת המחדל היא פילוח של חלון קבוע עם חלון של 30 שניות. אם מגדירים את המדיניות, צריך להגדיר מצב פילוח כמו fixedWindowConfig. הגדרה ריקה תידחה.
embeddingConfig

object (VideoEmbeddingGenerationConfig)

זה שינוי אופציונלי. קובעת איך נוצרת ההטמעה המולטי-מודאלית לכל קטע.

VideoSegmentationConfig

ההגדרה קובעת איך הסרטונים יחולקו לקטעים לפני ההטמעה.

ייצוג ב-JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "fixedWindowConfig": {
    object (FixedWindowConfig)
  }
  // End of mutually exclusive fields.
}
שדות
חובה. צריך לבחור מצב פילוח אחד בדיוק. כך מבודדים את ההגדרות, והמשתמשים לא יכולים להגדיר שדות שלא רלוונטיים למצב שהם בחרו. זו רשימה של שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים:
fixedWindowConfig

object (FixedWindowConfig)

פילוח לפי חלון קבוע (דטרמיניסטי).
סוף השדות שמוציאים זה את זה.

FixedWindowConfig

הגדרת פילוח של חלון קבוע. הקטעים נוצרים כחלונות דטרמיניסטיים שאינם חופפים, באורך של segmentDuration כל אחד.

ייצוג ב-JSON 
{
  "segmentDuration": string
}
שדות
segmentDuration

string (Duration format)

זה שינוי אופציונלי. מציינת את גודל החלון הקבוע לכל פלח שנפלט.

אם לא מגדירים את המדיניות, ברירת המחדל היא 30 שניות. אם מגדירים את הערך באופן מפורש, הוא צריך להיות גדול מ-5 שניות וקטן מ-80 שניות או שווה להן.

משך זמן בשניות עם עד תשע ספרות אחרי הנקודה העשרונית, שמסתיים ב-s. לדוגמה: "3.5s".

VideoEmbeddingGenerationConfig

המדיניות הזו קובעת איך נוצרות הטמעות מולטי-מודאליות לכל קטע במודל הווידאו.

ייצוג ב-JSON 
{
  "audioMode": enum (AudioMode)
}
שדות
audioMode

enum (AudioMode)

זה שינוי אופציונלי. ההגדרה הזו קובעת אם טראק האודיו תורם להטמעה. ברירת המחדל היא DISABLED.

AudioMode

מציין איך להתייחס לטראק האודיו של סרטון המקור כשיוצרים הטמעות לכל פלח.

הערך הזה קבוע, ולא צפויים ערכים חדשים.

טיפוסים בני מנייה (enum)
AUDIO_MODE_UNSPECIFIED לא צוין. ההגדרה נחשבת כ-DISABLED.
ENABLED מבצע ריבוב של טראק האודיו להטמעה המולטי-מודאלית לצד פריימים של וידאו. משפר את השליפה של שאילתות שתלויות בתוכן מדובר או בצלילי סביבה (למשל, חדשות שמבוססות על דיאלוג, פרשנות ספורט), על חשבון גודל טוקן גדול יותר של בקשת הטמעה.
DISABLED הוא מסיר את טראק האודיו ויוצר הטמעות רק מפריימים חזותיים. ברירת מחדל.

UnstructuredProcessingConfig

הגדרות אישיות של צינור עיבוד הנתונים להטמעת מסמכים לא מובְנים, שחלות על מסמכים שמוטמעים במאגר הנתונים הזה. הגדרות הפילוח והניתוח יכולות להשתנות באופן עצמאי, אבל הן נשארות מקובצות בהודעה הזו.

כל הגדרות המשנה הן אופציונליות. כל הגדרת משנה שתושמט תוחלף בהגדרת ברירת המחדל של הפלטפורמה שמתועדת בשדה הזה.

ייצוג ב-JSON 
{
  "segmentationConfig": {
    object (UnstructuredSegmentationConfig)
  },
  "parsingConfig": {
    object (UnstructuredParsingConfig)
  },
  "embeddingConfig": {
    object (UnstructuredEmbeddingConfig)
  }
}
שדות
segmentationConfig

object (UnstructuredSegmentationConfig)

זה שינוי אופציונלי. ההגדרה הזו קובעת איך מסמכים לא מובְנים יפוצלו למקטעים לפני ההטמעה.

אם לא מגדירים את הפרמטר, ברירת המחדל היא פילוח לפי קטעים עם chunkSize של 500. אם מגדירים את המדיניות, צריך להגדיר בדיוק את chunkSegmentationConfig או את pageSegmentationConfig. הגדרה ריקה תידחה.
parsingConfig

object (UnstructuredParsingConfig)

זה שינוי אופציונלי. הגדרת הניתוח, שחלה על כל סוגי הקבצים לניתוח מסמכים לא מובְנים. קבצים בפורמט טקסט פשוט (.txt) תמיד מנותחים באופן דיגיטלי.

אם לא מגדירים את המדיניות, ברירת המחדל היא ניתוח דיגיטלי (חילוץ טקסט מקורי), או ניתוח עם מודעות לפריסה כש-embeddingConfig.mode הוא MULTIMODAL. אם מגדירים את המדיניות, צריך להגדיר בדיוק את digitalParsingConfig או את layoutParsingConfig. הגדרה ריקה תידחה.
embeddingConfig

object (UnstructuredEmbeddingConfig)

זה שינוי אופציונלי. ההגדרה הזו קובעת איך נוצרת ההטמעה לכל פלח.

UnstructuredSegmentationConfig

ההגדרה קובעת איך מסמכים לא מובְנים מחולקים למקטעים לפני ההטמעה.

ייצוג ב-JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "chunkSegmentationConfig": {
    object (ChunkSegmentationConfig)
  },
  "pageSegmentationConfig": {
    object (PageSegmentationConfig)
  }
  // End of mutually exclusive fields.
}
שדות
חובה. צריך לבחור מצב פילוח אחד בדיוק. כך מבודדים את ההגדרות, והמשתמשים לא יכולים להגדיר שדות שלא רלוונטיים למצב שהם בחרו. זו רשימה של שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים:
chunkSegmentationConfig

object (ChunkSegmentationConfig)

פילוח ברמת הקטע.
pageSegmentationConfig

object (PageSegmentationConfig)

פילוח ברמת הדף.
סוף השדות שמוציאים זה את זה.

ChunkSegmentationConfig

הגדרות החלוקה לקטעים של מסמכים לא מובְנים. הפלחים נוצרים כקטעים סמנטיים (למשל, לפי פסקה).

ייצוג ב-JSON 
{
  "chunkSize": integer,
  "includeAncestorHeadings": boolean
}
שדות
chunkSize

integer

זה שינוי אופציונלי. מגבלת גודל הטוקנים לכל קטע.

ערכים נתמכים: 100-500 (כולל). אם לא מגדירים ערך, ברירת המחדל היא 500.
includeAncestorHeadings

boolean

זה שינוי אופציונלי. אם כל קטע כולל גם את הכותרות של החלקים שהוא שייך אליהם, כדי שקטע שנלקח מאמצע חלק ישמור על ההקשר שלו.

כותרות מזוהות רק על ידי ניתוח פריסה (layoutParsingConfig). בניתוח דיגיטלי ובקבצים של טקסט פשוט, להגדרה הזו אין השפעה.

אם המדיניות לא מוגדרת, ערך ברירת המחדל הוא False.

PageSegmentationConfig

בסוג הזה אין שדות.

הגדרות החלוקה לדפים במסמכים לא מובְנים. הפלחים נוצרים ברמת הדף.

שימוש עם ניתוח דיגיטלי. ב-layoutParsingConfig, אי אפשר לייבא קובצי PDF, וקובצי Word, ‏ PowerPoint ו-Excel מפוצלים לחלקים.

UnstructuredParsingConfig

הגדרות קשורות שחלות על סוג ספציפי של מנתח מסמכים לא מובנים.

ייצוג ב-JSON 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "digitalParsingConfig": {
    object (DigitalParsingConfig)
  },
  "layoutParsingConfig": {
    object (LayoutParsingConfig)
  }
  // End of mutually exclusive fields.
}
שדות
חובה. צריך לבחור מצב ניתוח אחד בדיוק. כך מבודדים את ההגדרות, והמשתמשים לא יכולים להגדיר שדות שלא רלוונטיים למצב שהם בחרו. זו רשימה של שדות שמוציאים זה את זה. בתשובה יוגדר לכל היותר אחד מהשדות הבאים:
digitalParsingConfig

object (DigitalParsingConfig)

ניתוח דיגיטלי (חילוץ טקסט מקורי).
layoutParsingConfig

object (LayoutParsingConfig)

ניתוח שמזהה את הפריסה.
סוף השדות שמוציאים זה את זה.

DigitalParsingConfig

בסוג הזה אין שדות.

הגדרות הניתוח הדיגיטלי של מסמכים לא מובְנים. חילוץ הטקסט ששמור בקובץ, בלי OCR או זיהוי פריסה: טקסט שמופיע רק בתמונות לא מחולץ, וכותרות וטבלאות לא מזוהות.

LayoutParsingConfig

בסוג הזה אין שדות.

הגדרות הניתוח של הפריסה במסמכים לא מובְנים. מזהה את מבנה המסמך, כמו כותרות וטבלאות, ומפעיל OCR על קובצי PDF. נדרש כדי ש-includeAncestorHeadings ייכנס לתוקף, וכדי להטמיע את MULTIMODAL.

UnstructuredEmbeddingConfig

הגדרת האופן שבו נוצרות הטמעות לכל פלח במודל של מסמך לא מובנה.

ייצוג ב-JSON 
{
  "mode": enum (EmbeddingMode)
}
שדות
mode

enum (EmbeddingMode)

זה שינוי אופציונלי. קובע על סמך מה מחושבת ההטמעה של פלח. ברירת המחדל היא TEXT.

EmbeddingMode

מהו הבסיס לחישוב ההטמעה של פלח.

טיפוסים בני מנייה (enum)
EMBEDDING_MODE_UNSPECIFIED לא צוין. הערך נחשב כ-TEXT.
TEXT טקסט בלבד. תמונות שחולצו מהמסמך לא תורמות להטמעה. ברירת מחדל.

מדינה

המצב של DataStore.

טיפוסים בני מנייה (enum)
STATE_UNSPECIFIED ערך ברירת המחדל. המערכת משתמשת בערך הזה אם המדינה לא צוינה.
CREATING מאגר הנתונים נוצר.
ACTIVE ה-DataStore מוכן לשימוש.
DELETING ה-DataStore נמחק.

DocumentMetadataSchema

סכימה למטא-נתונים שמוגדרים על ידי המשתמש במסמכים ב-DataStore.

ייצוג ב-JSON 
{
  "schema": {
    object
  }
}
שדות
schema

object (Struct format)

זה שינוי אופציונלי. סכימת ה-JSON של המטא-נתונים של המסמך. הסכימה תאומת מול טיוטה 7 של סכימת JSON.

שמות של נכסים יכולים להכיל רק אותיות, ספרות, _ ו--, והם לא יכולים להתחיל ב-google בכל אות רישית; הקידומת הזו שמורה. מילת המפתח additionalProperties לא נתמכת ב-properties.

Methods

create

 יצירת מאגר נתונים חדש בפרויקט ובמיקום נתונים.

delete

 מחיקת מאגר נתונים אחד.

get

 אחזור פרטים של מאגר נתונים יחיד.

importDocuments

 הפעלת פעולה ממושכת לייבוא מסמכים למאגר נתונים.

list

 הצגת רשימה של מאגרי נתונים בפרויקט ובמיקום נתונים.

patch

 עדכון הפרמטרים של מאגר נתונים אחד.

purgeDocuments

 הפעלת פעולה ממושכת (LRO) כדי למחוק מסמכים ממאגר נתונים.