REST Resource: projects.locations.dataStores

リソース: DataStore

DataStore オブジェクトについて説明するメッセージ。プロジェクトが直接所有する DataStore は、1 つの不変の DocumentType を共有する一連の関連ドキュメントと、それらの処理に使用される構成を保持します。インポートされたドキュメントはセグメントに分割され、エンベディングされて、DataStore のバックアップ コレクションに保存されます（collectionName を参照）。

JSON 表現 
{
  "name": string,
  "displayName": string,
  "description": string,
  "createTime": string,
  "updateTime": string,
  "labels": {
    string: string,
    ...
  },
  "documentType": enum (DocumentType),
  "processingConfig": {
    object (ProcessingConfig)
  },
  "state": enum (State),
  "collectionName": string,
  "documentMetadataSchema": {
    object (DocumentMetadataSchema)
  }
}
フィールド
name

string

ID。DataStore の完全修飾リソース名。

形式: projects/{project}/locations/{location}/dataStores/{dataStoreId}
displayName

string

省略可。ユーザーが指定した DataStore の表示名。
description

string

省略可。ユーザーが指定した DataStore の説明。
createTime

string (Timestamp format)

出力専用。作成タイムスタンプ

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
updateTime

string (Timestamp format)

出力専用。更新タイムスタンプ

RFC 3339 を使用します。生成された出力は常に Z 正規化され、小数点以下は 0、3、6、または 9 桁になります。「Z」以外のオフセットも使用できます。例: "2014-10-02T15:01:23Z"、"2014-10-02T15:01:23.045123456Z"、"2014-10-02T15:01:23+05:30"。
labels

map (key: string, value: string)

省略可。Key-Value ペアとしてのラベル。

"key": value ペアのリストを含むオブジェクト。例: { "name": "wrench", "mass": "1.3kg", "count": "3" }。
documentType

enum (DocumentType)

必須。変更不可。この DataStore 内のすべてのドキュメントの不変のコンテンツ タイプ。
processingConfig

object (ProcessingConfig)

省略可。この DataStore のドキュメントの取り込み（解析、セグメント化、埋め込み）方法を制御する構成。

dataStores.patch で変更できます。変更は、変更後に処理されたドキュメントにのみ適用されます。データストアにすでに存在するドキュメントは既存のセグメントを保持し、変更されていないファイルを再インポートしても再処理されません。
state

enum (State)

出力専用。DataStore の状態。
collectionName

string

出力専用。この DataStore をバックアップする Collection のリソース名（projects/{project}/locations/{location}/collections/{collectionId} 形式）。collectionId は google-{dataStoreId}、または google- の後に DataStore ID のハッシュが続くものです（63 文字を超える場合）。バッキング コレクションが作成されると入力されます。
documentMetadataSchema

object (DocumentMetadataSchema)

省略可。この DataStore のドキュメントのユーザー定義メタデータのスキーマ。スキーマは JSON Schema Draft 7 と照合して検証されます。

スキーマは、後で dataStores.patch を使用してプロパティを追加することで拡張できます。既存のプロパティを削除または変更することはできません。

DocumentType

DataStore 内のドキュメントのコンテンツ タイプ。DataStore 内のすべてのドキュメントは、単一の不変の DocumentType を共有します。

列挙型
DOCUMENT_TYPE_UNSPECIFIED デフォルト値。ドキュメント タイプは指定されていません。
UNSTRUCTURED テキスト ドキュメント: PDF、書式なしテキスト、Word、PowerPoint、Excel ファイル（必要に応じてメタデータを含む）。
VIDEO 動画ドキュメント（メタデータを含む場合もあります）。

ProcessingConfig

ProcessingConfig は、DataStore 内のドキュメントの解析、セグメント化、埋め込み方法を制御します。

JSON 表現 
{
  "videoProcessingConfig": {
    object (VideoProcessingConfig)
  },
  "unstructuredProcessingConfig": {
    object (UnstructuredProcessingConfig)
  }
}
フィールド
videoProcessingConfig

object (VideoProcessingConfig)

省略可。動画取り込みパイプラインの構成。DataStore の documentType が VIDEO の場合に適用されます。

VIDEO DataStore で設定されていない場合、パイプラインはデフォルトで 30 秒のウィンドウ サイズの固定ウィンドウ セグメンテーションを使用し、セグメントごとのエンベディング生成中に音声が無効になります。
unstructuredProcessingConfig

object (UnstructuredProcessingConfig)

省略可。非構造化ドキュメント取り込みパイプラインの構成。DataStore の documentType が UNSTRUCTURED の場合に適用されます。

UNSTRUCTURED DataStore で設定されていない場合、パイプラインはデフォルトで、chunkSize が 500 のチャンク セグメンテーション、デジタル解析、テキストのみのセグメントごとのエンベディング生成を使用します。

VideoProcessingConfig

この DataStore に取り込まれたドキュメントに適用される動画取り込みパイプラインを構成します。セグメンテーションとエンベディングの設定は、このメッセージにグループ化されたまま、個別に進化させることができます。

すべてのサブ構成は省略可能です。省略されたサブ構成は、そのフィールドに記載されているプラットフォームのデフォルトにフォールバックします。

JSON 表現 
{
  "segmentationConfig": {
    object (VideoSegmentationConfig)
  },
  "embeddingConfig": {
    object (VideoEmbeddingGenerationConfig)
  }
}
フィールド
segmentationConfig

object (VideoSegmentationConfig)

省略可。エンベディング前に動画をセグメントに分割する方法を制御します。

設定しない場合、デフォルトは 30 秒のウィンドウを使用した固定ウィンドウ セグメンテーションになります。設定する場合は、fixedWindowConfig などのセグメンテーション モードを設定する必要があります。空の構成は拒否されます。
embeddingConfig

object (VideoEmbeddingGenerationConfig)

省略可。セグメントごとのマルチモーダル エンベディングの生成方法を制御します。

VideoSegmentationConfig

エンベディング前に動画をセグメントに分割する方法を構成します。

JSON 表現 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "fixedWindowConfig": {
    object (FixedWindowConfig)
  }
  // End of mutually exclusive fields.
}
フィールド
必須。セグメンテーション モードを 1 つだけ選択する必要があります。これにより構成が分離され、ユーザーは選択したモードに適用されないフィールドを設定できなくなります。相互に排他的なフィールドのリストは次のとおりです。レスポンスに設定されるフィールドは、最大 1 つです。
fixedWindowConfig

object (FixedWindowConfig)

固定ウィンドウ（決定的）セグメンテーション。
相互に排他的なフィールドの終了。

FixedWindowConfig

固定ウィンドウ セグメンテーションを構成します。セグメントは、それぞれ segmentDuration の決定的で重複しないウィンドウとして生成されます。

JSON 表現 
{
  "segmentDuration": string
}
フィールド
segmentDuration

string (Duration format)

省略可。出力される各セグメントの固定ウィンドウ サイズを指定します。

設定しない場合、デフォルトは 30 秒です。明示的に設定する場合は、5 秒より大きく、80 秒以下にする必要があります。

s で終わる小数 9 桁までの秒単位の期間。例: "3.5s"。

VideoEmbeddingGenerationConfig

動画モダリティに対してセグメントごとのマルチモーダル エンベディングを生成する方法を構成します。

JSON 表現 
{
  "audioMode": enum (AudioMode)
}
フィールド
audioMode

enum (AudioMode)

省略可。音声トラックをエンベディングに含めるかどうかを制御します。デフォルトは DISABLED です。

AudioMode

セグメントごとのエンベディングを生成するときに、ソース動画の音声トラックをどのように処理するかを指定します。

この列挙型は固定されており、新しい値は想定されていません。

列挙型
AUDIO_MODE_UNSPECIFIED 指定なし。DISABLED として扱われます。
ENABLED 音声トラックを動画フレームとともにマルチモーダル エンベディングに多重化します。音声コンテンツや周囲の音に依存するクエリ（会話主導のニュース、スポーツ解説など）の再現率が向上しますが、エンベディング リクエストのトークンサイズが大きくなります。
DISABLED 音声トラックを削除し、視覚フレームのみからエンベディングを生成します。デフォルト。

UnstructuredProcessingConfig

この DataStore に取り込まれたドキュメントに適用される非構造化ドキュメント取り込みパイプラインの構成。セグメンテーションと解析の設定は、このメッセージにグループ化されたまま、個別に進化させることができます。

すべてのサブ構成は省略可能です。省略されたサブ構成は、そのフィールドに記載されているプラットフォームのデフォルトにフォールバックします。

JSON 表現 
{
  "segmentationConfig": {
    object (UnstructuredSegmentationConfig)
  },
  "parsingConfig": {
    object (UnstructuredParsingConfig)
  },
  "embeddingConfig": {
    object (UnstructuredEmbeddingConfig)
  }
}
フィールド
segmentationConfig

object (UnstructuredSegmentationConfig)

省略可。エンベディングの前に非構造化ドキュメントをセグメントに分割する方法を制御します。

設定しない場合、デフォルトは chunkSize が 500 のチャンク セグメンテーションになります。設定する場合は、chunkSegmentationConfig または pageSegmentationConfig のいずれか 1 つのみを設定する必要があります。空の構成は拒否されます。
parsingConfig

object (UnstructuredParsingConfig)

省略可。解析構成。非構造化ドキュメント解析のすべてのファイル形式に適用されます。書式なしテキスト（.txt）ファイルは常にデジタルで解析されます。

未設定の場合、デフォルトはデジタル（ネイティブ テキスト抽出）解析です。embeddingConfig.mode が MULTIMODAL の場合は、レイアウト認識解析です。設定する場合は、digitalParsingConfig または layoutParsingConfig のいずれか 1 つのみを設定する必要があります。空の構成は拒否されます。
embeddingConfig

object (UnstructuredEmbeddingConfig)

省略可。セグメントごとのエンベディングの生成方法を制御します。

UnstructuredSegmentationConfig

エンベディングの前に、非構造化ドキュメントをセグメントに分割する方法を構成します。

JSON 表現 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "chunkSegmentationConfig": {
    object (ChunkSegmentationConfig)
  },
  "pageSegmentationConfig": {
    object (PageSegmentationConfig)
  }
  // End of mutually exclusive fields.
}
フィールド
必須。セグメンテーション モードを 1 つだけ選択する必要があります。これにより構成が分離され、ユーザーは選択したモードに適用されないフィールドを設定できなくなります。相互に排他的なフィールドのリストは次のとおりです。レスポンスに設定されるフィールドは、最大 1 つです。
chunkSegmentationConfig

object (ChunkSegmentationConfig)

チャンクレベルのセグメンテーション。
pageSegmentationConfig

object (PageSegmentationConfig)

ページレベルのセグメンテーション。
相互に排他的なフィールドの終了。

ChunkSegmentationConfig

非構造化ドキュメントのチャンク セグメンテーション構成。セグメントはセマンティック チャンク（段落など）として生成されます。

JSON 表現 
{
  "chunkSize": integer,
  "includeAncestorHeadings": boolean
}
フィールド
chunkSize

integer

省略可。各チャンクのトークンサイズの上限。

サポートされる値: 100～500（両端の値を含む）。設定しない場合、デフォルトは 500 です。
includeAncestorHeadings

boolean

省略可。各チャンクに、そのチャンクが属するセクションの見出しも含めるかどうか。これにより、セクションの中央から取得されたチャンクのコンテキストが保持されます。

見出しは、レイアウト解析（layoutParsingConfig）でのみ検出されます。デジタル解析と書式なしテキスト ファイルの場合、この設定は効果がありません。

設定されていない場合、デフォルトは false です。

PageSegmentationConfig

この型にはフィールドがありません。

非構造化ドキュメントのページ セグメンテーション構成。セグメントはページレベルで生成されます。

デジタル解析で使用します。layoutParsingConfig では、PDF ファイルのインポートは失敗し、Word、PowerPoint、Excel のファイルはチャンクに分割されます。

UnstructuredParsingConfig

特定のタイプの非構造化ドキュメント パーサーに適用される関連構成。

JSON 表現 
{

  // The following is a list of mutually exclusive fields. At most one of the
  // fields will be set in a response:
  "digitalParsingConfig": {
    object (DigitalParsingConfig)
  },
  "layoutParsingConfig": {
    object (LayoutParsingConfig)
  }
  // End of mutually exclusive fields.
}
フィールド
必須。解析モードを 1 つだけ選択する必要があります。これにより構成が分離され、ユーザーは選択したモードに適用されないフィールドを設定できなくなります。相互に排他的なフィールドのリストは次のとおりです。レスポンスに設定されるフィールドは、最大 1 つです。
digitalParsingConfig

object (DigitalParsingConfig)

デジタル（ネイティブ テキスト抽出）解析。
layoutParsingConfig

object (LayoutParsingConfig)

レイアウト対応の解析。
相互に排他的なフィールドの終了。

DigitalParsingConfig

この型にはフィールドがありません。

非構造化ドキュメントのデジタル解析構成。OCR やレイアウト検出を行わずに、ファイルに保存されているテキストを抽出します。画像にのみ表示されるテキストは抽出されず、見出しや表は検出されません。

LayoutParsingConfig

この型にはフィールドがありません。

非構造化ドキュメントのレイアウト解析構成。見出しや表などのドキュメントの構造を検出し、PDF ファイルに対して OCR を実行します。includeAncestorHeadings を有効にする場合と、MULTIMODAL の埋め込みに必要です。

UnstructuredEmbeddingConfig

非構造化ドキュメント モダリティのセグメントごとのエンベディングの生成方法を構成します。

JSON 表現 
{
  "mode": enum (EmbeddingMode)
}
フィールド
mode

enum (EmbeddingMode)

省略可。セグメントのエンベディングの計算元を制御します。デフォルトは TEXT です。

EmbeddingMode

セグメントのエンベディングの計算元。

列挙型
EMBEDDING_MODE_UNSPECIFIED 指定なし。TEXT として扱われます。
TEXT テキストのみ。ドキュメントから抽出された画像は、エンベディングに寄与しません。デフォルト。

状態

DataStore の状態。

列挙型
STATE_UNSPECIFIED デフォルト値。この値は、状態が省略されている場合に使用されます。
CREATING DataStore を作成しています。
ACTIVE DataStore を使用する準備が整いました。
DELETING DataStore を削除しています。

DocumentMetadataSchema

DataStore 内のドキュメントのユーザー定義メタデータのスキーマ。

JSON 表現 
{
  "schema": {
    object
  }
}
フィールド
schema

object (Struct format)

省略可。ドキュメント メタデータの JSON スキーマ。スキーマは JSON Schema Draft 7 と照合して検証されます。

プロパティ名に使用できるのは、英字、数字、_、- のみです。google で始めることはできません（大文字と小文字は区別されません）。この接頭辞は予約されています。additionalProperties キーワードは properties 内ではサポートされていません。

メソッド

create

 指定されたプロジェクトとロケーションに新しい DataStore を作成します。

delete

 単一の DataStore を削除します。

get

 単一の DataStore の詳細を取得します。

importDocuments

 長時間実行オペレーションを開始して、ドキュメントを DataStore にインポートします。

list

 指定されたプロジェクトとロケーションの DataStore を一覧表示します。

patch

 単一の DataStore のパラメータを更新します。

purgeDocuments

 DataStore からドキュメントを削除する長時間実行オペレーションを開始します。