このドキュメントでは、Knowledge Catalog（旧 Dataplex Universal Catalog）に適用される割り当てについて説明します。
Google Cloud では、リソースの使用や可用性における公平性を保って急激な変動を抑えるために、割り当てが使用されています。割り当ては、 Google Cloud プロジェクトで使用できるGoogle Cloud リソースの量を制限します。割り当ては、ハードウェア、ソフトウェア、ネットワーク コンポーネントなど、さまざまなリソースタイプに適用されます。たとえば、割り当てによって、サービスへの API 呼び出しの数、プロジェクトで同時に使用されるロードバランサの数、作成可能なプロジェクトの数を制限できます。割り当てを適用することで、サービスの過負荷を防ぎ、Google Cloud ユーザーのコミュニティを保護します。割り当ては、自組織で使用している Google Cloud リソースの管理にも役立ちます。
Cloud Quotas システムは次のことを行います。
- Google Cloud のプロダクトとサービスの消費量をモニタリングする
- これらのリソースの消費量を制限する
- 割り当て値の変更をリクエストし、割り当ての調整を自動化する手段を提供する
ほとんどの場合、割り当ての許容量を超えるリソースを消費しようとすると、システムによってリソースへのアクセスがブロックされ、実行しようとしているタスクは失敗します。
割り当ては通常、 Google Cloud プロジェクト レベルで適用されます。あるプロジェクトでリソースを使用しても、別のプロジェクトで使用可能な割り当てに影響することはありません。 Google Cloud プロジェクト内では、すべてのアプリケーションと IP アドレスで割り当てが共有されます。
詳細については、Cloud Quotas の概要をご覧ください。
ナレッジカタログのリソースにはシステムの上限もあります。システムの上限は変更できません。
Knowledge Catalog では、特定の期間中に API リクエストの数と、プロジェクトで作成できるリソースの数に割り当てが適用されます。割り当てによって、予期しない使用量の急増とサービスの過負荷を防ぎます。詳しくは、割り当てが適用される理由をご覧ください。
Knowledge Catalog をより多く使用するにつれて、割り当てのニーズが増える場合があります。割り当てがニーズを満たすには少なすぎる、または使用量の今後の増加が想定される場合は、事前に割り当ての増加をリクエストできます。
API リクエストの種類について
リソース管理、メタデータ、タスク、データスキャンなど、さまざまな Knowledge Catalog 機能にわたる API リクエストは、サービスの利用状況と保護を管理するために、一般的なバケットに分類されます。
読み取りリクエスト
読み取りリクエストは、構成や状態を変更せずに、既存のリソース、メタデータ、実行履歴に関する情報を取得するように設計されたオペレーションです。これらのオペレーションは非ミューテーションであり、新しい処理ジョブをトリガーしません。
読み取りリクエスト オペレーションには、Get、List、Describe があります。たとえば、データスキャンの定義やスキャンジョブのステータスの表示は読み取りリクエストです。
書き込みリクエスト
書き込みリクエストには、リソース定義を作成、更新、削除するすべてのオペレーションと、セキュリティ ポリシーを変更するオペレーションが含まれます。これらは、環境の状態を変更するオペレーションです。
書き込みリクエスト オペレーションには、Create、Update、Delete、Cancel、SetIamPolicy があります。たとえば、データ品質スキャンの構成や既存のデータ プロファイル スキャンの更新は書き込みリクエストです。
実行リクエスト
実行リクエストは、事前構成されたリソースのアクティブな実行をトリガーすることを指します。書き込みリクエスト（繰り返しスケジュールを作成する可能性がある）とは異なり、実行リクエストは、構成されたロジックのオンデマンド実行によく使用されます。
たとえば、データスキャンの実行を手動で開始することは、実行リクエストです。
Dataplex API リクエストの割り当て
Dataplex API は、送信元に関係なく、Knowledge Catalog のリソース管理リクエストと検索リクエストにさまざまなレベルで割り当てを適用します。これには、直接 API 呼び出し、クライアント ライブラリ、Google Cloud CLI、 Google Cloud コンソールから発信されたリクエストが含まれます。
Knowledge Catalog リクエストには、次の割り当てが適用されます。
| 割り当て | デフォルト |
|---|---|
| 1 分、1 リージョン、1 プロジェクトあたりのエントリとアスペクトの読み取りリクエスト数 | 6000 |
| 1 分、1 リージョン、1 プロジェクトあたりのエントリとアスペクトの書き込みリクエスト数 | 1500 |
| 1 分、1 ユーザー、1 プロジェクトあたりのアスペクト タイプ、エントリタイプ、エントリ グループの読み取りリクエスト数 | 100 |
| 1 分、1 プロジェクトあたりのアスペクト タイプ、エントリタイプ、エントリ グループの読み取りリクエスト数 | 200 |
| 1 分、1 ユーザー、1 プロジェクトあたりのアスペクト タイプ、エントリタイプ、エントリ グループの書き込みリクエスト数 | 10 |
| 1 分、1 プロジェクトあたりのアスペクト タイプ、エントリタイプ、エントリ グループの書き込みリクエスト数 | 20 |
| 1 分、1 ユーザー、1 プロジェクトあたりの検索リクエスト数 | 900 |
| 1 分、1 プロジェクトあたりの検索リクエスト数 | 1200 |
| 1 分、1 組織あたりの検索リクエスト数 | 2400 |
| 1 日、1 組織あたりの検索リクエスト数 | 345600 |
| 1 分、1 リージョン、1 プロジェクトあたりのメタデータ ジョブの読み取りリクエスト数 | 400 |
| 1 分、1 リージョン、1 ユーザー、1 プロジェクトあたりのメタデータ ジョブの読み取りリクエスト数 | 200 |
| 1 分、1 リージョン、1 プロジェクトあたりのメタデータ ジョブの書き込みリクエスト数 | 20 |
| 1 分、1 リージョン、1 ユーザー、1 プロジェクトあたりのメタデータ ジョブの書き込みリクエスト数 | 10 |
| 1 分、1 リージョン、1 プロジェクトあたりのデータスキャンの読み取りリクエスト数 | 1200 |
| 1 分、1 リージョン、1 ユーザー、1 プロジェクトあたりのデータスキャンの読み取りリクエスト数 | 600 |
| 1 分、1 リージョン、1 プロジェクトあたりのデータスキャンの書き込みリクエスト数 | 200 |
| 1 分、1 リージョン、1 ユーザー、1 プロジェクトあたりのデータスキャンの書き込みリクエスト数 | 100 |
| 1 分、1 リージョン、1 プロジェクトあたりのデータスキャンの実行リクエスト数 | 60 |
| 1 分、1 リージョン、1 ユーザー、1 プロジェクトあたりのデータスキャンの実行リクエスト数 | 30 |
| プロジェクトあたりの BigQuery オブジェクト テーブルの非構造化データに対するデータ プロファイル スキャンの 1 日あたりの合計実行回数 | 140 |
| メタデータ エクスポート ジョブによってエクスポートされるメタデータの量（組織ごと、1 日あたり） | 10 GB |
|
メタデータ エクスポート ジョブによるエクスポートでスキャンされるメタデータの量（組織ごと、1 日あたり） この割り当てでは、メタデータ エクスポート ジョブのスコープ内の組織、プロジェクト、エントリ グループに存在するメタデータの合計量が評価されます。 |
100 GB |
次の表に示す Knowledge Catalog リクエストごとに、プロジェクトあたり、およびユーザーあたりプロジェクトあたりの両方のレベルで割り当てが適用されます。
| 割り当て | 例 |
|---|---|
| リソース管理の読み取りリクエスト | レイクの取得、ゾーンの一覧表示 |
| リソース管理の書き込みリクエスト | レイクの作成、アセットの削除 |
| メタデータのリクエストの取得 | エンティティの取得、パーティションの取得 |
| メタデータの一覧表示リクエスト | エンティティの一覧表示、パーティションの一覧表示 |
| メタデータの書き込みリクエスト | エンティティの更新、パーティションの削除 |
| タスクとジョブのリソースの読み取りリクエスト | タスクの取得、ジョブの一覧表示 |
| タスクとジョブのリソースの書き込みリクエスト | タスクの作成、ジョブのキャンセル |
| IAM ポリシー リクエストの設定 | IAM ポリシーを設定する |
Data Lineage API リクエストの割り当て
Data Lineage API では、次の割り当てが適用されます。
- データを返すだけの読み取りリクエスト
- データを作成または変更する書き込みリクエスト
- オープン リネージを作成する
データリネージ リクエストには、次の割り当てが適用されます。
| 割り当て | デフォルト値 |
|---|---|
| 1 分、1 リージョン、1 ユーザー、1 プロジェクトあたりの読み取りリクエスト数 | 1000 |
| 1 分、1 リージョン、1 ユーザー、1 プロジェクトあたりの書き込みリクエスト数 | 6000 |
| 1 分、1 リージョン、1 ユーザー、1 プロジェクトあたりのオープン リネージ リクエスト数 | 3000 |
データ プロダクト API リクエストの割り当て
Dataplex API は、データ プロダクトとデータアセットのメタデータ オペレーションとライフサイクル リクエストにレート制限を適用します。これらの上限は、リクエストが Google Cloud コンソール、Google Cloud CLI、クライアント ライブラリ、直接 API 呼び出しのいずれから発信されたかに関係なく適用されます。
データ プロダクトとデータアセットのリクエストには、次の割り当てが適用されます。
| 割り当て | デフォルト値 |
|---|---|
| 1 分、1 リージョン、1 プロジェクトあたりのデータ プロダクトの読み取りリクエスト数 | 500 |
| 1 分、1 リージョン、1 ユーザー、1 プロジェクトあたりのデータ プロダクトの読み取りリクエスト数 | 250 |
| 1 分、1 リージョン、1 プロジェクトあたりのデータ プロダクトの作成リクエストと削除リクエスト | 250 |
| 1 分、1 リージョン、1 ユーザー、1 プロジェクトあたりのデータ プロダクトの作成リクエストと削除リクエスト | 125 |
| 1 分、1 プロジェクトあたりのデータ プロダクトの更新リクエスト数 | 10 |
| 1 分、1 ユーザー、1 プロジェクトあたりのデータ プロダクトの更新リクエスト数 | 5 |
| 1 分、1 リージョン、1 プロジェクトあたりのデータアセットの読み取りリクエスト数 | 500 |
| 1 分、1 リージョン、1 ユーザー、1 プロジェクトあたりのデータアセットの読み取りリクエスト数 | 250 |
| 1 分、1 リージョン、1 プロジェクトあたりのデータアセットの書き込みリクエスト数 | 30 |
| 1 分、1 リージョン、1 ユーザー、1 プロジェクトあたりのデータアセットの書き込みリクエスト数 | 15 |
Knowledge Studio の拡充タスクの割り当てと上限
Dataplex API は、Knowledge Studio の拡充タスク（AgentTask リソース）とタスク実行（AgentRun リソース）にレートとリソースの割り当てを適用します。
Knowledge Studio の拡充タスクには、次の割り当てが適用されます。
| 割り当て | デフォルト値 |
|---|---|
1 分、1 リージョン、1 プロジェクトあたりの拡充タスク リソース（タスクと実行の Get や List など）の読み取りリクエスト数 |
1200 |
1 分、1 リージョン、1 プロジェクトあたりの拡充タスク リソース（Create、Update、Delete など）の書き込みリクエスト数 |
60 |
| 1 分、1 リージョン、1 プロジェクトあたりの拡充タスク リソースの実行リクエスト数 | 20 |
1 プロジェクト、1 リージョンあたりの拡充タスク（AgentTask リソース）の最大数 |
100 |
リソースの割り当て
リソースの割り当ては、レイク、ゾーン、アセット、オンデマンド タスク、繰り返しタスクのリソースタイプに対して、プロジェクトごとのレベルで適用されます。Knowledge Catalog の割り当ての現在の使用量は、 Google Cloud コンソールの [割り当て] ページで確認できます。
割り当ての増加をリクエストする
Google Cloud コンソールで、[割り当て] ページに移動します。
変更する割り当てを選択します。
[その他の操作] > [割り当ての編集] をクリックします。
新しい割り当て値とリクエストの説明を入力します。
[次へ] をクリックします。
連絡先情報を入力します。
[リクエストを送信] をクリックします。
通常、割り当てを調整するには Google Cloud コンソールを使用します。詳細については、割り当ての調整をリクエストするをご覧ください。
割り当ての依存関係
Knowledge Catalog の使用には、他の Google Cloud プロダクトが関与する場合があります。たとえば、データ検出では、Cloud Storage API や BigQuery API を呼び出して、基盤となるリソースを操作する必要があります。これらのプロダクトにはプロジェクト レベルの割り当てがあり、これには Knowledge Catalog の使用に適用される割り当てが含まれます。
Knowledge Catalog で使用する場合があるその他のプロダクトの割り当てページ:
このリストはすべてを網羅したものではありません。
上限
Knowledge Catalog には、次の上限が適用されます。
| 上限 | 値 |
|---|---|
| エントリとアスペクト（スキーマ アスペクトを含む）のリクエストのサイズ | 2 MB |
| エントリ ID の長さ | 4,000 文字 |
| エントリ内の完全修飾名の長さ | 4,000 文字 |
| エントリ内のエントリソースの表示名の長さ | 500 文字 |
| エントリ内のエントリソース説明の長さ | 2,000 文字 |
| エントリ内のエントリソース リソースの長さ | 4,000 文字 |
| エントリ内のエントリソース システムの長さ | 64 文字 |
| エントリ内のエントリソース プラットフォームの長さ | 64 文字 |
| エントリ内のエントリソース ラベルの長さ | キーと値ごとに 128 文字 |
| アスペクト内の JSON コンテンツのサイズ（スキーマ アスペクトとデータ プロファイル アスペクトを除く） | 120 KB |
| データ プロファイル アスペクト内の JSON コンテンツのサイズ | 1 MB |
| エントリの合計サイズ | 5 MB |
| エントリ内のアスペクトの最大数 | 10,000 |
| エントリタイプ、アスペクト タイプ、エントリ グループの表示名の長さ | 256 |
| エントリタイプ、アスペクト タイプ、エントリ グループの説明の長さ | 1024 |
| アスペクト タイプのテンプレートにおけるフィールド名の長さ | 63 |
| エントリタイプの必須アスペクト タイプの最大数 | 20 |
| アスペクト タイプのテンプレートにおける列挙値の最大数 | 1024 |
| Knowledge Catalog の検索結果の最大アイテム数 | 500（ Google Cloud コンソールまたは API を使用している場合は semanticSearch=false のキーワードのみの検索モード）100（その他のすべての検索ケース） |
| プロジェクトごと、リージョンごとのデータスキャンの最大数 | 1000 |
| 1 プロジェクト、1 リージョンあたりのデータ プロダクトの最大数 | 200 |
| データ プロダクトあたりのデータアセットの最大数 | 50 |
| 1 分類あたりのポリシータグの最大数 | 100 |