マネージド I/O は、Apache Kafka への読み取りと書き込みをサポートしています。
要件
次の SDK は、Apache Kafka のマネージド I/O をサポートしています。
- Apache Beam SDK for Java バージョン 2.58.0 以降
- Apache Beam SDK for Python バージョン 2.61.0 以降
構成
BigQuery 向けマネージド I/O は、次の構成パラメータをサポートしています。
KAFKA 読み取り
| 構成 | 種類 | 説明 |
|---|---|---|
| bootstrap_servers |
str
|
Kafka クラスタへの初期接続の確立に使用するホスト / ポートペアのリスト。クライアントは、ここでブートストラップ用に指定されたサーバーに関係なく、すべてのサーバーを使用します。このリストは、完全なサーバーセットを検出するために使用される初期ホストにのみ影響します。このリストは「host1:port1,host2:port2,...」の形式にする必要があります。 |
| topic |
str
|
なし |
| allow_duplicates |
boolean
|
Kafka 読み取りで重複を許可するかどうか。 |
| confluent_schema_registry_subject |
str
|
なし |
| confluent_schema_registry_url |
str
|
なし |
| consumer_config_updates |
map[str, str]
|
Kafka コンシューマーの構成パラメータとして機能する Key-Value ペアのリスト。これらの構成の大半は必要ありませんが、Kafka コンシューマーをカスタマイズする必要がある場合は、これを使用できます。詳細なリストについては、https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html をご覧ください。 |
| file_descriptor_path |
str
|
プロトコル バッファのファイル記述子セットファイルのパス。このファイルは、スキーマ定義とメッセージのシリアル化に使用されます。 |
| format |
str
|
Kafka に保存されているデータのエンコード形式。有効なオプションは、RAW、STRING、AVRO、JSON、PROTO です。 |
| message_name |
str
|
スキーマ抽出とデータ変換に使用するプロトコル バッファ メッセージの名前。 |
| offset_deduplication |
boolean
|
再分配でオフセット重複除去モードを使用するかどうか。 |
| redistribute_by_record_key |
boolean
|
Kafka レコードキーを再分配キーにするかどうか。 |
| redistribute_num_keys |
int32
|
Kafka 入力を再分配するためのキーの数。 |
| redistributed |
boolean
|
Kafka 読み取りを再分配するかどうか。 |
| schema |
str
|
Kafka トピックでデータがエンコードされるスキーマ。AVRO データの場合、これは AVRO スキーマ構文（https://avro.apache.org/docs/1.10.2/spec.html#schemas）で定義されたスキーマです。JSON データの場合、これは JSON スキーマ構文（https://json-schema.org/）で定義されたスキーマです。Confluent Schema Registry の URL を指定した場合、このフィールドは無視され、スキーマは Confluent Schema Registry から取得されます。 |
KAFKA 書き込み
| 構成 | 種類 | 説明 |
|---|---|---|
| bootstrap_servers |
str
|
Kafka クラスタへの初期接続の確立に使用するホスト / ポートペアのリスト。クライアントは、ここでブートストラップ用に指定されたサーバーに関係なく、すべてのサーバーを使用します。このリストは、完全なサーバーセットを検出するために使用される初期ホストにのみ影響します。| 形式: host1:port1,host2:port2,... |
| format |
str
|
Kafka に保存されているデータのエンコード形式。有効なオプションは、RAW、JSON、AVRO、PROTO です。 |
| topic |
str
|
なし |
| file_descriptor_path |
str
|
プロトコル バッファのファイル記述子セットファイルのパス。このファイルは、スキーマ定義とメッセージのシリアル化に使用されます。 |
| message_name |
str
|
スキーマ抽出とデータ変換に使用するプロトコル バッファ メッセージの名前。 |
| producer_config_updates |
map[str, str]
|
Kafka プロデューサーの構成パラメータとして機能する Key-Value ペアのリスト。これらの構成の大半は必要ありませんが、Kafka プロデューサーをカスタマイズする必要がある場合は、これを使用できます。詳細なリストについては、https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html をご覧ください。 |
| schema |
str
|
なし |
次のステップ
コード例などの詳細については、次のトピックをご覧ください。