A E/S gerida suporta a leitura e a escrita no Apache Kafka.
Requisitos
Os seguintes SDKs suportam a E/S gerida para o Apache Kafka:
- Versão 2.58.0 ou posterior do SDK do Apache Beam para Java
- Versão 2.61.0 ou posterior do SDK do Apache Beam para Python
Configuração
A E/S gerida para o BigQuery suporta os seguintes parâmetros de configuração:
KAFKA Ler
| Configuração | Tipo | Descrição |
|---|---|---|
| bootstrap_servers |
str
|
Uma lista de pares de anfitrião/porta a usar para estabelecer a ligação inicial ao cluster do Kafka. O cliente vai usar todos os servidores, independentemente dos servidores especificados aqui para o arranque. Esta lista só afeta os anfitriões iniciais usados para descobrir o conjunto completo de servidores. Esta lista deve ter o formato `host1:port1,host2:port2,...` |
| tópico |
str
|
N/A |
| allow_duplicates |
boolean
|
Se a leitura do Kafka permitir duplicados. |
| confluent_schema_registry_subject |
str
|
N/A |
| confluent_schema_registry_url |
str
|
N/A |
| consumer_config_updates |
map[str, str]
|
Uma lista de pares de chave-valor que atuam como parâmetros de configuração para consumidores do Kafka. A maioria destas configurações não é necessária, mas pode usá-las se precisar de personalizar o seu consumidor do Kafka. Veja uma lista detalhada: https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html |
| file_descriptor_path |
str
|
O caminho para o ficheiro Protocol Buffer File Descriptor Set. Este ficheiro é usado para a definição do esquema e a serialização de mensagens. |
| formato |
str
|
O formato de codificação dos dados armazenados no Kafka. As opções válidas são: RAW, STRING, AVRO, JSON e PROTO |
| message_name |
str
|
O nome da mensagem de Protocol Buffer a usar para a extração do esquema e a conversão de dados. |
| offset_deduplication |
boolean
|
Se a redistribuição estiver a usar o modo de eliminação de duplicados com desvio. |
| redistribute_by_record_key |
boolean
|
Se as chaves forem redistribuídas pela chave de registo do Kafka. |
| redistribute_num_keys |
int32
|
O número de chaves para redistribuir as entradas do Kafka. |
| redistribuído |
boolean
|
Se a leitura do Kafka deve ser redistribuída. |
| esquema |
str
|
O esquema no qual os dados são codificados no tópico do Kafka. Para dados AVRO, este é um esquema definido com a sintaxe do esquema AVRO (https://avro.apache.org/docs/1.10.2/spec.html#schemas). Para dados JSON, trata-se de um esquema definido com a sintaxe JSON-schema (https://json-schema.org/). Se for fornecido um URL para o Confluent Schema Registry, este campo é ignorado e o esquema é obtido a partir do Confluent Schema Registry. |
KAFKA Escrever
| Configuração | Tipo | Descrição |
|---|---|---|
| bootstrap_servers |
str
|
Uma lista de pares de anfitrião/porta a usar para estabelecer a ligação inicial ao cluster do Kafka. O cliente vai usar todos os servidores, independentemente dos servidores especificados aqui para o arranque. Esta lista só afeta os anfitriões iniciais usados para descobrir o conjunto completo de servidores. | Formato: host1:port1,host2:port2,... |
| formato |
str
|
O formato de codificação dos dados armazenados no Kafka. As opções válidas são: RAW, JSON, AVRO e PROTO |
| tópico |
str
|
N/A |
| file_descriptor_path |
str
|
O caminho para o ficheiro Protocol Buffer File Descriptor Set. Este ficheiro é usado para a definição do esquema e a serialização de mensagens. |
| message_name |
str
|
O nome da mensagem de Protocol Buffer a usar para a extração do esquema e a conversão de dados. |
| producer_config_updates |
map[str, str]
|
Uma lista de pares de chave-valor que atuam como parâmetros de configuração para produtores do Kafka. A maioria destas configurações não é necessária, mas pode usá-las se precisar de personalizar o seu produtor do Kafka. Veja uma lista detalhada: https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html |
| esquema |
str
|
N/A |
O que se segue?
Para mais informações e exemplos de código, consulte os seguintes tópicos: