Os componentes do serviço gerenciado para Apache Spark permitem executar cargas de trabalho em lote do Apache Spark de um pipeline no Vertex AI Pipelines. O Managed Service para Apache Spark executa as cargas de trabalho em lote em uma infraestrutura de computação gerenciada, com o escalonamento automático de recursos conforme necessário.
Saiba mais sobre o Managed Service for Apache Spark e as cargas de trabalho do Spark compatíveis.
No Managed Service for Apache Spark, um recurso Batch representa uma carga de trabalho em lote.
O SDK Google Cloud inclui os seguintes operadores para
criar recursos Batch e monitorar a execução deles:
Referência da API
Para referência de componentes, consulte a referência do SDKGoogle Cloud para componentes do Managed Service para Apache Spark .
Para referência de recursos do Managed Service for Apache Spark, consulte a seguinte página de referência da API:
- Recurso
Batch
- Recurso
Tutoriais
Histórico de versões e notas da versão
Para saber mais sobre o histórico de versões e as mudanças no SDK de componentes de pipeline do Google Cloud , consulte as Notas de lançamento do SDK de componentes de pipeline doGoogle Cloud .
Contatos do suporte técnico
Caso tenha alguma dúvida, entre em contato pelo e-mail kfp-dataproc-components@google.com.