Classificar o Cloud Storage

Um exemplo de job do PySpark para classificar o conteúdo de um arquivo de texto no Cloud Storage

Exemplo de código

Python

Antes de testar este exemplo, siga as instruções de configuração Python no Guia de início rápido do Serviço Gerenciado para Apache Spark: como usar bibliotecas de cliente. Para mais informações, consulte a documentação de referência da APIPython do Serviço Gerenciado para Apache Spark.

Para autenticar o Serviço Gerenciado para Apache Spark, configure o Application Default Credentials. Se quiser mais informações, consulte Configurar a autenticação para um ambiente de desenvolvimento local.

import pyspark

sc = pyspark.SparkContext()
rdd = sc.textFile("gs://path-to-your-GCS-file")
print(sorted(rdd.collect()))

A seguir

Para pesquisar e filtrar exemplos de código de outros Google Cloud produtos, consulte a Google Cloud pesquisa de exemplos de código.