Spark 런타임 버전 3.0 구성요소
참고:
3.0런타임은UTF-8을 기본 문자 인코딩으로 사용합니다.3.0런타임의 새로운 기능 및 개선사항:- 컴퓨팅 리소스의 획득 가능성을 높이기 위해 기본적으로 리전 및 다중 영역 워크로드가 사용됩니다.
- 이전 런타임보다 빠른 시작
- 워크로드 완료 후 VPC IP를 더 빠르게 해제할 수 있는 빠른 리소스 정리
- 최종 사용자 인증 정보는 기본적으로 모든 워크로드에 사용됩니다.
- 기본 BigQuery 네이티브 테이블 상호작용을 위해 사전 구성된 새로운
bigquerySpark 카탈로그 - 새 Spark 서버리스 전용 IAM 역할
- 새로운
dataprocrm.googleapis.comAPI 사용 설정이 필요함
3.0런타임에서 지원되지 않고 지원 중단된 기능:3.0런타임은 Lightning Engine 및 Native Query Execution을 지원하지 않습니다.3.0이상의 런타임은 Cloud Storage 스테이징 버킷을 사용하지 않습니다.영구 기록 서버 (PHS)는 지원되지 않습니다. 대신 Spark UI를 사용하세요.
SparkR 일괄 처리는 지원되지 않습니다. 대신
sparklyr를 사용하세요.Jupyter 세션은 지원되지 않습니다. 대신 대화형 Spark 개발을 위한 업계 표준인 Spark Connect 세션을 사용하세요.
Python 라이브러리
| 패키지 이름 | 버전 |
|---|---|
| accelerate | 1.11 |
| bigframes | 2.24 |
| cookiecutter | 2.6 |
| cuda | 12.9 |
| cudnn | 9.10 |
| cython | 3.1 |
| dask | 2025.10 |
| dataproc-spark-connect | 1.0.0 |
| dataproc-ml | 1.0.0rc1 |
| 데이터 세트 | 4.0 |
| deepspeed | 0.17 |
| delta-spark | 4.0.0 |
| evaluate | 0.4 |
| fastavro | 1.12 |
| fastparquet | 2024년 11월 |
| gcsfs | 2025.3 |
| git | 2.51 |
| google-auth-oauthlib | 1.2 |
| google-cloud-aiplatform | 1.121 |
| google-cloud-bigquery | 3.38 |
| google-cloud-bigquery-storage | 2.32 |
| google-cloud-bigtable | 2.34 |
| google-cloud-container | 2.59 |
| google-cloud-datacatalog | 3.27 |
| google-cloud-dataproc | 5.22 |
| google-cloud-datastore | 2.21 |
| google-cloud-dlp | 3.32 |
| google-cloud-language | 2.17 |
| google-cloud-logging | 3.12 |
| google-cloud-monitoring | 2.28 |
| google-cloud-pubsub | 2.31 |
| google-cloud-redis | 2.18 |
| google-cloud-secret-manager | 2.25 |
| google-cloud-spanner | 3.59 |
| google-cloud-speech | 2.33 |
| google-cloud-storage | 2.19 |
| google-cloud-texttospeech | 2.31 |
| google-cloud-translate | 3.21 |
| google-cloud-vision | 3.10 |
| httplib2 | 0.31 |
| huggingface_hub | 0.36 |
| ipyparallel | 9.0 |
| keyrings.google-artifactregistry-auth | 1.1 |
| langchain | 1.0 |
| lightgbm | 4.6 |
| mamba | 2.3 |
| markdown | 3.9 |
| nccl | 2.27 |
| nltk | 3.9 |
| nodejs | 24.9 |
| numba | 0.61 |
| numpy | 2.1 |
| oauth2client | 4.1 |
| onnx | 1.17 |
| openblas | 0.3 |
| opencv | 4.11 |
| orc | 2.1 |
| pandas | 2.3 |
| pyarrow | 19.0 |
| pydot | 4.0 |
| pyhive | 0.7 |
| pyiceberg | 0.10 |
| pymongo | 4.15 |
| pynvml | 13.0 |
| pytables | 3.10 |
| python | 3.12 |
| pytorch-gpu | 2.6 |
| regex | 2025.10 |
| 요청 | 2.32 |
| rtree | 1.4 |
| scikit-image | 0.25 |
| scikit-learn | 1.7 |
| scipy | 1.15 |
| seaborn | 0.13 |
| sentence-transformers | 5.1 |
| shap | 0.48 |
| spark-tensorflow-distributor | 1.0 |
| spacy | 3.8 |
| sqlalchemy | 2.0 |
| statsforecast | 2.0 |
| sympy | 1.14 |
| tensorflow-gpu | 2.18 |
| torcheval | 0.0.7 |
| torch | 2.6 |
| torchvision | 0.21 |
| 토네이도 | 6.5 |
| transformers | 4.57 |
| uritemplate | 4.2 |
| virtualenv | 20.35 |
| wordcloud | 1.9 |
| xgboost | 3.0.4 |
| ydata-profiling | 4.17 |