רכיבים של Spark runtime גרסה 3.0
הערות:
סביבת זמן הריצה
3.0משתמשת ב-UTF-8כקידוד התווים שמוגדר כברירת מחדל.3.0תכונות חדשות ושיפורים בזמן ריצה:- כברירת מחדל, נעשה שימוש בעומסי עבודה אזוריים ורב-אזוריים כדי לשפר את הזמינות של משאבי מחשוב
- הפעלה מהירה יותר בהשוואה לזמני ריצה קודמים
- ניקוי מהיר של משאבים שמאפשר שחרור מהיר יותר של כתובות IP של VPC אחרי השלמת עומס העבודה
- כברירת מחדל, פרטי הכניסה של משתמשי הקצה משמשים לכל עומסי העבודה
bigqueryקטלוג Spark חדש, שהוגדר מראש לאינטראקציות עם טבלאות מקוריות של BigQuery- תפקידי IAM חדשים שספציפיים ל-Spark Serverless
- צריך להפעיל את ה-API החדש של
dataprocrm.googleapis.com
3.0פונקציונליות בזמן ריצה שלא נתמכת והוצאה משימוש:- אין תמיכה בשרת היסטוריה מתמשך (PHS). במקום זאת, משתמשים בממשק המשתמש של Spark.
- אין תמיכה בחבילות SparkR. במקום זאת, צריך להשתמש ב-
sparklyr. - אין תמיכה בסשנים של Jupyter. במקום זאת, אפשר להשתמש בסשנים של Spark Connect, שהם התקן בתעשייה לפיתוח אינטראקטיבי של Spark.
ספריות Python
| שם החבילה | גרסה |
|---|---|
| להאיץ | 1.11 |
| bigframes | 2.24 |
| cookiecutter | 2.6 |
| cuda | 12.9 |
| cudnn | 9.10 |
| Cython | 3.1 |
| dask | 2025.10 |
| dataproc-spark-connect | 1.0.0 |
| dataproc-ml | 1.0.0rc1 |
| מערכי נתונים | 4.0 |
| deepspeed | 0.17 |
| delta-spark | 4.0.0 |
| הערכה | 0.4 |
| fastavro | 1.12 |
| fastparquet | 2024.11 |
| gcsfs | 2025.3 |
| git | 2.51 |
| google-auth-oauthlib | 1.2 |
| google-cloud-aiplatform | 1.121 |
| google-cloud-bigquery | 3.38 |
| google-cloud-bigquery-storage | 2.32 |
| google-cloud-bigtable | 2.34 |
| google-cloud-container | 2.59 |
| google-cloud-datacatalog | 3.27 |
| google-cloud-dataproc | 5.22 |
| google-cloud-datastore | 2.21 |
| google-cloud-dlp | 3.32 |
| google-cloud-language | 2.17 |
| google-cloud-logging | 3.12 |
| google-cloud-monitoring | 2.28 |
| google-cloud-pubsub | 2.31 |
| google-cloud-redis | 2.18 |
| google-cloud-secret-manager | 2.25 |
| google-cloud-spanner | 3.59 |
| google-cloud-speech | 2.33 |
| google-cloud-storage | 2.19 |
| google-cloud-texttospeech | 2.31 |
| google-cloud-translate | 3.21 |
| google-cloud-vision | 3.10 |
| httplib2 | 0.31 |
| huggingface_hub | 0.36 |
| ipyparallel | 9.0 |
| keyrings.google-artifactregistry-auth | 1.1 |
| langchain | 1.0 |
| lightgbm | 4.6 |
| ממבה | 2.3 |
| markdown | 3.9 |
| nccl | 2.27 |
| nltk | 3.9 |
| nodejs | 24.9 |
| numba | 0.61 |
| numpy | 2.1 |
| oauth2client | 4.1 |
| onnx | 1.17 |
| openblas | 0.3 |
| opencv | 4.11 |
| orc | 2.1 |
| פנדות | 2.3 |
| pyarrow | 19.0 |
| pydot | 4.0 |
| pyhive | 0.7 |
| pyiceberg | 0.10 |
| pymongo | 4.15 |
| pynvml | 13.0 |
| pytables | 3.10 |
| python | 3.12 |
| pytorch-gpu | 2.6 |
| regex | 2025.10 |
| בקשות | 2.32 |
| rtree | 1.4 |
| scikit-image | 0.25 |
| scikit-learn | 1.7 |
| scipy | 1.15 |
| seaborn | 0.13 |
| sentence-transformers | 5.1 |
| shap | 0.48 |
| spark-tensorflow-distributor | 1.0 |
| spacy | 3.8 |
| sqlalchemy | 2.0 |
| statsforecast | 2.0 |
| sympy | 1.14 |
| tensorflow-gpu | 2.18 |
| torcheval | 0.0.7 |
| לפיד | 2.6 |
| torchvision | 0.21 |
| טורנדו | 6.5 |
| טרנספורמציה | 4.57 |
| uritemplate | 4.2 |
| virtualenv | 20.35 |
| wordcloud | 1.9 |
| xgboost | 3.0.4 |
| ydata-profiling | 4.17 |