ספריית Python של RayDP מאפשרת להריץ את Spark באשכול Ray. במסמך הזה מוסבר איך להתקין, להגדיר ולהפעיל את RayDP ב-Ray ב-Agent Platform (אשכול Ray ב-Gemini Enterprise Agent Platform).
התקנה
Ray ב-Agent Platform מאפשר למשתמשים להריץ את האפליקציות שלהם באמצעות Ray framework בקוד פתוח. RayDP מספק ממשקי API להפעלת Spark ב-Ray. קובצי האימג' של הקונטיינרים שנוצרו מראש וזמינים ליצירת אשכול Ray ב-Gemini Enterprise Agent Platform לא מגיעים עם RayDP מותקן מראש. כלומר, צריך ליצור קובץ אימג' של אשכול Ray בהתאמה אישית ב-Gemini Enterprise Agent Platform בשביל אשכול Ray ב-Gemini Enterprise Agent Platform, כדי להריץ אפליקציות RayDP באשכול Ray ב-Gemini Enterprise Agent Platform. בקטע הבא מוסבר איך ליצור קובץ אימג' בהתאמה אישית של RayDP.
איך יוצרים קובץ אימג' של קונטיינר בהתאמה אישית של Ray ב-Gemini Enterprise Agent Platform
אתם יכולים להשתמש בקובץ ה-Docker הזה כדי ליצור קובץ אימג' של קונטיינר בהתאמה אישית ל-Ray ב-Gemini Enterprise Agent Platform שמותקן בו RayDP.
FROM us-docker.pkg.dev/vertex-ai/training/ray-cpu.2-9.py310:latest RUN apt-get update -y \ && pip install --no-cache-dir raydp pyarrow==14.0
כדי ליצור את קובץ האימג' בהתאמה אישית של RayDP, אתם יכולים להשתמש בקובץ האימג' המוגדר מראש של אשכול Ray העדכני ב-Gemini Enterprise Agent Platform. אתם יכולים גם להתקין חבילות Python אחרות שאתם צופים שתשתמשו בהן באפליקציות שלכם. השגיאה pyarrow==14.0 נגרמת בגלל אילוץ תלות של Ray 2.9.3.
פיתוח ודחיפה של קובץ האימג' של הקונטיינר בהתאמה אישית
לפני שיוצרים את קובץ האימג' בהתאמה אישית, צריך ליצור מאגר Docker ב-Artifact Registry (במאמר עבודה עם קובצי אימג' של קונטיינרים מוסבר איך ליצור ולהגדיר את מאגר Docker). אחרי שיוצרים את מאגר ה-Docker, יוצרים את קובץ האימג' של הקונטיינר בהתאמה אישית ודוחפים אותו באמצעות קובץ ה-Docker.
docker build . -t [LOCATION]-docker.pkg.dev/[PROJECT_ID]/[DOCKER_REPOSITORY]/[IMAGE_NAME] docker push [LOCATION]-docker.pkg.dev/[PROJECT_ID]/[DOCKER_REPOSITORY]/[IMAGE_NAME]
כאשר:
-
LOCATION: המיקום ב-Cloud Storage (לדוגמה, us-central1) שיצרתם ב-Artifact Registry. -
PROJECT_ID: מזהה הפרויקט ב- Google Cloud . -
DOCKER_REPOSITORY: השם של מאגר Docker שיצרתם. -
IMAGE_NAME: השם של קובצי האימג' של הקונטיינרים בהתאמה אישית.
יצירת אשכול Ray ב-Gemini Enterprise Agent Platform
משתמשים בקובץ האימג' של הקונטיינר בהתאמה אישית שנוצר בשלב הקודם כדי ליצור אשכול Ray ב-Gemini Enterprise Agent Platform. אתם יכולים להשתמש ב-Agent Platform SDK ל-Python כדי ליצור אשכול Ray ב-Gemini Enterprise Agent Platform.
אם עדיין לא עשיתם את זה, התקינו את ספריות Python הנדרשות.
pip install --quiet google-cloud-aiplatform \ ray[all]==2.9.3 \ google-cloud-aiplatform[ray]
מגדירים צומתי Head וצומתי עובד ויוצרים את האשכול באמצעות Agent Platform SDK ל-Python. לדוגמה:
import logging import ray from google.cloud import aiplatform from google.cloud.aiplatform import vertex_ray from vertex_ray import Resources head_node_type = Resources( machine_type="n1-standard-16", node_count=1, custom_image=[CUSTOM_CONTAINER_IMAGE_URI], ) worker_node_types = [Resources( machine_type="n1-standard-8", node_count=2, custom_image=[CUSTOM_CONTAINER_IMAGE_URI], )] ray_cluster_resource_name = vertex_ray.create_ray_cluster( head_node_type=head_node_type, worker_node_types=worker_node_types, cluster_name=[CLUSTER_NAME], )
כאשר:
-
CUSTOM_CONTAINER_IMAGE_URI: ה-URI של קובץ האימג' של הקונטיינר בהתאמה אישית שנשלח אל Artifact Registry. -
CLUSTER_NAME: השם של אשכול Ray ב-Gemini Enterprise Agent Platform.
אשכול Spark on Ray ב-Gemini Enterprise Agent Platform
לפני שמריצים את אפליקציית Spark, יוצרים סשן Spark באמצעות RayDP API. אפשר להשתמש בלקוח Ray כדי לעשות את זה באופן אינטראקטיבי, או להשתמש ב-API של משימות Ray. מומלץ להשתמש ב-Ray job API, במיוחד לאפליקציות בסביבת הייצור ולאפליקציות שפועלות לאורך זמן. RayDP API מספק פרמטרים להגדרת הסשן של Spark, וגם תומך בהגדרות של Spark. מידע נוסף על RayDP API ליצירת Spark Session זמין במאמר Spark master actors node affinity.
RayDP עם לקוח Ray
אתם יכולים להשתמש ב-Task או ב-Actor של Ray כדי ליצור אשכול וסשן של Spark באשכול Ray ב-Gemini Enterprise Agent Platform. כדי ליצור סשן Spark באשכול Ray ב-Gemini Enterprise Agent Platform, צריך להשתמש ב-Ray Client במשימה או ב-Actor של Ray. הקוד הבא מראה איך Ray Actor יכול ליצור סשן Spark, להריץ אפליקציית Spark ולעצור אשכול Spark באשכול Ray ב-Gemini Enterprise Agent Platform באמצעות RayDP.
כדי להתחבר באופן אינטראקטיבי לאשכול Ray ב-Gemini Enterprise Agent Platform, עיינו במאמר התחברות לאשכול Ray באמצעות Ray Client.
@ray.remote class SparkExecutor: import pyspark spark: pyspark.sql.SparkSession = None def __init__(self): import ray import raydp self.spark = raydp.init_spark( app_name="RAYDP ACTOR EXAMPLE", num_executors=1, executor_cores=1, executor_memory="500M", ) def get_data(self): df = self.spark.createDataFrame( [ ("sue", 32), ("li", 3), ("bob", 75), ("heo", 13), ], ["first_name", "age"], ) return df.toJSON().collect() def stop_spark(self): import raydp raydp.stop_spark() s = SparkExecutor.remote() data = ray.get(s.get_data.remote()) print(data) ray.get(s.stop_spark.remote())
RayDP עם Ray Job API
לקוח Ray שימושי לניסויים קטנים שדורשים חיבור אינטראקטיבי עם אשכול Ray. Ray Job API הוא הדרך המומלצת להריץ משימות ארוכות ומשימות בסביבת ייצור באשכול Ray. זה נכון גם לגבי הפעלת אפליקציות Spark באשכול Ray ב-Gemini Enterprise Agent Platform.
יוצרים סקריפט Python שמכיל את קוד האפליקציה של Spark. לדוגמה:
import pyspark import raydp def get_data(spark: pyspark.sql.SparkSession): df = spark.createDataFrame( [ ("sue", 32), ("li", 3), ("bob", 75), ("heo", 13), ], ["first_name", "age"], ) return df.toJSON().collect() def stop_spark(): raydp.stop_spark() if __name__ == '__main__': spark = raydp.init_spark( app_name="RAYDP JOB EXAMPLE", num_executors=1, executor_cores=1, executor_memory="500M", ) print(get_data(spark)) stop_spark()
שולחים את המשימה כדי להריץ את הסקריפט של Python באמצעות Ray Job API. לדוגמה:
from ray.job_submission import JobSubmissionClient client = JobSubmissionClient(RAY_ADDRESS) job_id = client.submit_job( # Entrypoint shell command to execute entrypoint="python [SCRIPT_NAME].py", # Path to the local directory that contains the python script file. runtime_env={ "working_dir": ".", } )
כאשר:
-
SCRIPT_NAME: שם הקובץ של הסקריפט שיצרתם.
קריאת קובצי Cloud Storage מאפליקציית Spark
מקובל לאחסן קובצי נתונים בקטגוריה של Cloud Storage. אתם יכולים לקרוא את הקבצים האלה בכמה דרכים מאפליקציית Spark שפועלת באשכול Ray ב-Gemini Enterprise Agent Platform. בקטע הזה מוסברות שתי שיטות לקריאת קובצי Cloud Storage מאפליקציות Spark שפועלות באשכול Ray ב-Gemini Enterprise Agent Platform.
שימוש בחיבור ל-Cloud Storage
אתם יכולים להשתמש במחבר Google Cloud ל-Hadoop כדי לקרוא קבצים מקטגוריה של Cloud Storage מאפליקציית Spark. אחרי שיוצרים סשן Spark באמצעות RayDP, אפשר לקרוא קבצים באמצעות כמה פרמטרים של הגדרה. הקוד הבא מראה איך לקרוא קובץ CSV שמאוחסן בקטגוריה של Cloud Storage מאפליקציית Spark באשכול Ray ב-Gemini Enterprise Agent Platform.
import raydp spark = raydp.init_spark( app_name="RayDP Cloud Storage Example 1", configs={ "spark.jars": "https://storage.googleapis.com/hadoop-lib/gcs/gcs-connector-hadoop3-2.2.22.jar", "spark.hadoop.fs.AbstractFileSystem.gs.impl": "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS", "spark.hadoop.fs.gs.impl": "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem", }, num_executors=2, executor_cores=4, executor_memory="500M", ) spark_df = spark.read.csv([GCS_FILE_URI], header = True, inferSchema = True)
כאשר:
-
GCS_FILE_URI: ה-URI של קובץ שמאוחסן בקטגוריה של Cloud Storage. לדוגמה: gs://my-bucket/my-file.csv.
שימוש בנתוני Ray
המחבר Google Cloud מאפשר לקרוא קבצים מקטגוריה ב- Google Cloud, והוא יכול להתאים לרוב תרחישי השימוש. כדאי להשתמש ב-Ray Data כדי לקרוא קבצים מהקטגוריה ב- Google Cloud כשצריך להשתמש בעיבוד המבוזר של Ray לקריאת נתונים, או כשנתקלים בבעיות בקריאת קובץGoogle Cloud באמצעות המחבר של Google Cloud . יכול להיות שזה קורה בגלל התנגשויות בין יחסי תלות של Java, כשמוסיפים יחסי תלות של אפליקציות אחרות ל-classpath של Spark Java באמצעות spark.jars.packages או spark.jars.
import raydp import ray spark = raydp.init_spark( app_name="RayDP Cloud Storage Example 2", configs={ "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:0.11.4-spark3.3", "spark.jars.repositories": "https://mmlspark.azureedge.net/maven", "spark.jars": "https://storage.googleapis.com/hadoop-lib/gcs/gcs-connector-hadoop3-2.2.22.jar", "spark.hadoop.fs.AbstractFileSystem.gs.impl": "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS", "spark.hadoop.fs.gs.impl": "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem", }, num_executors=2, executor_cores=4, executor_memory="500M", ) # This doesn't work even though the Cloud Storage connector Jar and other parameters have been added to the Spark configuration. #spark.read.csv([GCS_FILE_URI], header = True, inferSchema = True) ray_dataset = ray.data.read_csv(GCS_FILE_URI) spark_df = ray_dataset.to_spark(spark)
Pyspark Pandas UDF באשכול Ray ב-Gemini Enterprise Agent Platform
לפעמים צריך קוד נוסף כדי להשתמש ב-Pyspark Pandas UDFs באפליקציית Spark שפועלת באשכול Ray ב-Gemini Enterprise Agent Platform. בדרך כלל צריך לעשות את זה כשפונקציית Pandas UDF משתמשת בספריית Python שלא זמינה באשכול Ray ב-Gemini Enterprise Agent Platform. אתם יכולים לארוז את יחסי התלות של Python באפליקציה באמצעות סביבת זמן הריצה עם Ray Job API. אחרי ששולחים את משימת Ray לאשכול, Ray מתקין את יחסי התלות האלה בסביבה הווירטואלית של Python שהוא יוצר כדי להריץ את המשימה. עם זאת, ב-Pandas UDFs לא משתמשים באותה סביבה וירטואלית. במקום זאת, הם משתמשים בסביבת ברירת המחדל של Python System. אם התלות הזו לא זמינה בסביבת המערכת, יכול להיות שתצטרכו להתקין אותה ב-Pandas UDF. בדוגמה הבאה, מתקינים את הספרייה statsmodels בתוך ה-UDF.
import pandas as pd import pyspark import raydp from pyspark.sql.functions import pandas_udf from pyspark.sql.types import StringType def test_udf(spark: pyspark.sql.SparkSession): import pandas as pd df = spark.createDataFrame(pd.read_csv("https://www.datavis.ca/gallery/guerry/guerry.csv")) return df.select(func('Lottery','Literacy', 'Pop1831')).collect() @pandas_udf(StringType()) def func(s1: pd.Series, s2: pd.Series, s3: pd.Series) -> str: import numpy as np import subprocess import sys subprocess.check_call([sys.executable, "-m", "pip", "install", "statsmodels"]) import statsmodels.api as sm import statsmodels.formula.api as smf d = {'Lottery': s1, 'Literacy': s2, 'Pop1831': s3} data = pd.DataFrame(d) # Fit regression model (using the natural log of one of the regressors) results = smf.ols('Lottery ~ Literacy + np.log(Pop1831)', data=data).fit() return results.summary().as_csv() if __name__ == '__main__': spark = raydp.init_spark( app_name="RayDP UDF Example", num_executors=2, executor_cores=4, executor_memory="1500M", ) print(test_udf(spark)) raydp.stop_spark()