הרצת Spark באשכול Ray ב-Gemini Enterprise Agent Platform

ספריית Python של RayDP מאפשרת להריץ את Spark באשכול Ray. במסמך הזה מוסבר איך להתקין, להגדיר ולהפעיל את RayDP ב-Ray ב-Agent Platform (אשכול Ray ב-Gemini Enterprise Agent Platform).

התקנה

‫Ray ב-Agent Platform מאפשר למשתמשים להריץ את האפליקציות שלהם באמצעות Ray framework בקוד פתוח. ‫RayDP מספק ממשקי API להפעלת Spark ב-Ray. קובצי האימג' של הקונטיינרים שנוצרו מראש וזמינים ליצירת אשכול Ray ב-Gemini Enterprise Agent Platform לא מגיעים עם RayDP מותקן מראש. כלומר, צריך ליצור קובץ אימג' של אשכול Ray בהתאמה אישית ב-Gemini Enterprise Agent Platform בשביל אשכול Ray ב-Gemini Enterprise Agent Platform, כדי להריץ אפליקציות RayDP באשכול Ray ב-Gemini Enterprise Agent Platform. בקטע הבא מוסבר איך ליצור קובץ אימג' בהתאמה אישית של RayDP.

איך יוצרים קובץ אימג' של קונטיינר בהתאמה אישית של Ray ב-Gemini Enterprise Agent Platform

אתם יכולים להשתמש בקובץ ה-Docker הזה כדי ליצור קובץ אימג' של קונטיינר בהתאמה אישית ל-Ray ב-Gemini Enterprise Agent Platform שמותקן בו RayDP.

FROM us-docker.pkg.dev/vertex-ai/training/ray-cpu.2-9.py310:latest

RUN apt-get update -y \
    && pip install --no-cache-dir raydp pyarrow==14.0

כדי ליצור את קובץ האימג' בהתאמה אישית של RayDP, אתם יכולים להשתמש בקובץ האימג' המוגדר מראש של אשכול Ray העדכני ב-Gemini Enterprise Agent Platform. אתם יכולים גם להתקין חבילות Python אחרות שאתם צופים שתשתמשו בהן באפליקציות שלכם. השגיאה pyarrow==14.0 נגרמת בגלל אילוץ תלות של Ray 2.9.3.

פיתוח ודחיפה של קובץ האימג' של הקונטיינר בהתאמה אישית

לפני שיוצרים את קובץ האימג' בהתאמה אישית, צריך ליצור מאגר Docker ב-Artifact Registry (במאמר עבודה עם קובצי אימג' של קונטיינרים מוסבר איך ליצור ולהגדיר את מאגר Docker). אחרי שיוצרים את מאגר ה-Docker, יוצרים את קובץ האימג' של הקונטיינר בהתאמה אישית ודוחפים אותו באמצעות קובץ ה-Docker.

docker build . -t [LOCATION]-docker.pkg.dev/[PROJECT_ID]/[DOCKER_REPOSITORY]/[IMAGE_NAME]
docker push [LOCATION]-docker.pkg.dev/[PROJECT_ID]/[DOCKER_REPOSITORY]/[IMAGE_NAME]

כאשר:

  • ‫LOCATION: המיקום ב-Cloud Storage (לדוגמה, us-central1) שיצרתם ב-Artifact Registry.
  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • ‫DOCKER_REPOSITORY: השם של מאגר Docker שיצרתם.
  • ‫IMAGE_NAME: השם של קובצי האימג' של הקונטיינרים בהתאמה אישית.

יצירת אשכול Ray ב-Gemini Enterprise Agent Platform

משתמשים בקובץ האימג' של הקונטיינר בהתאמה אישית שנוצר בשלב הקודם כדי ליצור אשכול Ray ב-Gemini Enterprise Agent Platform. אתם יכולים להשתמש ב-Agent Platform SDK ל-Python כדי ליצור אשכול Ray ב-Gemini Enterprise Agent Platform.

אם עדיין לא עשיתם את זה, התקינו את ספריות Python הנדרשות.

pip install --quiet google-cloud-aiplatform \
             ray[all]==2.9.3 \
             google-cloud-aiplatform[ray]

מגדירים צומתי Head וצומתי עובד ויוצרים את האשכול באמצעות Agent Platform SDK ל-Python. לדוגמה:

import logging
import ray
from google.cloud import aiplatform
from google.cloud.aiplatform import vertex_ray
from vertex_ray import Resources

head_node_type = Resources(
    machine_type="n1-standard-16",
    node_count=1,
    custom_image=[CUSTOM_CONTAINER_IMAGE_URI],
)

worker_node_types = [Resources(
    machine_type="n1-standard-8",
    node_count=2,
    custom_image=[CUSTOM_CONTAINER_IMAGE_URI],
)]

ray_cluster_resource_name = vertex_ray.create_ray_cluster(
    head_node_type=head_node_type,
    worker_node_types=worker_node_types,
    cluster_name=[CLUSTER_NAME],
)

כאשר:

  • ‫CUSTOM_CONTAINER_IMAGE_URI: ה-URI של קובץ האימג' של הקונטיינר בהתאמה אישית שנשלח אל Artifact Registry.
  • ‫CLUSTER_NAME: השם של אשכול Ray ב-Gemini Enterprise Agent Platform.

אשכול Spark on Ray ב-Gemini Enterprise Agent Platform

לפני שמריצים את אפליקציית Spark, יוצרים סשן Spark באמצעות RayDP API. אפשר להשתמש בלקוח Ray כדי לעשות את זה באופן אינטראקטיבי, או להשתמש ב-API של משימות Ray. מומלץ להשתמש ב-Ray job API, במיוחד לאפליקציות בסביבת הייצור ולאפליקציות שפועלות לאורך זמן. ‫RayDP API מספק פרמטרים להגדרת הסשן של Spark, וגם תומך בהגדרות של Spark. מידע נוסף על RayDP API ליצירת Spark Session זמין במאמר Spark master actors node affinity.

‫RayDP עם לקוח Ray

אתם יכולים להשתמש ב-Task או ב-Actor של Ray כדי ליצור אשכול וסשן של Spark באשכול Ray ב-Gemini Enterprise Agent Platform. כדי ליצור סשן Spark באשכול Ray ב-Gemini Enterprise Agent Platform, צריך להשתמש ב-Ray Client במשימה או ב-Actor של Ray. הקוד הבא מראה איך Ray Actor יכול ליצור סשן Spark, להריץ אפליקציית Spark ולעצור אשכול Spark באשכול Ray ב-Gemini Enterprise Agent Platform באמצעות RayDP.

כדי להתחבר באופן אינטראקטיבי לאשכול Ray ב-Gemini Enterprise Agent Platform, עיינו במאמר התחברות לאשכול Ray באמצעות Ray Client.

@ray.remote
class SparkExecutor:
  import pyspark

  spark: pyspark.sql.SparkSession = None

  def __init__(self):

    import ray
    import raydp

    self.spark = raydp.init_spark(
      app_name="RAYDP ACTOR EXAMPLE",
      num_executors=1,
      executor_cores=1,
      executor_memory="500M",
    )

  def get_data(self):
    df = self.spark.createDataFrame(
        [
            ("sue", 32),
            ("li", 3),
            ("bob", 75),
            ("heo", 13),
        ],
        ["first_name", "age"],
    )
    return df.toJSON().collect()

  def stop_spark(self):
    import raydp
    raydp.stop_spark()

s = SparkExecutor.remote()
data = ray.get(s.get_data.remote())
print(data)
ray.get(s.stop_spark.remote())

‫RayDP עם Ray Job API

לקוח Ray שימושי לניסויים קטנים שדורשים חיבור אינטראקטיבי עם אשכול Ray. Ray Job API הוא הדרך המומלצת להריץ משימות ארוכות ומשימות בסביבת ייצור באשכול Ray. זה נכון גם לגבי הפעלת אפליקציות Spark באשכול Ray ב-Gemini Enterprise Agent Platform.

יוצרים סקריפט Python שמכיל את קוד האפליקציה של Spark. לדוגמה:

import pyspark
import raydp

def get_data(spark: pyspark.sql.SparkSession):
    df = spark.createDataFrame(
        [
            ("sue", 32),
            ("li", 3),
            ("bob", 75),
            ("heo", 13),
        ],
        ["first_name", "age"],
    )
    return df.toJSON().collect()

def stop_spark():
    raydp.stop_spark()

if __name__ == '__main__':
    spark = raydp.init_spark(
      app_name="RAYDP JOB EXAMPLE",
        num_executors=1,
        executor_cores=1,
        executor_memory="500M",
    )
    print(get_data(spark))
    stop_spark()

שולחים את המשימה כדי להריץ את הסקריפט של Python באמצעות Ray Job API. לדוגמה:

from ray.job_submission import JobSubmissionClient

client = JobSubmissionClient(RAY_ADDRESS)

job_id = client.submit_job(
  # Entrypoint shell command to execute
  entrypoint="python [SCRIPT_NAME].py",
  # Path to the local directory that contains the python script file.
  runtime_env={
    "working_dir": ".",
  }
)

כאשר:

  • ‫SCRIPT_NAME: שם הקובץ של הסקריפט שיצרתם.

קריאת קובצי Cloud Storage מאפליקציית Spark

מקובל לאחסן קובצי נתונים בקטגוריה של Cloud Storage. אתם יכולים לקרוא את הקבצים האלה בכמה דרכים מאפליקציית Spark שפועלת באשכול Ray ב-Gemini Enterprise Agent Platform. בקטע הזה מוסברות שתי שיטות לקריאת קובצי Cloud Storage מאפליקציות Spark שפועלות באשכול Ray ב-Gemini Enterprise Agent Platform.

שימוש בחיבור ל-Cloud Storage

אתם יכולים להשתמש במחבר Google Cloud ל-Hadoop כדי לקרוא קבצים מקטגוריה של Cloud Storage מאפליקציית Spark. אחרי שיוצרים סשן Spark באמצעות RayDP, אפשר לקרוא קבצים באמצעות כמה פרמטרים של הגדרה. הקוד הבא מראה איך לקרוא קובץ CSV שמאוחסן בקטגוריה של Cloud Storage מאפליקציית Spark באשכול Ray ב-Gemini Enterprise Agent Platform.

import raydp

spark = raydp.init_spark(
  app_name="RayDP Cloud Storage Example 1",
  configs={
      "spark.jars": "https://storage.googleapis.com/hadoop-lib/gcs/gcs-connector-hadoop3-2.2.22.jar",
      "spark.hadoop.fs.AbstractFileSystem.gs.impl": "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS",
      "spark.hadoop.fs.gs.impl": "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem",
  },
  num_executors=2,
  executor_cores=4,
  executor_memory="500M",
)

spark_df = spark.read.csv([GCS_FILE_URI], header = True, inferSchema = True)

כאשר:

  • ‫GCS_FILE_URI: ה-URI של קובץ שמאוחסן בקטגוריה של Cloud Storage. לדוגמה: gs://my-bucket/my-file.csv.

שימוש בנתוני Ray

המחבר Google Cloud מאפשר לקרוא קבצים מקטגוריה ב- Google Cloud, והוא יכול להתאים לרוב תרחישי השימוש. כדאי להשתמש ב-Ray Data כדי לקרוא קבצים מהקטגוריה ב- Google Cloud כשצריך להשתמש בעיבוד המבוזר של Ray לקריאת נתונים, או כשנתקלים בבעיות בקריאת קובץGoogle Cloud באמצעות המחבר של Google Cloud . יכול להיות שזה קורה בגלל התנגשויות בין יחסי תלות של Java, כשמוסיפים יחסי תלות של אפליקציות אחרות ל-classpath של Spark Java באמצעות spark.jars.packages או spark.jars.

import raydp
import ray

spark = raydp.init_spark(
  app_name="RayDP Cloud Storage Example 2",
  configs={
      "spark.jars.packages": "com.microsoft.azure:synapseml_2.12:0.11.4-spark3.3",
      "spark.jars.repositories": "https://mmlspark.azureedge.net/maven",
      "spark.jars": "https://storage.googleapis.com/hadoop-lib/gcs/gcs-connector-hadoop3-2.2.22.jar",
      "spark.hadoop.fs.AbstractFileSystem.gs.impl": "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFS",
      "spark.hadoop.fs.gs.impl": "com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem",
  },
  num_executors=2,
  executor_cores=4,
  executor_memory="500M",
)

# This doesn't work even though the Cloud Storage connector Jar and other parameters have
been added to the Spark configuration.
#spark.read.csv([GCS_FILE_URI], header = True, inferSchema = True)

ray_dataset = ray.data.read_csv(GCS_FILE_URI)
spark_df = ray_dataset.to_spark(spark)

‫Pyspark Pandas UDF באשכול Ray ב-Gemini Enterprise Agent Platform

לפעמים צריך קוד נוסף כדי להשתמש ב-Pyspark Pandas UDFs באפליקציית Spark שפועלת באשכול Ray ב-Gemini Enterprise Agent Platform. בדרך כלל צריך לעשות את זה כשפונקציית Pandas UDF משתמשת בספריית Python שלא זמינה באשכול Ray ב-Gemini Enterprise Agent Platform. אתם יכולים לארוז את יחסי התלות של Python באפליקציה באמצעות סביבת זמן הריצה עם Ray Job API. אחרי ששולחים את משימת Ray לאשכול, Ray מתקין את יחסי התלות האלה בסביבה הווירטואלית של Python שהוא יוצר כדי להריץ את המשימה. עם זאת, ב-Pandas UDFs לא משתמשים באותה סביבה וירטואלית. במקום זאת, הם משתמשים בסביבת ברירת המחדל של Python System. אם התלות הזו לא זמינה בסביבת המערכת, יכול להיות שתצטרכו להתקין אותה ב-Pandas UDF. בדוגמה הבאה, מתקינים את הספרייה statsmodels בתוך ה-UDF.

import pandas as pd
import pyspark
import raydp
from pyspark.sql.functions import pandas_udf
from pyspark.sql.types import StringType

def test_udf(spark: pyspark.sql.SparkSession):
    import pandas as pd

    df = spark.createDataFrame(pd.read_csv("https://www.datavis.ca/gallery/guerry/guerry.csv"))
    return df.select(func('Lottery','Literacy', 'Pop1831')).collect()

@pandas_udf(StringType())
def func(s1: pd.Series, s2: pd.Series, s3: pd.Series) -> str:
    import numpy as np
    import subprocess
    import sys
    subprocess.check_call([sys.executable, "-m", "pip", "install", "statsmodels"])
    import statsmodels.api as sm
    import statsmodels.formula.api as smf

    d = {'Lottery': s1,
         'Literacy': s2,
         'Pop1831': s3}
    data = pd.DataFrame(d)

    # Fit regression model (using the natural log of one of the regressors)
    results = smf.ols('Lottery ~ Literacy + np.log(Pop1831)', data=data).fit()
    return results.summary().as_csv()

if __name__ == '__main__':

    spark = raydp.init_spark(
      app_name="RayDP UDF Example",
      num_executors=2,
      executor_cores=4,
      executor_memory="1500M",
    )

    print(test_udf(spark))

    raydp.stop_spark()