פיתוח קובצי אימג' של קונטיינרים מרובי-ארכיטקטורה ל-Dataflow

אם משתמשים בקונטיינר מותאם אישית ב-Dataflow, הקונטיינר צריך להתאים לארכיטקטורה של מכונות ה-VM של העובדים. במאמר הזה מוסבר איך ליצור קונטיינרים מרובי-ארכיטקטורה שתואמים למכונות וירטואליות (VM) של x86 ו-Arm.

אפשר להשתמש ב-Docker CLI או ב-Cloud Build כדי ליצור את קובץ האימג' של הקונטיינר.

שימוש ב-Docker ליצירת האימג'

  1. יוצרים Dockerfile. משתמשים בהוראה FROM כדי לציין קובץ אימג' בסיסי עם תמיכה במספר ארכיטקטורות.

    FROM apache/beam_python3.10_sdk:2.50.0

# Make your customizations here, for example:
ENV FOO=/bar
COPY path/to/myfile ./

  2. מתקינים את הכלי Buildx. כדי לבדוק אם הכלי מותקן, מריצים את הפקודה הבאה:

    docker buildx version

  3. מריצים את הפקודה הבאה כדי ליצור מכונה ליצירת תמונות שמשתמשת במנהל ההתקן docker-container. הדרייבר הזה נדרש כדי ליצור תמונות מרובות ארכיטקטורות.

    docker buildx create --driver=docker-container --use

    הדגל --use מגדיר את מופע ה-Builder החדש כ-Builder הנוכחי.

  4. מריצים את הפקודה הבאה כדי להגדיר את Docker לאימות בקשות ל-Artifact Registry.

    gcloud auth configure-docker REGION-docker.pkg.dev

    מחליפים את REGION באזור של מאגר Artifact Registry.

  5. מריצים את הפקודה הבאה כדי ליצור את קובץ האימג' של הקונטיינר ולהעביר אותו בדחיפה אל Artifact Registry:

    docker buildx build \
  --platform=linux/amd64,linux/arm64 \
  -t REGISTRY/IMAGE:TAG  \
  --push .

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫REGISTRY: מאגר Docker
    • ‫IMAGE: שם התמונה
    • ‫TAG: תג התמונה

שימוש ב-Cloud Build כדי ליצור את קובץ האימג'

  1. יוצרים Dockerfile. משתמשים בהוראה FROM כדי לציין קובץ אימג' בסיסי עם תמיכה במספר ארכיטקטורות.

    FROM apache/beam_python3.10_sdk:2.50.0

# Make your customizations here, for example:
ENV FOO=/bar
COPY path/to/myfile ./

  2. באותה ספרייה שבה נמצא קובץ ה-Dockerfile, יוצרים קובץ בשם docker_buildx.yaml. מדביקים את הטקסט הבא:

    steps:
- name: 'docker'
  args: ['buildx', 'create', '--driver', 'docker-container', '--name', 'container', '--use']
- name: 'docker'
  args: ['buildx', 'build', '--platform', 'linux/amd64,linux/arm64', '-t', 'REGISTRY/IMAGE:TAG', '--push', '.']

    מחליפים את מה שכתוב בשדות הבאים:

    • ‫REGISTRY: מאגר Docker
    • ‫IMAGE: שם התמונה
    • ‫TAG: תג התמונה

  3. כדי ליצור את קובץ האימג' ולדחוף אותו, מריצים את הפקודה gcloud builds submit:

    gcloud builds submit --region=REGION --config docker_buildx.yaml

    מחליפים את REGION באזור של שירות Cloud Build שבו רוצים להשתמש.

מידע נוסף זמין במאמר יצירה והעברה בדחיפה של קובץ אימג' של Docker באמצעות Cloud Build.

אימות קובץ אימג' של קונטיינר

  1. פותחים את הדף Repositories במסוף Google Cloud .

    Open the Repositories page

  2. לוחצים על המאגר עם קובץ אימג' של קונטיינר.

  3. לוחצים על התמונה כדי לראות את הגרסאות שלה.

  4. לוחצים על גרסה.

  5. לוחצים על Manifest.

  6. בקובץ המניפסט, בקטע platform צריכים להיות רשומים הערכים arm64 ו-amd64. לדוגמה:

      {
    "schemaVersion": 2,
    "mediaType": "application/vnd.docker.distribution.manifest.list.v2+json",
    "manifests": [
        {
          "mediaType": "application/vnd.docker.distribution.manifest.v2+json",
          "digest": "sha256:441d5438885049e2b388523a8cb5b77ea829c3c3f53326fb221fe185abd67f07",
          "size": 3074,
          "platform": {
              "architecture": "amd64",
              "os": "linux"
          }
        },
        {
          "mediaType": "application/vnd.docker.distribution.manifest.v2+json",
          "digest": "sha256:d3b98b0f8f3f555f5453c79b240bd2b862d4f52d853fe81bae55f01a663de29c",
          "size": 3073,
          "platform": {
              "architecture": "arm64",
              "os": "linux"
          }
        }
    ]
  }

המאמרים הבאים