ניהול העברות

בדף הזה מוסבר איך לנהל משימות ופעולות העברה קיימות.

כדי ליצור משימת העברה חדשה, אפשר לעיין במאמר יצירת העברות.

עריכה של הגדרות העברה

אפשר לערוך את המאפיינים הבאים של העברה קיימת:

  • תיאור משימת ההעברה
  • פרטי כניסה למקור ב-Microsoft Azure Blob Storage או ב-Amazon S3
  • מסננים שהוחלו על משימת ההעברה
  • אפשרויות להחלפה או למחיקה של קבצים
  • לוח הזמנים של משימת ההעברה

‫CLI של gcloud

כדי לערוך הגדרת העברה קיימת, משתמשים בפקודה gcloud transfer jobs update.

gcloud transfer jobs update \
  JOB_NAME \
  [options]

אלה המשתנים:

  • ‫JOB_NAME הוא השם הייחודי של המשימה שרוצים לעדכן.

  • כדי לראות את האפשרויות שאפשר לעדכן, מריצים את הפקודה gcloud transfer jobs update --help.

לדוגמה, כדי לעדכן את המקור והיעד של משימה ולהסיר את התיאור שלה, מריצים את הפקודה הבאה:

gcloud transfer jobs update \
  JOB_NAME \
  --source=gs://new-bucket-1 \
  --destination=gs://new-bucket-2 \
  --clear-description

מסוף Google Cloud

כדי לערוך משימת העברה, מבצעים את הפעולות הבאות:

  1. נכנסים לדף Storage Transfer Service במסוף Google Cloud .

    כניסה ל-Storage Transfer Service

  2. לוחצים על התיאור של משימת ההעברה. הדף Job details מוצג.

  3. לוחצים על הגדרה. ההגדרות של משימת ההעברה מוצגות.

  4. כדי לשנות פריט, לוחצים על עריכה לצד הפריט.

  5. כדי להתחיל משימה עם השינויים, לוחצים על התחלת הרצה.

REST

כדי לערוך הגדרות העברה, משתמשים ב-method‏ transferJobs.patch.

הרצה של משימת העברה מהגדרות קיימות

אתם יכולים להריץ משימת העברה קיימת. כך אפשר להתחיל משימות שלא מתוזמנות, או להתחיל משימה מחוץ ללוח הזמנים שלה.

‫CLI של gcloud

כדי להריץ העברה מהגדרה קיימת, משתמשים ב-gcloud transfer jobs run:

gcloud transfer jobs run JOB_NAME

אפשר לציין את הדגל האופציונלי --no-async כדי לחסום משימות אחרות במסוף עד להשלמת פעולת ההעברה.

מסוף Google Cloud

כדי להפעיל העברה מהגדרה קיימת:

  1. נכנסים לדף Storage Transfer Service במסוף Google Cloud .

    כניסה ל-Storage Transfer Service

  2. לוחצים על התיאור של משימת ההעברה. הדף Job details מוצג.

  3. כדי להתחיל משימת העברה, לוחצים על Start a run.

REST

כדי להריץ משימת העברה, משתמשים ב-method‏ transferJobs.run.

מעקב אחרי משימת העברה

‫CLI של gcloud

כדי לעקוב אחרי ההתקדמות של משימה בזמן אמת, משתמשים ב-gcloud transfer jobs monitor.

gcloud transfer jobs monitor JOB_NAME

התגובה מציגה את הפעולה הנוכחית, את שעת ההתחלה של המשימה ואת כמות הנתונים שהועברו. גם בייטים שדילגתם עליהם ושגיאות נספרים.

Cloud Monitoring

במאמר מעקב אחרי משימות העברה מוסבר איך משתמשים ב-Cloud Monitoring עם Storage Transfer Service.

הצגת פרטי משימת ההעברה

‫CLI של gcloud

כדי לראות את פרטי משימת ההעברה, משתמשים ב-gcloud transfer jobs describe:

gcloud transfer jobs describe JOB_NAME

כדי לראות את הפעולה האחרונה של המשימה, מעבירים את הערך של latestOperationName לפקודה operations describe:

gcloud transfer operations describe OPERATION_NAME

כדי להציג את כל פעולות ההעברה של משימה, משתמשים בפקודה gcloud transfer operations list:

gcloud transfer operations list --job-names=JOB_NAME

כדי להציג פעולות של כמה משימות, אפשר להזין אותן כרשימה מופרדת בפסיקים בתור הערך של --job-names. משמיטים את --job-names כדי להציג פעולות של כל המשימות.

מסוף Google Cloud

אפשר לראות את פרטי המשימה הבאים במסוף Google Cloud :

  • השם ותיאור המשרה
  • סוג המקור והמיקום שלו
  • מיקום היעד
  • תדירות המשימה
  • נתונים סטטיסטיים של המשימה

כדי לראות את פרטי משימת ההעברה:

  1. נכנסים לדף Storage Transfer Service במסוף Google Cloud .

    כניסה ל-Storage Transfer Service

  2. לוחצים על התיאור של משימת ההעברה. הדף Job details מוצג.

כדי להציג את הפרטים של הרצה מסוימת, לוחצים על שעת התחלה של הרצת המשימה. אלה פרטי המשרה שזמינים:

  • סטטוס ההעברה
  • שעות התחלה וסיום
  • משך
  • התקדמות
  • הנתונים הועברו
  • מספר השגיאות
  • נתונים שהמערכת דילגה עליהם
  • הערכת מהירות ממוצעת

REST

כדי לראות את הפרטים של משימת העברה, משתמשים ב-method‏ transferJobs.get כדי להחזיר מידע על משימת העברה ספציפית, כמו מזהה הפעולה שלה.

ספריות לקוח

כשמשתמשים ב-transferJobs.create, מוחזר משאב TransferJob.

אחרי שיוצרים את המשימה, אפשר לבדוק את סטטוס ההעברה באמצעות transferJobs.get. אם הפעולה של משימת ההעברה התחילה, הפונקציה מחזירה TransferJob שמכיל שדה latestOperationName מאוכלס. אחרת, אם הפעולה של משימת ההעברה לא התחילה, השדה latestOperationName ריק.

כדי לבדוק את הסטטוס של משימת העברה

REST

בקשה באמצעות transferJobs.get:
GET https://storagetransfer.googleapis.com/v1/transferJobs/JOB_NAME?projectId=PROJECT_ID

המשך

import (
	"context"
	"fmt"
	"io"

	"cloud.google.com/go/longrunning/autogen/longrunningpb"
	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
)

func checkLatestTransferOperation(w io.Writer, projectID string, jobName string) (*storagetransferpb.TransferOperation, error) {
	// Your Google Cloud Project ID
	// projectID := "my-project-id"

	// The name of the job whose latest operation to check
	// jobName := "transferJobs/1234567890"
	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	job, err := client.GetTransferJob(ctx, &storagetransferpb.GetTransferJobRequest{
		JobName:   jobName,
		ProjectId: projectID,
	})
	if err != nil {
		return nil, fmt.Errorf("failed to get transfer job: %w", err)
	}

	latestOpName := job.LatestOperationName
	if latestOpName != "" {
		lro, err := client.LROClient.GetOperation(ctx, &longrunningpb.GetOperationRequest{
			Name: latestOpName,
		})
		if err != nil {
			return nil, fmt.Errorf("failed to get transfer operation: %w", err)
		}
		latestOp := &storagetransferpb.TransferOperation{}
		lro.Metadata.UnmarshalTo(latestOp)

		fmt.Fprintf(w, "the latest transfer operation for job %q is: \n%v", jobName, latestOp)
		return latestOp, nil
	} else {
		fmt.Fprintf(w, "Transfer job %q hasn't run yet, try again later", jobName)
		return nil, nil
	}
}

Java

מחפשים דוגמאות ישנות יותר? המדריך להעברת נתונים (מיגרציה) של Storage Transfer Service


import com.google.longrunning.Operation;
import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto.GetTransferJobRequest;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferOperation;
import java.io.IOException;

public class CheckLatestTransferOperation {

  // Gets the requested transfer job and checks its latest operation
  public static void checkLatestTransferOperation(String projectId, String jobName)
      throws IOException {
    // Your Google Cloud Project ID
    // String projectId = "your-project-id";

    // The name of the job to check
    // String jobName = "myJob/1234567890";

    StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create();

    // Get transfer job and check latest operation
    TransferJob transferJob =
        storageTransfer.getTransferJob(
            GetTransferJobRequest.newBuilder().setJobName(jobName).setProjectId(projectId).build());
    String latestOperationName = transferJob.getLatestOperationName();

    if (!latestOperationName.isEmpty()) {
      Operation operation = storageTransfer.getOperationsClient().getOperation(latestOperationName);
      TransferOperation latestOperation =
          TransferOperation.parseFrom(operation.getMetadata().getValue());

      System.out.println("The latest operation for transfer job " + jobName + " is:");
      System.out.println(latestOperation.toString());

    } else {
      System.out.println(
          "Transfer job "
              + jobName
              + " hasn't run yet,"
              + " try again once the job starts running.");
    }
  }
}

Node.js


// Imports the Google Cloud client library
const {
  StorageTransferServiceClient,
} = require('@google-cloud/storage-transfer');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of the Google Cloud Platform Project that owns the job
// projectId = 'my-project-id'

// Storage Transfer Service job name
// jobName = 'transferJobs/1234567890'

// Creates a client
const client = new StorageTransferServiceClient();

/**
 * Checks the latest transfer operation for a given transfer job.
 */
async function checkLatestTransferOperation() {
  const [transferJob] = await client.getTransferJob({projectId, jobName});

  if (transferJob.latestOperationName) {
    const [transferOperation] = await client.operationsClient.getOperation({
      name: transferJob.latestOperationName,
    });

    const operation = JSON.stringify(transferOperation, null, 2);

    console.log(`Latest transfer operation for '${jobName}': ${operation}`);
  } else {
    console.log(`Transfer job '${jobName}' has not ran yet.`);
  }
}

checkLatestTransferOperation();

Python

מחפשים דוגמאות ישנות יותר? המדריך להעברת נתונים (מיגרציה) של Storage Transfer Service

from google.cloud import storage_transfer


def check_latest_transfer_operation(project_id: str, job_name: str):
    """Checks the latest transfer operation for a given transfer job."""

    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project-id'

    # Storage Transfer Service job name
    # job_name = 'transferJobs/1234567890'

    transfer_job = client.get_transfer_job(
        {
            "project_id": project_id,
            "job_name": job_name,
        }
    )

    if transfer_job.latest_operation_name:
        response = client.transport.operations_client.get_operation(
            transfer_job.latest_operation_name
        )
        operation = storage_transfer.TransferOperation.deserialize(
            response.metadata.value
        )

        print(f"Latest transfer operation for `{job_name}`: {operation}")
    else:
        print(f"Transfer job {job_name} has not ran yet.")

השהיה של משימת העברה

אתם יכולים להשהות העברה שמתבצעת כרגע. כשמשהים את ההעברה, מצב המשימה נשמר ואפשר לבטל את ההשהיה מאוחר יותר. כשההעברה מושהית, לוח הזמנים לא יפעיל את המשימה שוב.

‫CLI של gcloud

כדי להשהות משימת העברה, מעבירים את שם הפעולה הנוכחי של המשימה אל gcloud transfer operations pause.

gcloud transfer operations pause OPERATION_NAME

כדי להמשיך משימת העברה שהושהתה, ולהפעיל אותה מחדש מאותה נקודה שבה היא הושהתה, משתמשים ב-gcloud transfer operations resume.

gcloud transfer operations resume OPERATION_NAME

מסוף Google Cloud

כדי להשהות משימת העברה:

  1. נכנסים לדף Storage Transfer Service במסוף Google Cloud .

    כניסה ל-Storage Transfer Service

  2. לוחצים על התיאור של משימת ההעברה. הדף Job details מוצג.

  3. לוחצים על השהיית ההרצה. הסטטוס של הפעולה הנוכחית מוצג כ-Paused.

כדי להמשיך משימת העברה שהושהתה, ולהפעיל אותה מחדש מאותה נקודה שבה היא הושהתה, פועלים לפי השלבים הבאים.

  1. נכנסים לדף Storage Transfer Service במסוף Google Cloud .

    כניסה ל-Storage Transfer Service

  2. לוחצים על התיאור של משימת ההעברה. הדף Job details מוצג.

  3. לוחצים על המשך ההרצה.

    הסטטוס של הפעולה הנוכחית מוצג כבתהליך.

REST

כדי להשהות משימת העברה, משתמשים ב-method‏ transferOperations.pause.

השבתה של משימת העברה

השבתה של משימת העברה מונעת ממנה להתחיל פעולות מתוזמנות נוספות, או פעולות שהופעלו ידנית מהמסוף. היא לא מונעת הפעלה ידנית של משימה באמצעות ה-API או באמצעות הפקודה jobs run gcloud.

‫CLI של gcloud

כדי להשבית משימת העברה, מעדכנים את הסטטוס של המשימה ל-disabled.

gcloud transfer jobs update JOB_NAME --status=disabled

כדי להפעיל מחדש משימה, מגדירים את --status=enabled.

מסוף Google Cloud

כדי להשבית משימת העברה:

  1. נכנסים לדף Storage Transfer Service במסוף Google Cloud .

    כניסה ל-Storage Transfer Service

  2. לוחצים על התיאור של משימת ההעברה. הדף Job details מוצג.

  3. לוחצים על Disable job. מופיעה תיבת הדו-שיח Disable transfer job?‎.

  4. קוראים את תיבת הדו-שיח ולוחצים על Confirm כדי לאשר את השבתת המשימה.

    בחלק העליון של הדף Job details מופיעה הודעה שמזכירה שהמשימה מושבתת.

REST

משתמשים ב-method‏ transferJobs.patch כדי להגדיר את ה-status של משימת ההעברה ל-DISABLED.

מחיקה של משימת העברה

אתם יכולים למחוק משימות העברה שאתם לא צריכים יותר. כשמוחקים משימה:

  • עוצרת את כל ההעברות הקיימות שהן חלק מהמשימה.
  • הפעולה הזו מפסיקה את כל ההעברות החוזרות שהן חלק מהמשימה.
  • מוחק את פרטי ההגדרות של המשימה.

אי אפשר לבטל מחיקה של משימה. אחרי שמוחקים את משימת ההעברה, היא מוסרת מרשימת משימות ההעברה. פרטי משימת ההעברה נמחקים לגמרי מ-Storage Transfer Service אחרי 30 יום.

לחלופין, אפשר להשבית את משימת ההעברה, כך שהמשימה תישאר רשומה בדף Jobs ותוכלו להפעיל אותה מחדש או לשנות אותה.

‫CLI של gcloud

כדי למחוק משימת העברה, משתמשים ב-gcloud transfer jobs delete.

gcloud transfer jobs delete JOB_NAME

מסוף Google Cloud

כדי למחוק משימת העברה:

  1. נכנסים לדף Storage Transfer Service במסוף Google Cloud .

    כניסה ל-Storage Transfer Service

  2. מסמנים את התיבה לצד משימת ההעברה שרוצים למחוק.

  3. לוחצים על מחיקת המשרה.

    מופיעה תיבת הדו-שיח Delete transfer job?‎.

  4. קוראים את תיבת הדו-שיח, מאשרים את מחיקת המשימה על ידי הקלדת השם שהוקצה לה באופן אוטומטי בשדה, ולוחצים על Delete.

    המשימה תוסר מהדף Jobs.

REST

כדי למחוק משימת העברה באמצעות ה-API בארכיטקטורת REST, עיינו במאמר העזר transferJobs.delete.

לצפייה בפרטי השגיאה

אם נתקלתם בשגיאות במהלך הרצת העברה, אתם יכולים לראות את פרטי השגיאה כדי לפתור אותה.

כדי לראות את פרטי השגיאה של הרצת משימת העברה:

  1. נכנסים לדף Storage Transfer Service במסוף Google Cloud .

    כניסה ל-Storage Transfer Service

  2. לוחצים על התיאור של משימת ההעברה. הדף Job details מוצג.

  3. כדי להציג את פרטי המשימה, מבצעים אחת מהפעולות הבאות:

    • הפעלת המשימה האחרונה: לוחצים על הכפתור See error details או על הקישור View error details. הדף Error details נפתח.

    • היסטוריית הרצת המשימות:

      1. לוחצים על שעת התחלה של הרצת המשימה.

        הדף Run details מוצג.

      2. לוחצים על הקישור הצגת פרטי השגיאה.

        הדף Error details מוצג.

  4. כדי להציג פרטים נוספים על כל שגיאה שמופיעה, לוחצים על Expand more.

  5. כדי לסנן שגיאות, מזינים את המאפיינים לסינון בשדה Enter property name or value.

    כשמציבים את הסמן בשדה, מוצג תפריט נפתח עם אפשרויות רלוונטיות שיעזרו לכם ליצור את המסנן.