העברה מאחסון שתואם ל-S3 ל-Cloud Storage

‫Storage Transfer Service תומך בהעברות ממערכות אחסון אובייקטים בענן או באחסון מקומי שתואמות ל-Amazon S3 API.

Storage Transfer Service ניגש לנתונים שלכם באחסון שתואם ל-S3 באמצעות סוכני העברה שנפרסים במכונות וירטואליות שקרובות למקור הנתונים. הסוכנים האלה פועלים במאגר Docker והם שייכים למאגר סוכנים, שהוא אוסף של סוכנים שמשתמשים באותה הגדרה ומעבירים את הנתונים שלכם במקביל.

התכונה הזו מאפשרת לכם להעביר נתונים מאחסון אובייקטים מקומי או בענן אל Cloud Storage, לארכב נתונים כדי לפנות נפח אחסון מקומי, לשכפל נתונים ל-Google Cloud לצורך המשכיות עסקית או להעביר נתונים ל-Google Cloud לצורך ניתוח ועיבוד. ללקוחות שעוברים מ-AWS S3 ל-Cloud Storage, התכונה הזו מאפשרת לשלוט בנתיבי הרשת אל Google Cloud, וכך להפחית באופן משמעותי את העלויות של העברת נתונים יוצאים.

לפני שמתחילים

לפני שמגדירים את ההעברות, צריך לבצע את הפעולות הבאות:

מתקינים את ה-CLI של gcloud.
עומדים בדרישות להעברות של מערכת קבצים, כולל התקנת Docker במחשב של סוכן ההעברה.

קבלת פרטי כניסה למקור

כדי להעביר נתונים מאחסון שתואם ל-S3, צריך מזהה מפתח גישה ומפתח גישה סודי.

השלבים להשגת הנתונים האלה משתנים בהתאם לספק שירותי האחסון.

לחשבון שממנו נוצרים המזהה והמפתח צריכה להיות אחת מההרשאות הבאות:

הרשאת קריאה בלבד באובייקטי המקור, אם לא רוצים למחוק אובייקטים במקור.
גישה מלאה לאובייקטים של המקור, אם בוחרים למחוק אובייקטים במקור כחלק מההעברה.

אחרי שיוצרים את החשבון, מוסיפים הרשאות ומורידים את מזהה מפתח הגישה ואת מפתח הגישה הסודי, מאחסנים את המזהה ואת המפתח במקום בטוח.

הגדרת הרשאות ב-Google Cloud

לפני שיוצרים העברה, צריך להגדיר הרשאות לישויות הבאות:

	חשבון המשתמש שמשמש ליצירת ההעברה. זהו החשבון שמחוברים אליו במסוף Google Cloud או החשבון שמצוין כשמתבצע אימות ל-CLI של gcloud. חשבון המשתמש יכול להיות חשבון משתמש רגיל או חשבון שירות שמנוהל על ידי משתמש.
	חשבון השירות בניהול Google, שנקרא גם סוכן השירות, שמשמש את Storage Transfer Service. בדרך כלל, החשבון הזה מזוהה באמצעות כתובת האימייל שלו, בפורמט `project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com`.
	חשבון סוכן ההעברה שמספק הרשאות Google Cloud לסוכני העברה. חשבונות של סוכני העברה משתמשים בפרטי הכניסה של המשתמש שמתקין אותם, או בפרטי הכניסה של חשבון שירות שמנוהל על ידי משתמש, כדי לבצע אימות.

הוראות מפורטות זמינות במאמר בנושא הרשאות להעברה מבוססת-סוכן.

אפשרויות העברה

התכונות הבאות של Storage Transfer Service זמינות להעברות מאחסון שתואם ל-S3 ל-Cloud Storage:

העברת קבצים ספציפיים באמצעות מניפסט

אפשר להעביר רשימה של קבצים ל-Storage Transfer Service כדי לבצע פעולות עליהם. פרטים נוספים זמינים במאמר בנושא העברה של קבצים או אובייקטים ספציפיים באמצעות מניפסט.

ציון סוג האחסון (storage class)

אתם יכולים לציין את סוג האחסון (storage class) ב-Cloud Storage שבו ישתמשו עבור הנתונים שלכם בקטגוריית היעד. אפשר לעיין באפשרויות של StorageClass כדי לראות פרטים על REST, או להשתמש בדגל --custom-storage-class של Google Cloud CLI.

שימו לב: המערכת מתעלמת מהגדרות של סוגי אחסון אם התכונה סיווג אוטומטי מופעלת בקטגוריית היעד. אם התכונה סיווג אוטומטי מופעלת, האובייקטים שמועברים לקטגוריה מוגדרים בהתחלה כ-Standard Storage.

שמירה על מטא-נתונים

כשמעבירים קבצים מאחסון שתואם ל-S3, אפשר להשתמש ב-Storage Transfer Service כדי לשמור מאפיינים מסוימים כמטא-נתונים מותאמים אישית.

בקטע Amazon S3 או אחסון שתואם ל-S3 ל-Cloud Storage במאמר שמירה על מטא-נתונים מוסבר אילו מטא-נתונים אפשר לשמור ואיך להגדיר את ההעברה.

רישום ביומן ומעקב

אפשר לראות העברות מאחסון שתואם ל-S3 ב-Cloud Logging וב-Cloud Monitoring. פרטים נוספים זמינים במאמרים Cloud Logging for Storage Transfer Service ומעקב אחרי העברות. אפשר גם להגדיר התראות ב-Pub/Sub.

יצירת מאגר סוכנים

אסור לכלול בשם של מאגר הסוכנים או בקידומת של מזהה הסוכן מידע רגיש כמו פרטים אישיים מזהים (PII) או נתוני אבטחה. יכול להיות ששמות המשאבים יועברו לשמות של משאבים אחרים ב-Google Cloud, ויוצגו למערכות פנימיות של Google מחוץ לפרויקט שלכם.

כדי ליצור מאגר סוכנים:

מסוף Google Cloud

נכנסים לדף Agent pools במסוף Google Cloud .

כניסה לדף Agent pools

מוצג הדף מאגרי סוכנים עם רשימה של מאגרי הסוכנים הקיימים.
לוחצים על יצירת מאגר נוסף.
נותנים שם למאגר, ואפשר גם להוסיף תיאור.
אפשר להגדיר מגבלת רוחב פס שתחול על כל המאגר. רוחב הפס שצוין במגה-בייט לשנייה יחולק בין כל הסוכנים במאגר. מידע נוסף זמין במאמר בנושא ניהול רוחב הפס ברשת.
לוחצים על יצירה.

API ל-REST

שימוש ב-projects.agentPools.create:

POST https://storagetransfer.googleapis.com/v1/projects/PROJECT_ID/agentPools?agent_pool_id=AGENT_POOL_ID

מחליפים את מה שכתוב בשדות הבאים:

‫PROJECT_ID: מזהה הפרויקט שבו אתם יוצרים את מאגר הסוכנים.
‫AGENT_POOL_ID: המזהה של מאגר הסוכנים שאתם יוצרים.

אם מאגר סוכנים נתקע במצב Creating למשך יותר מ-30 דקות, מומלץ למחוק את מאגר הסוכנים וליצור אותו מחדש.

ביטול ההרשאות הנדרשות של Storage Transfer Service מפרויקט בזמן שמאגר סוכנים נמצא במצב Creating מוביל להתנהגות שגויה של השירות.

‫CLI של gcloud

כדי ליצור מאגר סוכנים באמצעות כלי שורת הפקודה gcloud, מריצים את הפקודה [gcloud transfer agent-pools create][agent-pools-create].

gcloud transfer agent-pools create AGENT_POOL

אלה האפשרויות הזמינות:

‫AGENT_POOL הוא מזהה ייחודי וקבוע של מאגר המשאבים.
‫--no-async חוסם משימות אחרות במסוף עד ליצירת המאגר. אם לא מציינים את האפשרות הזו, יצירת המאגר תתבצע באופן אסינכרוני.
‫--bandwidth-limit מגדיר כמה מרוחב הפס שלכם ב-MB/s יהיה זמין לסוכנים בבריכה הזו. מגבלת רוחב פס חלה על כל הסוכנים במאגר, ויכולה לעזור למנוע שיבוש של עומס העבודה של ההעברה במאגר, בפעולות אחרות שמשתמשות ברוחב הפס שלכם. לדוגמה, מזינים '50' כדי להגדיר מגבלת רוחב פס של 50MB/s. אם לא מציינים את הדגל הזה, הסוכנים במאגר הזה ישתמשו בכל רוחב הפס שזמין להם.
‫--display-name הוא שם שאפשר לשנות כדי לעזור לכם לזהות את המאגר הזה. אפשר לכלול פרטים שלא מתאימים לשם המלא הייחודי של המשאב במאגר.

התקנת סוכני העברה

סוכני העברה הם סוכני תוכנה שמתאמים פעולות העברה מהמקור שלכם באמצעות Storage Transfer Service. הם צריכים להיות מותקנים במערכת עם גישה לנתוני המקור.

‫CLI של gcloud

כדי להתקין סוכנים לשימוש עם מקור שמתאים ל-S3 באמצעות ה-CLI של gcloud, משתמשים בפקודה transfer agents install.

צריך לספק את פרטי הגישה כמשתני סביבה עם הערכים AWS_ACCESS_KEY_ID ו-AWS_SECRET_ACCESS_KEY, או לאחסן אותם כפרטי כניסה שמוגדרים כברירת מחדל בקובצי התצורה של המערכת.

export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME

כדי להריץ סוכנים באמצעות מפתח של חשבון שירות, משתמשים באפשרות --creds-file:

gcloud transfer agents install --pool=POOL_NAME \
  --creds-file=/relative/path/to/service-account-key.json

יצירת העברת נתונים

מסוף Google Cloud

כדי ליצור העברה ממקור שתואם ל-S3 לקטגוריה של Cloud Storage:

נכנסים לדף Storage Transfer Service במסוף Google Cloud .

מעבר אל Storage Transfer Service
לוחצים על Transfer. מוצג הדף Create a transfer job.
בוחרים באפשרות S3-compatible object storage (אחסון אובייקטים שתואם ל-S3) בתור סוג המקור. יעד ההעברה חייב להיות Google Cloud Storage.

לוחצים על השלב הבא.

הגדרת המקור

מציינים את המידע הנדרש להעברה הזו:
1. בוחרים את מאגר הסוכנים שהגדרתם להעברה הזו.
2. מזינים את שם הדלי ביחס לנקודת הקצה. לדוגמה, אם הנתונים שלכם נמצאים בכתובת:
  
  https://example.com/bucket_a
  
  מזינים: bucket_a
3. מזינים את נקודת הקצה. אין לכלול את הפרוטוקול (http:// או https://) או את שם הדלי. לדוגמה:
  
  example.com
מציינים מאפיינים אופציונליים להעברה הזו:
1. מזינים את אזור החתימה שבו רוצים להשתמש לחתימה על בקשות.
2. בוחרים את תהליך החתימה לבקשה הזו.
3. בוחרים את סגנון הפנייה. ההגדרה הזו קובעת אם שם ה-bucket יסופק בסגנון נתיב (למשל, ‫https://example.com/bucket-name/key-name) או בפורמט של מארח וירטואלי (לדוגמה, https://bucket-name.example.com/key-name). מידע נוסף זמין במאמר Virtual hosting of buckets בתיעוד של אמזון.
4. בוחרים באפשרות פרוטוקול רשת.
5. בוחרים את הגרסה של Listing API שרוצים להשתמש בה. מידע נוסף זמין במאמרי העזרה בנושא ListObjectsV2 ו-ListObjects.
לוחצים על השלב הבא.

הגדרת היעד

בשדה Bucket or folder, מזינים את קטגוריית היעד ואת שם התיקייה (אופציונלי), או לוחצים על Browse כדי לבחור קטגוריה מתוך רשימת הקטגוריות הקיימות בפרויקט הנוכחי. כדי ליצור מאגר חדש, לוחצים על Create new bucket (יצירת מאגר חדש).
לוחצים על השלב הבא.

בחירת הגדרות ההעברה

בשדה Description (תיאור), מזינים תיאור של ההעברה. מומלץ להזין תיאור בעל משמעות וייחודי כדי שתוכלו להבחין בין המשרות.
בקטע אפשרויות מטא-נתונים, בוחרים להשתמש באפשרויות ברירת המחדל או לוחצים על הצגה ובחירה של אפשרויות כדי לציין ערכים לכל המטא-נתונים הנתמכים. פרטים נוספים זמינים במאמר בנושא שמירת מטא-נתונים.
בקטע When to overwrite (מתי להחליף), בוחרים באחת מהאפשרויות הבאות:
- אם שונה: מחליף את קובצי היעד אם לקובץ המקור עם אותו שם יש ערכי Etags או סיכום ביקורת שונים.
- תמיד: תמיד מחליף את קובצי היעד כששם קובץ המקור זהה, גם אם הם זהים.
בקטע When to delete (מתי למחוק), בוחרים באחת מהאפשרויות הבאות:
- אף פעם: הקבצים לא יימחקו מהמקור או מהיעד.
- Delete file from source after they're transferred: מחיקת קבצים מהמקור אחרי שהם מועברים ליעד. אם קובץ מקור לא מועבר, למשל כי הוא כבר קיים ביעד, קובץ המקור לא נמחק.
  
  חשוב: אם אין לכם גיבוי מקומי, הפעולה הזו היא בלתי הפיכה.
- מחיקת קבצים מיעד אם הם לא נמצאים גם במקור: אם קבצים בקטגוריה של Cloud Storage ביעד לא נמצאים גם במקור, הקבצים יימחקו מהקטגוריה של Cloud Storage.
  
  האפשרות הזו מבטיחה שקטגוריית היעד של Cloud Storage תהיה זהה למקור.
בקטע Notification options, בוחרים את נושא ה-Pub/Sub ואת האירועים שרוצים לקבל עליהם התראות. מידע נוסף זמין במאמר התראות Pub/Sub.
לוחצים על השלב הבא.

תזמון ההעברה

אתם יכולים לתזמן את ההעברה כך שתתבצע רק פעם אחת, או להגדיר העברה חוזרת.

לוחצים על Create (יצירה) כדי ליצור את עבודת ההעברה.

‫CLI של gcloud

לפני שמשתמשים ב-gcloud CLI כדי ליצור העברה, צריך לפעול לפי ההוראות במאמר הגדרת גישה ליעד Cloud Storage.

כדי להשתמש ב-gcloud CLI כדי ליצור העברה ממקור שתואם ל-S3 לקטגוריה של Cloud Storage, משתמשים בפקודה הבאה.

gcloud transfer jobs create s3://SOURCE_BUCKET_NAME gs://SINK_BUCKET_NAME \
  --source-agent-pool=POOL_NAME \
  --source-endpoint=ENDPOINT \
  --source-signing-region=REGION \
  --source-auth-method=AWS_SIGNATURE_V2 | AWS_SIGNATURE_V4 \
  --source-request-model=PATH_STYLE | VIRTUAL_HOSTED_STYLE \
  --source-network-protocol=HTTP | HTTPS \
  --source-list-api=LIST_OBJECTS | LIST_OBJECTS_V2

נדרשים הדגלים הבאים:

‫--source-agent-pool הוא השם של מאגר הסוכנים שבו רוצים להשתמש להעברה הזו.
‫--source-endpoint מציין את נקודת הקצה של מערכת האחסון. לדוגמה, s3.us-east.example.com. כדאי לפנות לספק כדי לקבל את הפורמט הנכון. לא כוללים את הפרוטוקול (למשל, ‫https://) או שם הקטגוריה.

הדגלים הנותרים הם אופציונליים:

‫--source-signing-region מציין אזור לחתימה על בקשות. אם ספק שירותי האחסון לא דורש אזור חתימה, אפשר להשמיט את הדגל הזה.
‫--source-auth-method מציין את שיטת האימות שבה יש להשתמש. הערכים התקינים הם AWS_SIGNATURE_V2 או AWS_SIGNATURE_V4. מידע נוסף זמין במאמרי העזרה של Amazon בנושא SigV4 ו-SigV2.
‫--source-request-model מציין את סגנון הכתובת שבו יש להשתמש. הערכים התקפים הם PATH_STYLE או VIRTUAL_HOSTED_STYLE. הפורמט של סגנון הנתיב הוא https://s3.REGION.example.com/BUCKET_NAME/KEY_NAME. בסגנון אירוח וירטואלי משתמשים בפורמט `https://BUCKET_NAME.s3.REGION.example.com/KEY_NAME.
‫--source-network-protocol מציינת את פרוטוקול הרשת שסוכנים צריכים להשתמש בו עבור העבודה הזו. הערכים התקינים הם HTTP או HTTPS.
‫--source-list-api מציין את הגרסה של S3 listing API להחזרת אובייקטים מהקטגוריה. הערכים התקינים הם LIST_OBJECTS או LIST_OBJECTS_V2. מידע נוסף זמין במאמרי העזרה של Amazon בנושא ListObjectsV2 ו-ListObjects.

כדי לראות עוד אפשרויות להעברת נתונים, מריצים את הפקודה gcloud transfer jobs create --help או מעיינים במאמרי העזרה בנושא gcloud.

API ל-REST

לפני שמשתמשים ב-API בארכיטקטורת REST כדי ליצור העברה, צריך לפעול לפי ההוראות שבמאמר הגדרת גישה ליעד ב-Cloud Storage.

כדי ליצור העברה ממקור שתואם ל-S3 באמצעות API בארכיטקטורת REST, יוצרים אובייקט JSON שדומה לדוגמה הבאה.

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  ...
  "transferSpec": {
    "source_agent_pool_name":"POOL_NAME",
    "awsS3CompatibleData": {
      "region":"us-east-1",
      "s3Metadata":{
        "protocol": "NETWORK_PROTOCOL_HTTPS",
        "requestModel": "REQUEST_MODEL_VIRTUAL_HOSTED_STYLE",
        "authMethod": "AUTH_METHOD_AWS_SIGNATURE_V4"
      },
      "endpoint": "example.com",
      "bucketName": "BUCKET_NAME",
      "path": "PATH",
    },
    "gcsDataSink": {
      "bucketName": "SINK_NAME",
      "path": "SINK_PATH"
    },
    "transferOptions": {
      "deleteObjectsFromSourceAfterTransfer": false
    }
  }
}

תיאורי השדות מופיעים בהפניית ה-API של AwsS3CompatibleData.

ספריות לקוח

לפני שמשתמשים בספריות הלקוח כדי ליצור העברה, צריך לפעול לפי ההוראות במאמר הגדרת גישה ליעד ב-Cloud Storage.

Go

מידע על התקנת ספריית הלקוח של Storage Transfer Service והשימוש בה מופיע במאמר ספריות הלקוח של Storage Transfer Service. מידע נוסף מופיע במאמרי העזרה של Storage Transfer Service Go API.

כדי לבצע אימות ב-Storage Transfer Service, אתם צריכים להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.


import (
	"context"
	"fmt"
	"io"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
)

func transferFromS3CompatibleSource(w io.Writer, projectID string, sourceAgentPoolName string, sourceBucketName string, sourcePath string, gcsSinkBucket string, gcsPath string) (*storagetransferpb.TransferJob, error) {
	// Your project id.
	// projectId := "my-project-id"

	// The agent pool associated with the S3 compatible data source. If not provided, defaults to the default agent.
	// sourceAgentPoolName := "projects/my-project/agentPools/transfer_service_default"

	// The S3 compatible bucket name to transfer data from.
	//sourceBucketName = "my-bucket-name"

	// The S3 compatible path (object prefix) to transfer data from.
	//sourcePath = "path/to/data"

	// The ID of the GCS bucket to transfer data to.
	//gcsSinkBucket = "my-sink-bucket"

	// The GCS path (object prefix) to transfer data to.
	//gcsPath = "path/to/data"

	// The S3 region of the source bucket.
	region := "us-east-1"

	// The S3 compatible endpoint.
	endpoint := "us-east-1.example.com"

	// The S3 compatible network protocol.
	protocol := storagetransferpb.S3CompatibleMetadata_NETWORK_PROTOCOL_HTTPS

	// The S3 compatible request model.
	requestModel := storagetransferpb.S3CompatibleMetadata_REQUEST_MODEL_VIRTUAL_HOSTED_STYLE

	// The S3 Compatible auth method.
	authMethod := storagetransferpb.S3CompatibleMetadata_AUTH_METHOD_AWS_SIGNATURE_V4

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId: projectID,
			TransferSpec: &storagetransferpb.TransferSpec{
				SourceAgentPoolName: sourceAgentPoolName,
				DataSource: &storagetransferpb.TransferSpec_AwsS3CompatibleDataSource{
					AwsS3CompatibleDataSource: &storagetransferpb.AwsS3CompatibleData{
						BucketName: sourceBucketName,
						Path:       sourcePath,
						Endpoint:   endpoint,
						Region:     region,
						DataProvider: &storagetransferpb.AwsS3CompatibleData_S3Metadata{
							S3Metadata: &storagetransferpb.S3CompatibleMetadata{
								AuthMethod:   authMethod,
								RequestModel: requestModel,
								Protocol:     protocol,
							},
						},
					}},
				DataSink: &storagetransferpb.TransferSpec_GcsDataSink{
					GcsDataSink: &storagetransferpb.GcsData{
						BucketName: gcsSinkBucket,
						Path:       gcsPath,
					},
				},
			},
			Status: storagetransferpb.TransferJob_ENABLED,
		},
	}

	resp, err := client.CreateTransferJob(ctx, req)
	if err != nil {
		return nil, fmt.Errorf("failed to create transfer job: %w", err)
	}
	if _, err = client.RunTransferJob(ctx, &storagetransferpb.RunTransferJobRequest{
		ProjectId: projectID,
		JobName:   resp.Name,
	}); err != nil {
		return nil, fmt.Errorf("failed to run transfer job: %w", err)
	}
	fmt.Fprintf(w, "Created and ran transfer job from %v to %v with name %v", sourceBucketName, gcsSinkBucket, resp.Name)
	return resp, nil
}

Java

מידע על התקנת ספריית הלקוח של Storage Transfer Service והשימוש בה מופיע במאמר ספריות הלקוח של Storage Transfer Service. מידע נוסף מופיע במאמרי העזרה של Storage Transfer Service Java API.

import static com.google.storagetransfer.v1.proto.TransferTypes.S3CompatibleMetadata.AuthMethod;
import static com.google.storagetransfer.v1.proto.TransferTypes.S3CompatibleMetadata.NetworkProtocol;
import static com.google.storagetransfer.v1.proto.TransferTypes.S3CompatibleMetadata.RequestModel;

import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto;
import com.google.storagetransfer.v1.proto.TransferTypes;
import com.google.storagetransfer.v1.proto.TransferTypes.GcsData;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferSpec;
import java.io.IOException;

public class TransferFromS3CompatibleSource {

  public static void main(String[] args) throws IOException {
    // TODO(developer): Replace these variables before running the sample.

    // Your project id
    String projectId = "my-project-id";

    // The agent pool associated with the S3 compatible data source. If not provided, defaults to
    // the default agent
    String sourceAgentPoolName = "projects/my-project-id/agentPools/transfer_service_default";

    // The S3 compatible bucket name to transfer data from
    String sourceBucketName = "my-bucket-name";

    // The S3 compatible path (object prefix) to transfer data from
    String sourcePath = "path/to/data";

    // The ID of the GCS bucket to transfer data to
    String gcsSinkBucket = "my-sink-bucket";

    // The GCS path (object prefix) to transfer data to
    String gcsPath = "path/to/data";

    // The S3 region of the source bucket
    String region = "us-east-1";

    // The S3 compatible endpoint
    String endpoint = "us-east-1.example.com";

    // The S3 compatible network protocol
    NetworkProtocol protocol = NetworkProtocol.NETWORK_PROTOCOL_HTTPS;

    // The S3 compatible request model
    RequestModel requestModel = RequestModel.REQUEST_MODEL_VIRTUAL_HOSTED_STYLE;

    // The S3 Compatible auth method
    AuthMethod authMethod = AuthMethod.AUTH_METHOD_AWS_SIGNATURE_V4;

    transferFromS3CompatibleSource(
        projectId,
        sourceAgentPoolName,
        sourceBucketName,
        sourcePath,
        region,
        endpoint,
        protocol,
        requestModel,
        authMethod,
        gcsSinkBucket,
        gcsPath);
  }

  public static void transferFromS3CompatibleSource(
      String projectId,
      String sourceAgentPoolName,
      String sourceBucketName,
      String sourcePath,
      String region,
      String endpoint,
      NetworkProtocol protocol,
      RequestModel requestModel,
      AuthMethod authMethod,
      String gcsSinkBucket,
      String gcsPath)
      throws IOException {
    TransferJob transferJob =
        TransferJob.newBuilder()
            .setProjectId(projectId)
            .setTransferSpec(
                TransferSpec.newBuilder()
                    .setSourceAgentPoolName(sourceAgentPoolName)
                    .setAwsS3CompatibleDataSource(
                        TransferTypes.AwsS3CompatibleData.newBuilder()
                            .setRegion(region)
                            .setEndpoint(endpoint)
                            .setBucketName(sourceBucketName)
                            .setPath(sourcePath)
                            .setS3Metadata(
                                TransferTypes.S3CompatibleMetadata.newBuilder()
                                    .setProtocol(protocol)
                                    .setRequestModel(requestModel)
                                    .setAuthMethod(authMethod)
                                    .build())
                            .build())
                    .setGcsDataSink(
                        GcsData.newBuilder().setBucketName(gcsSinkBucket).setPath(gcsPath).build()))
            .setStatus(TransferJob.Status.ENABLED)
            .build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources,
    // or use "try-with-close" statement to do this automatically.
    try (StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create()) {

      // Create the transfer job
      TransferJob response =
          storageTransfer.createTransferJob(
              TransferProto.CreateTransferJobRequest.newBuilder()
                  .setTransferJob(transferJob)
                  .build());

      System.out.println(
          "Created a transfer job from "
              + sourceBucketName
              + " to "
              + gcsSinkBucket
              + " with "
              + "name "
              + response.getName());
    }
  }
}

Node.js

מידע על התקנת ספריית הלקוח של Storage Transfer Service והשימוש בה מופיע במאמר ספריות הלקוח של Storage Transfer Service. מידע נוסף מופיע במאמרי העזרה של Storage Transfer Service Node.js API.


// Imports the Google Cloud client library
const storageTransfer = require('@google-cloud/storage-transfer');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// Useful enums for AWS S3-Compatible Transfers
// const {AuthMethod, NetworkProtocol, RequestModel} = storageTransfer.protos.google.storagetransfer.v1.S3CompatibleMetadata;

// Your project id
// const projectId = 'my-project';

// The agent pool associated with the S3-compatible data source. Defaults to the default agent
// const sourceAgentPoolName = 'projects/my-project/agentPools/transfer_service_default';

// The S3-compatible bucket name to transfer data from
// const sourceBucketName = "my-bucket-name";

// The S3-compatible path (object prefix) to transfer data from
// const sourcePath = "path/to/data/";

// The ID of the GCS bucket to transfer data to
// const gcsSinkBucket = "my-sink-bucket";

// The GCS path (object prefix) to transfer data to
// const gcsPath = "path/to/data/";

// The S3 region of the source bucket
// const region = 'us-east-1';

// The S3-compatible endpoint
// const endpoint = "us-east-1.example.com";

// The S3-compatible network protocol
// const protocol = NetworkProtocol.NETWORK_PROTOCOL_HTTPS;

// The S3-compatible request model
// const requestModel = RequestModel.REQUEST_MODEL_VIRTUAL_HOSTED_STYLE;

// The S3-compatible auth method
// const authMethod = AuthMethod.AUTH_METHOD_AWS_SIGNATURE_V4;

// Creates a client
const client = new storageTransfer.StorageTransferServiceClient();

/**
 * Creates a transfer from an AWS S3-compatible source to GCS
 */
async function transferFromS3CompatibleSource() {
  // Runs the request and creates the job
  const [transferJob] = await client.createTransferJob({
    transferJob: {
      projectId,
      transferSpec: {
        sourceAgentPoolName,
        awsS3CompatibleDataSource: {
          region,
          s3Metadata: {
            authMethod,
            protocol,
            requestModel,
          },
          endpoint,
          bucketName: sourceBucketName,
          path: sourcePath,
        },
        gcsDataSink: {
          bucketName: gcsSinkBucket,
          path: gcsPath,
        },
      },
      status: 'ENABLED',
    },
  });

  await client.runTransferJob({
    jobName: transferJob.name,
    projectId,
  });

  console.log(
    `Created and ran a transfer job from '${sourceBucketName}' to '${gcsSinkBucket}' with name ${transferJob.name}`
  );
}

transferFromS3CompatibleSource();

Python

מידע על התקנת ספריית הלקוח של Storage Transfer Service והשימוש בה מופיע במאמר ספריות הלקוח של Storage Transfer Service. מידע נוסף מופיע במאמרי העזרה של Storage Transfer Service Python API.

from google.cloud import storage_transfer

AuthMethod = storage_transfer.S3CompatibleMetadata.AuthMethod
NetworkProtocol = storage_transfer.S3CompatibleMetadata.NetworkProtocol
RequestModel = storage_transfer.S3CompatibleMetadata.RequestModel


def transfer_from_S3_compat_to_gcs(
    project_id: str,
    description: str,
    source_agent_pool_name: str,
    source_bucket_name: str,
    source_path: str,
    gcs_sink_bucket: str,
    gcs_path: str,
    region: str,
    endpoint: str,
    protocol: NetworkProtocol,
    request_model: RequestModel,
    auth_method: AuthMethod,
) -> None:
    """Creates a transfer from an AWS S3-compatible source to GCS"""

    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project'

    # A useful description for your transfer job
    # description = 'My transfer job'

    # The agent pool associated with the S3-compatible data source.
    # Defaults to 'projects/{project_id}/agentPools/transfer_service_default'
    # source_agent_pool_name = 'projects/my-project/agentPools/my-agent'

    # The S3 compatible bucket name to transfer data from
    # source_bucket_name = "my-bucket-name"

    # The S3 compatible path (object prefix) to transfer data from
    # source_path = "path/to/data/"

    # The ID of the GCS bucket to transfer data to
    # gcs_sink_bucket = "my-sink-bucket"

    # The GCS path (object prefix) to transfer data to
    # gcs_path = "path/to/data/"

    # The S3 region of the source bucket
    # region = 'us-east-1'

    # The S3-compatible endpoint
    # endpoint = "us-east-1.example.com"

    # The S3-compatible network protocol
    # protocol = NetworkProtocol.NETWORK_PROTOCOL_HTTPS

    # The S3-compatible request model
    # request_model = RequestModel.REQUEST_MODEL_VIRTUAL_HOSTED_STYLE

    # The S3-compatible auth method
    # auth_method = AuthMethod.AUTH_METHOD_AWS_SIGNATURE_V4

    transfer_job_request = storage_transfer.CreateTransferJobRequest(
        {
            "transfer_job": {
                "project_id": project_id,
                "description": description,
                "status": storage_transfer.TransferJob.Status.ENABLED,
                "transfer_spec": {
                    "source_agent_pool_name": source_agent_pool_name,
                    "aws_s3_compatible_data_source": {
                        "region": region,
                        "s3_metadata": {
                            "auth_method": auth_method,
                            "protocol": protocol,
                            "request_model": request_model,
                        },
                        "endpoint": endpoint,
                        "bucket_name": source_bucket_name,
                        "path": source_path,
                    },
                    "gcs_data_sink": {
                        "bucket_name": gcs_sink_bucket,
                        "path": gcs_path,
                    },
                },
            }
        }
    )

    result = client.create_transfer_job(transfer_job_request)
    print(f"Created transferJob: {result.name}")

שאלות נפוצות

מה קורה אם ספק שמתאים ל-S3 משתמש באישור SSL בהתאמה אישית?

אם הספק שלכם שמתאים ל-S3 משתמש באישור SSL שלא הונפק על ידי רשות אישורים ציבורית, יכול להיות שההעברות ייכשלו עם שגיאת TLS. כדי לפתור את הבעיה, צריך לצרף את אישור הבסיס של הספק לקונטיינר של סוכן ההעברה בנתיב /etc/ssl/certs/CERT_FILE באמצעות הדגל -v של Docker.

לדוגמה:

sudo docker run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY \
-v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
-v /path/to/your/CERT_FILE:/etc/ssl/certs/CERT_FILE \
-e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \
-e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME

האם יש עלות להעברה מאחסון שתואם ל-S3?

העברות מאחסון שתואם ל-S3 לא כרוכות בתשלום על 'העברות של Storage Transfer Service שדורשות סוכנים'. בקטע תמחור מפורטות עמלות נוספות שאולי יחולו. יכול להיות שספק שירותי הענן שממנו אתם מעבירים את הנתונים יגבה מכם גם עמלות על העברת נתונים יוצאת ועל פעולות.

האם יש תמיכה ב-Cloud Logging להעברות אחסון שתואמות ל-S3?

כן, אפשר להפעיל את Cloud Logging להעברות. לשם כך, פועלים לפי ההוראות במאמר Cloud Logging for Storage Transfer Service.

האם יש תמיכה בהעברות באמצעות מניפסט?

כן, יש תמיכה בקובצי מניפסט להעברות שתואמות ל-S3.

אם אוסיף אובייקט לקטגוריית המקור אחרי שהמשימה תתחיל, האם האובייקט הזה יועבר?

Storage Transfer Service מבצע פעולת רשימה בקטגוריית המקור כדי לחשב את ההבדל מקטגוריית היעד. אם פעולת הרשימה כבר הסתיימה כשמוסיפים את האובייקט החדש, המערכת מדלגת על האובייקט הזה עד להעברה הבאה.

האם Storage Transfer Service מבצע התאמה של סיכומי ביקורת במקורות שתואמים ל-S3?

Storage Transfer Service מסתמך על נתוני סיכום ביקורת שמוחזרים על ידי המקור. במקרה של אחסון שתואם ל-S3, ‏ Storage Transfer Service מצפה ש-Etag של האובייקט יהיה גיבוב (hash) MD5 של האובייקט.

עם זאת, לאובייקטים שהועברו לאחסון שתואם ל-S3 באמצעות העלאה מרובת חלקים ב-S3 אין תגי MD5 ETag. במקרה כזה, Storage Transfer Service משתמש בגודל הקובץ כדי לאמת את האובייקט שהועבר.

מה קצב העברת הנתונים שאפשר להשיג בהעברות מאחסון שתואם ל-S3?

אפשר להגדיל את תפוקת ההעברה על ידי הוספת סוכני העברה נוספים. מומלץ להשתמש ב-3 סוכנים כדי להשיג סבילות לתקלות ולמלא צינור של <‎10Gbps. כדי להגדיל את היקף הפעילות, מוסיפים עוד סוכנים. אפשר להוסיף סוכנים ולהסיר אותם בזמן שההעברה מתבצעת.

איפה צריך לפרוס סוכני העברה כדי להעביר נתונים מ-Amazon S3 ל-Cloud Storage?

אפשר להתקין סוכנים ב-Amazon EC2 או ב-EKS באותו אזור כמו הדלי. אפשר גם להפעיל סוכנים ב-Google Cloud באזור הקרוב ביותר.

העברה מאחסון שתואם ל-S3 ל-Cloud Storage קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

לפני שמתחילים

קבלת פרטי כניסה למקור

הגדרת הרשאות ב-Google Cloud

אפשרויות העברה

יצירת מאגר סוכנים

מסוף Google Cloud

API ל-REST

‫CLI של gcloud

התקנת סוכני העברה

‫CLI של gcloud

יצירת העברת נתונים

מסוף Google Cloud

הגדרת המקור

הגדרת היעד

בחירת הגדרות ההעברה

תזמון ההעברה

‫CLI של gcloud

API ל-REST

ספריות לקוח

Go

Java

Node.js

Python

שאלות נפוצות

העברה מאחסון שתואם ל-S3 ל-Cloud Storage