适用于旧版捆绑服务的 Blobstore API 概览

借助 Blobstore API,您的应用可以提供称为 blob 的数据对象,这些数据对象的大小远远超过 Datastore 服务允许的上限。blob 对于提供大型文件(如视频或图片文件)非常有用,并且支持用户上传大型数据文件。blob 是通过 HTTP 请求上传文件而创建的。通常,您的应用会通过向用户显示包含文件上传字段的表单来完成此操作。在提交表单后,Blobstore 根据该文件的内容创建一个 blob,并返回对该 blob 的不透明引用,称为“blob 键”,您此后可使用该键提供 blob。应用可以响应用户请求提供完整的 blob 值,也可以使用类似流文件的接口直接读取该值。

Blobstore 简介

App Engine 包含 Blobstore 服务,借助此服务,应用提供的数据对象仅受可通过单个 HTTP 连接上传或下载的数据量限制。这些对象称为“Blobstore 值”或“Blob”。 Blobstore 值作为请求处理程序的响应提供,以通过 Web 表单上传内容的方式创建。应用不会直接创建 blob 数据,而是通过提交的网络表单或其他 HTTP POST 请求间接创建 blob。Blobstore 值可以使用 Blobstore API 提供给用户,也可以由应用在类文件流中访问。

为了提示用户上传 Blobstore 值,应用提供带有文件上传字段的 Web 表单。应用通过调用 Blobstore API 来生成表单的操作网址。用户的浏览器通过生成的网址将文件直接上传到 Blobstore。然后,Blobstore 会存储 blob,重写入请求以包含 blob 键,并将其传递给应用中的路径。位于应用中该路径的请求处理程序可以执行其他表单处理。

为了传送 blob,您的应用将为传出响应设置标头,并且 App Engine 会使用 blob 值替换该响应。

Blob 一旦创建便无法修改,但可以删除。每个 blob 都具有相应的 blob 信息记录(存储在数据存储区中),该记录提供有关 blob 的详细信息(例如,创建时间和内容类型)。您可以使用 blob 键提取 blob 信息记录以及查询其属性。

使用 Blobstore

应用可以使用 Blobstore 来接收用户上传的较大文件并提供这些文件。文件上传后,将称为 blob。应用不能直接通过文件名访问 blob, 而是通过 appengine.BlobKey 类型引用 blob。 class 类表示)处理 blob。

用户通过提交包含一个或多个文件输入字段的 HTML 表单来创建 blob。您的应用设置 blobstore.UploadURL 为 此表单的目的地(操作),并将应用中处理程序的网址路径传递给该函数。当用户提交表单时,用户的浏览器直接将指定文件上传到 Blobstore。Blobstore 重新编写用户的请求并存储上传的文件数据(将上传的文件数据替换为一个或多个相应的 blob 键),然后将重新编写的请求传递给向 blobstore.UploadURL 提供的网址路径处的处理程序。

该处理程序会根据 blob 键进行额外的处理。 最后,该处理程序必须返回仅限标头的重定向响应(301、302 或 303),通常是到另一个页面的浏览器重定向以指示 blob 上传状态。

应用可以使用 blobstore.Reader

上传 Blob

如需创建和上传 Blob,请执行以下步骤:

1. 创建上传网址

调用 blobstore.UploadURL 为用户将要填写的表单创建一个上传网址,并在表单的 POST 操作完成后传递要加载的应用路径。

ctx := appengine.NewContext(r)
uploadURL, err := blobstore.UploadURL(ctx, "/upload", nil)
if err != nil {
	serveError(ctx, w, err)
	return
}

2. 创建上传表单

表单必须包含文件上传字段,并且必须将表单的 enctype 设置为 multipart/form-data。当用户提交表单时,POST 由创建 blob 的 Blobstore API 处理。该 API 还会为 blob 创建信息记录,并将该记录存储在 Datastore 中,然后将重写后的请求传递到应用的指定路径作为 blob 键。

	var rootTemplate = template.Must(template.New("root").Parse(rootTemplateHTML))

	const rootTemplateHTML = `
<html><body>
<form action="{{.}}" method="POST" enctype="multipart/form-data">
Upload File: <input type="file" name="file"><br>
<input type="submit" name="submit" value="Submit">
</form></body></html>
`

您所提供表单页面的 Content-Type 必须为 text/html; charset=utf-8,否则任何包含非 ASCII 字符的文件名都将被曲解。
这是 Go 中的默认内容类型,但如果您要设置自己的 Content-Type,请确保执行此操作。

您无法使用具有无服务器 NEG 的全球外部应用负载均衡器来处理发送到 blobstore.create_upload_url 调用返回的 /_ah/upload/ 网址的上传请求。您必须改为将这些上传请求直接路由到 App Engine 服务。您可以使用 appspot.com 网域或直接映射到 App Engine 服务的自定义网域来完成此操作。

3. 实现上传处理程序

在此处理程序中,您可以将 blob 键与应用数据模型的其他部分存储在一起。blob 键本身仍然可以通过 Datastore 中的 blob 信息实体进行访问。请注意,用户提交表单并调用处理程序后,即已保存 blob,并且 blob 信息已添加到 Datastore 中。如果应用不再需要 blob,您应立即删除 blob 以防止其成为孤立文件。

ctx := appengine.NewContext(r)
blobs, _, err := blobstore.ParseUpload(r)
if err != nil {
	serveError(ctx, w, err)
	return
}
file := blobs["file"]
if len(file) == 0 {
	log.Errorf(ctx, "no file uploaded")
	http.Redirect(w, r, "/", http.StatusFound)
	return
}
http.Redirect(w, r, "/serve/?blobKey="+string(file[0].BlobKey), http.StatusFound)
在重写用户的请求时,Blobstore 会清空上传文件的 MIME 部分,并将 blob 键添加为 MIME 部分标头。Blobstore 会保留所有其他表单字段和部分,并将它们传递给上传处理程序。 如果您没有指定内容类型,Blobstore 会尝试根据文件扩展名推断内容类型。如果它无法确定内容类型,则会为新创建的 blob 分配内容类型 application/octet-stream

传送 Blob

为了传送 Blob,您必须有一个 blob 下载处理程序并将其设为应用中的一个路径。 此处理程序应该将所需 blob 的 blob 键传递给 blobstore.Send。 在此示例中,blob 键作为 网址参数 r.FormValue("blobKey")。 实际上,下载处理程序可通过您选择的任意方式获取 blob 键,例如,通过其他方法或用户操作。

blobstore.Send(w, appengine.BlobKey(r.FormValue("blobKey")))

Blob 可以从任何应用网址传递。如需在应用中传送 blob,请在包含 blob 键的响应中添加一个特殊标头。App Engine 会将响应正文替换为 blob 内容。

Blob 字节范围

Blobstore 支持提供大值的一部份来响应请求,而不是提供完整的值。如需提供部分值,请在传出响应中包含 X-AppEngine-BlobRange 标头。其值是标准的 HTTP 字节范围。字节编号从零开始。空 X-AppEngine-BlobRange 指示 API 忽略范围标头并提供完整 blob。示例范围包括:

  • 0-499 提供值的前 500 个字节(字节 0 到 499,含边界值)。
  • 500-999 提供从第 501 个字节开始的 500 个字节。
  • 500- 提供从第 501 个字节开始到值结束的所有字节。
  • -500 提供值的最后 500 个字节。

如果字节范围对 Blobstore 值有效,Blobstore 将向客户端发送 206 Partial Content 状态代码和请求的字节范围。如果范围对该值无效,Blobstore 将发送 416 Requested Range Not Satisfiable

Blobstore 不支持单个请求中的多个字节范围(例如 100-199,200-299),不论字节范围是否重叠都是如此。

完整示例应用

GitHub 中提供了 Go 1.11 演示版应用。请注意,您需要在旧的 Blobstore 软件包名称中插入 /v2/

将 Blobstore API 与 Cloud Storage 搭配使用

您可以使用 Blobstore API 将 blob 存储到 Cloud Storage 中,而不是存储到 Blobstore 中。您需要按 Cloud Storage 文档中的说明设置存储桶,还需要在 您向 UploadURL 函数提供的 UploadURLOptions

在上传处理程序中,您需要处理返回的 返回的 blob 的映射 ,并明确存储后续检索 blob 所需的 Cloud Storage 文件名。

您还可以使用 Blobstore API 传送 Cloud Storage 对象。

如需传送 Cloud Storage 对象,请使用 BlobKeyForFile 生成所需的 blobkey(相关说明请参阅传送 blob

配额和限制

Blobstore 值中的空格会占用存储的数据量(计费)配额。Datastore 中的 blob 信息实体会计入 Datastore 相关的限制。请注意,Cloud Storage 是付费服务,您需要按照 Cloud Storage 价格表支付费用。

如需详细了解系统范围的安全配额,请参阅配额

除系统范围的安全配额外,以下限制特别适用于 Blobstore 的使用:

  • 应用单次调用 API 可读取的 Blobstore 数据的大小上限为 32 兆字节。
  • 表单的单次 POST 操作最多可以上传 500 个文件。
如需了解如何解决这些大小限制,请参阅 Send 函数的文档。