Vista geral da API Blobstore para serviços agrupados antigos

A API Blobstore permite que a sua aplicação publique objetos de dados, denominados blobs,que são muito maiores do que o tamanho permitido para objetos no serviço Datastore. Os BLOBs são úteis para publicar ficheiros grandes, como ficheiros de vídeo ou de imagem, e para permitir que os utilizadores carreguem ficheiros de dados grandes. Os BLOBs são criados carregando um ficheiro através de um pedido HTTP. Normalmente, as suas aplicações fazem isto apresentando um formulário com um campo de carregamento de ficheiros ao utilizador. Quando o formulário é enviado, o Blobstore cria um blob a partir do conteúdo do ficheiro e devolve uma referência opaca ao blob, denominada chave do blob,que pode usar posteriormente para publicar o blob. A aplicação pode publicar o valor do objeto BLOB completo em resposta a um pedido do utilizador ou pode ler o valor diretamente através de uma interface semelhante a um ficheiro de streaming.

Apresentamos o Blobstore

O Google App Engine inclui o serviço Blobstore, que permite que as aplicações forneçam objetos de dados limitados apenas pela quantidade de dados que podem ser carregados ou transferidos através de uma única ligação HTTP. Estes objetos são denominados valores Blobstore ou blobs. Os valores do Blobstore são publicados como respostas dos controladores de pedidos e são criados como carregamentos através de formulários Web. As aplicações não criam dados de objetos binários grandes diretamente. Em vez disso, os objetos binários grandes são criados indiretamente por um formulário Web enviado ou outro pedido HTTP POST. Os valores do Blobstore podem ser publicados para o utilizador ou acedidos pela aplicação numa stream semelhante a um ficheiro, através da API Blobstore.

Para pedir a um utilizador que carregue um valor do Blobstore, a sua aplicação apresenta um formulário Web com um campo de carregamento de ficheiros. A aplicação gera o URL de ação do formulário chamando a API Blobstore. O navegador do utilizador carrega o ficheiro diretamente para o Blobstore através do URL gerado. Em seguida, o Blobstore armazena o blob, reescreve o pedido para conter a chave do blob e transmite-o a um caminho na sua aplicação. Um controlador de pedidos nesse caminho na sua aplicação pode realizar o processamento de formulários adicional.

Para publicar um blob, a sua aplicação define um cabeçalho na resposta de saída e o App Engine substitui a resposta pelo valor do blob.

Não é possível modificar os blobs depois de criados, embora seja possível eliminá-los. Cada blob tem um registo de informações do blob correspondente, armazenado no arquivo de dados, que fornece detalhes sobre o blob, como a hora de criação e o tipo de conteúdo. Pode usar a chave do blob para obter registos de informações do blob e consultar as respetivas propriedades.

Usar o Blobstore

As aplicações podem usar o Blobstore para aceitar ficheiros grandes como carregamentos dos utilizadores e para publicar esses ficheiros. Os ficheiros são denominados blobs assim que são carregados. As aplicações não acedem diretamente aos blobs pelo nome do ficheiro. Em alternativa, as aplicações referem-se a blobs através do tipo appengine.BlobKey.

O utilizador cria um objeto BLOB enviando um formulário HTML que inclui um ou mais campos de entrada de ficheiros. A sua aplicação define blobstore.UploadURL como o destino (ação) deste formulário, transmitindo à função um caminho de URL de um controlador na sua aplicação. Quando o utilizador envia o formulário, o navegador do utilizador carrega os ficheiros especificados diretamente para o Blobstore. O Blobstore reescreve o pedido do utilizador e armazena os dados do ficheiro carregado, substituindo os dados do ficheiro carregado por uma ou mais chaves de blob correspondentes e, em seguida, transmite o pedido reescrito ao controlador no caminho do URL que forneceu a blobstore.UploadURL. Este controlador pode fazer processamento adicional com base na chave do objeto binário grande. Por último, o controlador tem de devolver uma resposta de redirecionamento apenas com cabeçalhos (301, 302 ou 303), normalmente um redirecionamento do navegador para outra página que indique o estado do carregamento do blob.

A aplicação pode ler partes de um valor do Blobstore através de um blobstore.Reader.

Carregar um blob

Para criar e carregar um blob, siga este procedimento:

1. Crie um URL de carregamento

Chame blobstore.UploadURL para criar um URL de carregamento para o formulário que o utilizador vai preencher, transmitindo o caminho da aplicação a carregar quando o POST do formulário estiver concluído.

ctx := appengine.NewContext(r)
uploadURL, err := blobstore.UploadURL(ctx, "/upload", nil)
if err != nil {
	serveError(ctx, w, err)
	return
}

2. Crie um formulário de carregamento

O formulário tem de incluir um campo de carregamento de ficheiros e o enctype do formulário tem de estar definido como multipart/form-data. Quando o utilizador envia o formulário, o POST é processado pela API Blobstore, que cria o blob. A API também cria um registo de informações para o blob e armazena o registo no arquivo de dados, e passa o pedido reescrito para a sua aplicação no caminho indicado como uma chave de blob.

	var rootTemplate = template.Must(template.New("root").Parse(rootTemplateHTML))

	const rootTemplateHTML = `
<html><body>
<form action="{{.}}" method="POST" enctype="multipart/form-data">
Upload File: <input type="file" name="file"><br>
<input type="submit" name="submit" value="Submit">
</form></body></html>
`

Tem de publicar a página do formulário com um Content-Type de text/html; charset=utf-8, ou quaisquer nomes de ficheiros com carateres não ASCII serão interpretados incorretamente.
Este é o tipo de conteúdo predefinido no Go, mas tem de se lembrar de o fazer se definir o seu próprio Content-Type.

Não pode usar um Application Load Balancer externo global com um NEG sem servidor para processar pedidos de carregamento enviados para o URL /_ah/upload/ devolvido pela chamada blobstore.create_upload_url. Em alternativa, tem de encaminhar esses pedidos de carregamento diretamente para o serviço do App Engine. Pode fazê-lo através do domínio appspot.com ou de um domínio personalizado mapeado diretamente para o serviço do App Engine.

3. Implemente o controlador de carregamento

Neste controlador, pode armazenar a chave do objeto BLOB com o resto do modelo de dados da sua aplicação. A própria chave do objeto BLOB permanece acessível a partir da entidade de informações do objeto BLOB no arquivo de dados. Tenha em atenção que, depois de o utilizador enviar o formulário e o seu controlador ser chamado, o objeto binário grande já foi guardado e as informações do objeto binário grande foram adicionadas ao repositório de dados. Se a sua aplicação não quiser manter o blob, deve eliminá-lo imediatamente para evitar que fique órfão:

ctx := appengine.NewContext(r)
blobs, _, err := blobstore.ParseUpload(r)
if err != nil {
	serveError(ctx, w, err)
	return
}
file := blobs["file"]
if len(file) == 0 {
	log.Errorf(ctx, "no file uploaded")
	http.Redirect(w, r, "/", http.StatusFound)
	return
}
http.Redirect(w, r, "/serve/?blobKey="+string(file[0].BlobKey), http.StatusFound)

Quando o Blobstore reescreve o pedido do utilizador, os corpos das partes MIME dos ficheiros carregados são esvaziados e a chave do blob é adicionada como um cabeçalho de parte MIME. Todos os outros campos e partes do formulário são preservados e transmitidos ao controlador de carregamento. Se não especificar um tipo de conteúdo, o Blobstore tenta inferi-lo a partir da extensão do ficheiro. Se não for possível determinar um tipo de conteúdo, é atribuído o tipo de conteúdo application/octet-stream ao blob recém-criado.

Publicar um blob

Para publicar blobs, tem de incluir um controlador de transferência de blobs como um caminho na sua aplicação. Este controlador deve transmitir a chave do blob para o blob pretendido a blobstore.Send. Neste exemplo, a chave do objeto BLOB é transmitida ao controlador de transferência como o argumento do URL r.FormValue("blobKey"). Na prática, o controlador de transferência pode obter a chave do blob através de qualquer meio que escolher, como outro método ou ação do utilizador.

blobstore.Send(w, appengine.BlobKey(r.FormValue("blobKey")))

Os blobs podem ser publicados a partir de qualquer URL de aplicação. Para publicar um objeto BLOB na sua aplicação, coloca um cabeçalho especial na resposta que contém a chave do objeto BLOB. O App Engine substitui o corpo da resposta pelo conteúdo do blob.

Intervalos de bytes de BLOB

O Blobstore suporta a publicação de parte de um valor grande em vez do valor completo em resposta a um pedido. Para publicar um valor parcial, inclua o cabeçalho X-AppEngine-BlobRange na resposta de saída. O seu valor é um intervalo de bytes HTTP padrão. A numeração de bytes baseia-se em zero. Um X-AppEngine-BlobRange em branco indica à API que ignore o cabeçalho de intervalo e disponibilize o blob completo. Alguns exemplos de intervalos:

  • 0-499 publica os primeiros 500 bytes do valor (bytes 0 a 499, inclusive).
  • 500-999 serve 500 bytes a partir do 501.º byte.
  • 500- serve todos os bytes a partir do 501.º byte até ao final do valor.
  • -500 apresenta os últimos 500 bytes do valor.

Se o intervalo de bytes for válido para o valor do Blobstore, o Blobstore envia um código de estado 206 Partial Content e o intervalo de bytes pedido ao cliente. Se o intervalo não for válido para o valor, o Blobstore envia 416 Requested Range Not Satisfiable.

O Blobstore não suporta vários intervalos de bytes num único pedido (por exemplo, 100-199,200-299), quer se sobreponham ou não.

Aplicação de exemplo completa

Na seguinte aplicação de exemplo, o URL principal da aplicação carrega o formulário que pede ao utilizador um ficheiro para carregar, e o controlador de carregamento chama imediatamente o controlador de transferência para publicar os dados. Isto destina-se a simplificar a aplicação de exemplo. Na prática, provavelmente, não usaria o URL principal para pedir dados de carregamento nem publicaria imediatamente um blob que acabou de carregar.


package blobstore_example

import (
	"context"
	"html/template"
	"io"
	"net/http"

	"google.golang.org/appengine"
	"google.golang.org/appengine/blobstore"
	"google.golang.org/appengine/log"
)

func serveError(ctx context.Context, w http.ResponseWriter, err error) {
	w.WriteHeader(http.StatusInternalServerError)
	w.Header().Set("Content-Type", "text/plain")
	io.WriteString(w, "Internal Server Error")
	log.Errorf(ctx, "%v", err)
}

var rootTemplate = template.Must(template.New("root").Parse(rootTemplateHTML))

const rootTemplateHTML = `
<html><body>
<form action="{{.}}" method="POST" enctype="multipart/form-data">
Upload File: <input type="file" name="file"><br>
<input type="submit" name="submit" value="Submit">
</form></body></html>
`

func handleRoot(w http.ResponseWriter, r *http.Request) {
	ctx := appengine.NewContext(r)
	uploadURL, err := blobstore.UploadURL(ctx, "/upload", nil)
	if err != nil {
		serveError(ctx, w, err)
		return
	}
	w.Header().Set("Content-Type", "text/html")
	err = rootTemplate.Execute(w, uploadURL)
	if err != nil {
		log.Errorf(ctx, "%v", err)
	}
}

func handleServe(w http.ResponseWriter, r *http.Request) {
	blobstore.Send(w, appengine.BlobKey(r.FormValue("blobKey")))
}

func handleUpload(w http.ResponseWriter, r *http.Request) {
	ctx := appengine.NewContext(r)
	blobs, _, err := blobstore.ParseUpload(r)
	if err != nil {
		serveError(ctx, w, err)
		return
	}
	file := blobs["file"]
	if len(file) == 0 {
		log.Errorf(ctx, "no file uploaded")
		http.Redirect(w, r, "/", http.StatusFound)
		return
	}
	http.Redirect(w, r, "/serve/?blobKey="+string(file[0].BlobKey), http.StatusFound)
}

func init() {
	http.HandleFunc("/", handleRoot)
	http.HandleFunc("/serve/", handleServe)
	http.HandleFunc("/upload", handleUpload)
}

Usar a API Blobstore com o Google Cloud Storage

Pode usar a API Blobstore para armazenar blobs no Cloud Storage em vez de os armazenar no Blobstore. Tem de configurar um contentor conforme descrito na documentação do Google Cloud Storage e especificar o contentor e o nome do ficheiro nas UploadURLOptions que fornece à função UploadURL. No controlador de carregamento, tem de processar o mapa de blobs devolvidos e armazenar explicitamente o nome do ficheiro do Google Cloud Storage necessário para obter o blob mais tarde.

Também pode publicar objetos do Cloud Storage através da API Blobstore. Para publicar um objeto do Cloud Storage, use BlobKeyForFile para gerar o blobkey necessário, conforme descrito em Publicar um blob.

Quotas e limites

O espaço usado para valores do Blobstore contribui para a quota de dados armazenados (faturáveis). As entidades de informações de blobs no armazenamento de dados contam para os limites relacionados com o armazenamento de dados. Tenha em atenção que o Google Cloud Storage é um serviço pago. Ser-lhe-á cobrado o valor de acordo com a folha de preços do Cloud Storage.

Para mais informações sobre as quotas de segurança ao nível do sistema, consulte o artigo Quotas.

Além das quotas de segurança ao nível do sistema, os seguintes limites aplicam-se especificamente à utilização do Blobstore:

  • O tamanho máximo dos dados do Blobstore que podem ser lidos pela aplicação com uma chamada API é de 32 megabytes.
  • O número máximo de ficheiros que podem ser carregados num único POST de formulário é 500.
Para informações sobre como contornar estes limites de tamanho, consulte a documentação da função Send.