Vista geral da API Blobstore para serviços agrupados antigos

A API Blobstore permite que a sua aplicação publique objetos de dados, denominados blobs,que são muito maiores do que o tamanho permitido para objetos no serviço Datastore. Os BLOBs são úteis para publicar ficheiros grandes, como ficheiros de vídeo ou de imagem, e para permitir que os utilizadores carreguem ficheiros de dados grandes. Os BLOBs são criados carregando um ficheiro através de um pedido HTTP. Normalmente, as suas aplicações fazem isto apresentando um formulário com um campo de carregamento de ficheiros ao utilizador. Quando o formulário é enviado, o Blobstore cria um blob a partir do conteúdo do ficheiro e devolve uma referência opaca ao blob, denominada chave do blob,que pode usar posteriormente para publicar o blob. A aplicação pode publicar o valor do objeto BLOB completo em resposta a um pedido do utilizador ou pode ler o valor diretamente através de uma interface semelhante a um ficheiro de streaming.

Apresentamos o Blobstore

O Google App Engine inclui o serviço Blobstore, que permite que as aplicações forneçam objetos de dados limitados apenas pela quantidade de dados que podem ser carregados ou transferidos através de uma única ligação HTTP. Estes objetos são denominados valores Blobstore ou blobs. Os valores do Blobstore são publicados como respostas dos controladores de pedidos e são criados como carregamentos através de formulários Web. As aplicações não criam dados de objetos binários grandes diretamente. Em vez disso, os objetos binários grandes são criados indiretamente por um formulário Web enviado ou outro pedido HTTP POST. Os valores do Blobstore podem ser publicados para o utilizador ou acedidos pela aplicação numa stream semelhante a um ficheiro, através da API Blobstore.

Para pedir a um utilizador que carregue um valor do Blobstore, a sua aplicação apresenta um formulário Web com um campo de carregamento de ficheiros. A aplicação gera o URL de ação do formulário chamando a API Blobstore. O navegador do utilizador carrega o ficheiro diretamente para o Blobstore através do URL gerado. Em seguida, o Blobstore armazena o blob, reescreve o pedido para conter a chave do blob e transmite-o a um caminho na sua aplicação. Um controlador de pedidos nesse caminho na sua aplicação pode realizar o processamento de formulários adicional.

Para publicar um blob, a sua aplicação define um cabeçalho na resposta de saída e o App Engine substitui a resposta pelo valor do blob.

Não é possível modificar os blobs depois de criados, embora seja possível eliminá-los. Cada blob tem um registo de informações do blob correspondente, armazenado no arquivo de dados, que fornece detalhes sobre o blob, como a hora de criação e o tipo de conteúdo. Pode usar a chave do blob para obter registos de informações do blob e consultar as respetivas propriedades.

Uma aplicação pode ler um valor do Blobstore uma parte de cada vez através de uma chamada da API. O tamanho da parte pode ser até ao tamanho máximo de um valor de retorno da API. Este tamanho é ligeiramente inferior a 32 megabytes, representado em Java pela constante com.google.appengine.api.blobstore.BlobstoreService.MAX_BLOB_FETCH_SIZE. Uma aplicação não pode criar nem modificar valores do Blobstore, exceto através de ficheiros carregados pelo utilizador.

Usar o Blobstore

As aplicações podem usar o Blobstore para aceitar ficheiros grandes como carregamentos dos utilizadores e para publicar esses ficheiros. Os ficheiros são denominados blobs assim que são carregados. As aplicações não acedem diretamente aos blobs. Em alternativa, as aplicações funcionam com blobs através de entidades de informações de blobs (representadas pela classe BlobInfo) no arquivo de dados.

O utilizador cria um objeto BLOB enviando um formulário HTML que inclui um ou mais campos de entrada de ficheiros. A sua aplicação define blobstoreService.createUploadUrl() como o destino (ação) deste formulário, transmitindo à função um caminho de URL de um controlador na sua aplicação. Quando o utilizador envia o formulário, o navegador do utilizador carrega os ficheiros especificados diretamente para o Blobstore. O Blobstore reescreve o pedido do utilizador e armazena os dados do ficheiro carregado, substituindo os dados do ficheiro carregado por uma ou mais chaves de blob correspondentes e, em seguida, transmite o pedido reescrito ao controlador no caminho do URL que forneceu a blobstoreService.createUploadUrl(). Este controlador pode fazer processamento adicional com base na chave do objeto binário grande.

A aplicação pode ler partes de um valor do Blobstore através de uma interface de streaming semelhante a um ficheiro. Consulte a turma BlobstoreInputStream.

Carregar um blob

Para criar e carregar um blob, siga este procedimento:

1. Crie um URL de carregamento

Chame blobstoreService.createUploadUrl para criar um URL de carregamento para o formulário que o utilizador vai preencher, transmitindo o caminho da aplicação a carregar quando o POST do formulário estiver concluído.

<body>
    <form action="<%= blobstoreService.createUploadUrl("/upload") %>" method="post" enctype="multipart/form-data">
        <input type="file" name="myFile">
        <input type="submit" value="Submit">
    </form>
</body>

Tenha em atenção que é assim que o formulário de carregamento ficaria se fosse criado como um JSP.

2. Crie um formulário de carregamento

O formulário tem de incluir um campo de carregamento de ficheiros e o enctype do formulário tem de estar definido como multipart/form-data. Quando o utilizador envia o formulário, o POST é processado pela API Blobstore, que cria o blob. A API também cria um registo de informações para o blob e armazena o registo no arquivo de dados, e passa o pedido reescrito para a sua aplicação no caminho indicado como uma chave de blob.

Não pode usar um Application Load Balancer externo global com um NEG sem servidor para processar pedidos de carregamento enviados para o URL /_ah/upload/ devolvido pela chamada blobstore.create_upload_url. Em alternativa, tem de encaminhar esses pedidos de carregamento diretamente para o serviço do App Engine. Pode fazê-lo através do domínio appspot.com ou de um domínio personalizado mapeado diretamente para o serviço do App Engine.

3. Implemente o controlador de carregamento

Neste controlador, pode armazenar a chave do objeto BLOB com o resto do modelo de dados da sua aplicação. A própria chave do objeto BLOB permanece acessível a partir da entidade de informações do objeto BLOB no arquivo de dados. Tenha em atenção que, depois de o utilizador enviar o formulário e o seu controlador ser chamado, o objeto binário grande já foi guardado e as informações do objeto binário grande foram adicionadas ao repositório de dados. Se a sua aplicação não quiser manter o blob, deve eliminá-lo imediatamente para evitar que fique órfão:

No código seguinte, getUploads devolve um conjunto de blobs que foram carregados. O objeto Map é uma lista que associa os nomes dos campos de carregamento aos blobs que continham.

Map<String, List<BlobKey>> blobs = blobstoreService.getUploads(req);
List<BlobKey> blobKeys = blobs.get("myFile");

if (blobKeys == null || blobKeys.isEmpty()) {
    res.sendRedirect("/");
} else {
    res.sendRedirect("/serve?blob-key=" + blobKeys.get(0).getKeyString());
}

Quando o Blobstore reescreve o pedido do utilizador, os corpos das partes MIME dos ficheiros carregados são esvaziados e a chave do blob é adicionada como um cabeçalho de parte MIME. Todos os outros campos e partes do formulário são preservados e transmitidos ao controlador de carregamento. Se não especificar um tipo de conteúdo, o Blobstore tenta inferi-lo a partir da extensão do ficheiro. Se não for possível determinar um tipo de conteúdo, é atribuído o tipo de conteúdo application/octet-stream ao blob recém-criado.

Publicar um blob

Para publicar blobs, tem de incluir um controlador de transferência de blobs como um caminho na sua aplicação. Este controlador deve transmitir a chave do blob para o blob pretendido a blobstoreService.serve(blobKey, res);. Neste exemplo, a chave do objeto BLOB é transmitida ao controlador de transferência como o argumento do URL (req.getParameter('blob-key')). Na prática, o controlador de transferência pode obter a chave do blob através de qualquer meio que escolher, como outro método ou ação do utilizador.

public void doGet(HttpServletRequest req, HttpServletResponse res)
    throws IOException {
        BlobKey blobKey = new BlobKey(req.getParameter("blob-key"));
        blobstoreService.serve(blobKey, res);

Os blobs podem ser publicados a partir de qualquer URL de aplicação. Para publicar um objeto BLOB na sua aplicação, coloca um cabeçalho especial na resposta que contém a chave do objeto BLOB. O App Engine substitui o corpo da resposta pelo conteúdo do blob.

Intervalos de bytes de BLOB

O Blobstore suporta a publicação de parte de um valor grande em vez do valor completo em resposta a um pedido. Para publicar um valor parcial, inclua o cabeçalho X-AppEngine-BlobRange na resposta de saída. O seu valor é um intervalo de bytes HTTP padrão. A numeração de bytes baseia-se em zero. Um X-AppEngine-BlobRange em branco indica à API que ignore o cabeçalho de intervalo e disponibilize o blob completo. Alguns exemplos de intervalos:

  • 0-499 publica os primeiros 500 bytes do valor (bytes 0 a 499, inclusive).
  • 500-999 serve 500 bytes a partir do 501.º byte.
  • 500- serve todos os bytes a partir do 501.º byte até ao final do valor.
  • -500 apresenta os últimos 500 bytes do valor.

Se o intervalo de bytes for válido para o valor do Blobstore, o Blobstore envia um código de estado 206 Partial Content e o intervalo de bytes pedido ao cliente. Se o intervalo não for válido para o valor, o Blobstore envia 416 Requested Range Not Satisfiable.

O Blobstore não suporta vários intervalos de bytes num único pedido (por exemplo, 100-199,200-299), quer se sobreponham ou não.

Aplicação de exemplo completa

Na seguinte aplicação de exemplo, o URL principal da aplicação carrega o formulário que pede ao utilizador um ficheiro para carregar, e o controlador de carregamento chama imediatamente o controlador de transferência para publicar os dados. Isto destina-se a simplificar a aplicação de exemplo. Na prática, provavelmente, não usaria o URL principal para pedir dados de carregamento nem publicaria imediatamente um blob que acabou de carregar.

// file Upload.java

import java.io.IOException;
import java.util.List;
import java.util.Map;

import javax.servlet.ServletException;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import com.google.appengine.api.blobstore.BlobKey;
import com.google.appengine.api.blobstore.BlobstoreService;
import com.google.appengine.api.blobstore.BlobstoreServiceFactory;

public class Upload extends HttpServlet {
    private BlobstoreService blobstoreService = BlobstoreServiceFactory.getBlobstoreService();

    @Override
    public void doPost(HttpServletRequest req, HttpServletResponse res)
        throws ServletException, IOException {

        Map<String, List<BlobKey>> blobs = blobstoreService.getUploads(req);
        List<BlobKey> blobKeys = blobs.get("myFile");

        if (blobKeys == null || blobKeys.isEmpty()) {
            res.sendRedirect("/");
        } else {
            res.sendRedirect("/serve?blob-key=" + blobKeys.get(0).getKeyString());
        }
    }
}

// file Serve.java

import java.io.IOException;

import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;

import com.google.appengine.api.blobstore.BlobKey;
import com.google.appengine.api.blobstore.BlobstoreService;
import com.google.appengine.api.blobstore.BlobstoreServiceFactory;

public class Serve extends HttpServlet {
    private BlobstoreService blobstoreService = BlobstoreServiceFactory.getBlobstoreService();

    @Override
    public void doGet(HttpServletRequest req, HttpServletResponse res)
        throws IOException {
            BlobKey blobKey = new BlobKey(req.getParameter("blob-key"));
            blobstoreService.serve(blobKey, res);
        }
}


// file index.jsp

<%@ page import="com.google.appengine.api.blobstore.BlobstoreServiceFactory" %>
<%@ page import="com.google.appengine.api.blobstore.BlobstoreService" %>

<%
    BlobstoreService blobstoreService = BlobstoreServiceFactory.getBlobstoreService();
%>


<html>
    <head>
        <title>Upload Test</title>
    </head>
    <body>
        <form action="<%= blobstoreService.createUploadUrl("/upload") %>" method="post" enctype="multipart/form-data">
            <input type="text" name="foo">
            <input type="file" name="myFile">
            <input type="submit" value="Submit">
        </form>
    </body>
</html>

// web.xml

<?xml version="1.0" encoding="utf-8"?>
<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
   xmlns="http://java.sun.com/xml/ns/javaee"
   xmlns:web="http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd"
   xsi:schemaLocation="http://java.sun.com/xml/ns/javaee
   http://java.sun.com/xml/ns/javaee/web-app_2_5.xsd" version="2.5">

  <servlet>
    <servlet-name>Upload</servlet-name>
    <servlet-class>Upload</servlet-class>
  </servlet>
  
  <servlet>
    <servlet-name>Serve</servlet-name>
    <servlet-class>Serve</servlet-class>
  </servlet>
 
  <servlet-mapping>
    <servlet-name>Upload</servlet-name>
    <url-pattern>/upload</url-pattern>
  </servlet-mapping>

  <servlet-mapping>
    <servlet-name>Serve</servlet-name>
    <url-pattern>/serve</url-pattern>
  </servlet-mapping>
  
</web-app>

Usar o serviço Images com o Blobstore

O serviço Images pode usar um valor Blobstore como origem de uma transformação. A imagem de origem pode ter o tamanho máximo de um valor do Blobstore. O serviço Images continua a devolver a imagem transformada à aplicação, pelo que a imagem transformada tem de ter menos de 32 megabytes. Isto é útil para criar imagens de miniaturas de fotografias grandes carregadas pelos utilizadores.

Para obter informações sobre a utilização do serviço Images com valores Blobstore, consulte a documentação do serviço Images.

Usar a API Blobstore com o Google Cloud Storage

Pode usar a API Blobstore para armazenar blobs no Cloud Storage em vez de os armazenar no Blobstore. Tem de configurar um contentor, conforme descrito na documentação do Google Cloud Storage, e especificar o contentor e o nome do ficheiro em BlobstoreService createUploadUrl. Especifique o nome do contentor no parâmetro UploadOptions. No controlador de carregamento, tem de processar os metadados FileInfo devolvidos e armazenar explicitamente o nome do ficheiro do Google Cloud Storage necessário para obter o objeto binário grande mais tarde.

Também pode publicar objetos do Cloud Storage através da API Blobstore.

Os seguintes fragmentos do código mostram como o fazer. Este exemplo está num controlador de pedidos que recebe o nome do contentor e o nome do objeto no pedido. Cria o serviço Blobstore e usa-o para criar uma chave de blob para o Google Cloud Storage, usando o contentor e o nome do objeto fornecidos:

BlobstoreService blobstoreService = BlobstoreServiceFactory.getBlobstoreService();
BlobKey blobKey = blobstoreService.createGsBlobKey(
    "/gs/" + fileName.getBucketName() + "/" + fileName.getObjectName());
blobstoreService.serve(blobKey, resp);

Quotas e limites

O espaço usado para valores do Blobstore contribui para a quota de dados armazenados (faturáveis). As entidades de informações de blobs no armazenamento de dados contam para os limites relacionados com o armazenamento de dados. Tenha em atenção que o Google Cloud Storage é um serviço pago. Ser-lhe-á cobrado o valor de acordo com a folha de preços do Cloud Storage.

Para mais informações sobre as quotas de segurança ao nível do sistema, consulte o artigo Quotas.

Além das quotas de segurança ao nível do sistema, os seguintes limites aplicam-se especificamente à utilização do Blobstore:

  • O tamanho máximo dos dados do Blobstore que podem ser lidos pela aplicação com uma chamada API é de 32 megabytes.
  • O número máximo de ficheiros que podem ser carregados num único POST de formulário é 500.