Codificar e decodificar linhas

No Cloud Data Fusion Studio, o espaço de trabalho do Wrangler permite codificar e decodificar valores nas linhas do conjunto de dados. A conversão entre formatos ajuda a processar payloads binários com segurança, formatar parâmetros de URL e preparar registros para processamento downstream.

Codificar uma linha

É possível usar a codificação de base de dados para armazenar ou transferir dados em ambientes que, por motivos legados, são restritos a dados US-ASCII. É possível usá-lo em novos aplicativos sem essas restrições legadas, porque ele permite a manipulação de objetos com editores de texto.

É possível aplicar os seguintes esquemas de codificação, que são baseados em RFC-4648, a todos os valores em uma coluna:

  • Base32
  • Base64
  • Hexadecimal
  • URL

Quando você codifica, o Wrangler gera uma nova coluna com um nome no seguinte formato: <column>_encode_<type> except for url-encode.

O Cloud Data Fusion usa as seguintes regras para os valores de coluna:

  • Se a coluna for null, a coluna resultante também será null.
  • Se a coluna escolhida não for encontrada na linha, ela será ignorada.
  • Se o valor da coluna não tiver um tipo de dados de string ou byte, a transformação falhará e um erro será exibido.

Opções de codificação compatíveis

O Wrangler é compatível com as seguintes opções de codificação:

Codificar em base64
A opção Base64 adiciona a diretiva encode64 como uma etapa de transformação à receita e cria uma nova coluna com valores codificados.
Codificar base32
A opção Base32 adiciona a diretiva encode32 como uma etapa de transformação à receita e cria uma nova coluna com valores codificados.
Codificar hexadecimal
A opção Hex adiciona a diretiva encode_hex como uma etapa de transformação à receita e cria uma nova coluna com valores codificados.
Codificar URL
A opção URL adiciona a diretiva url-encode como uma etapa de transformação à receita e codifica a coluna atual.

Decodificar uma linha

É possível usar a decodificação de dados de base para armazenar ou transferir dados em ambientes que, por motivos legados, são restritos a dados US-ASCII. É possível usá-lo em novos aplicativos sem essas restrições legadas, porque ele permite a manipulação de objetos com editores de texto.

É possível aplicar os seguintes esquemas de decodificação, que são baseados na RFC-4648, a cada valor em uma coluna:

  • Base32
  • Base64
  • Hexadecimal
  • URL

Quando você decodifica, o Wrangler gera uma nova coluna com um nome no seguinte formato: <column>_encode_<type>, exceto para url-decode.

O Cloud Data Fusion usa as seguintes regras para os valores de coluna:

  • Se a coluna for null, a coluna resultante também será null.
  • Se a coluna escolhida não for encontrada na linha, ela será ignorada.
  • Se o valor da coluna não contiver os tipos de dados de string ou matriz de bytes, a operação falhará.

Opções de decodificação compatíveis

O Wrangler é compatível com as seguintes opções de codificação:

Decodificar base64
A opção base64 adiciona a diretiva decode64 como uma etapa de transformação à receita e cria uma nova coluna com os valores decodificados.
Decodificar base32
A opção base32 adiciona a diretiva decode32 como uma etapa de transformação à receita e cria uma nova coluna com os valores decodificados.
Decodificar hexadecimal
A opção Hex adiciona a diretiva decode hex como uma etapa de transformação à receita e cria uma nova coluna com os valores decodificados.
Decodificar URL
A opção URL adiciona a diretiva url-decode como uma etapa de transformação à receita e decodifica a coluna atual.

A seguir