Hive加密,PostgreSQL解密还原

当前公司数据平台使用的处理架构,由Hive进行大数据处理,然后将应用数据同步到PostgreSQL中做各类外围应用。由于部分数据涉及敏感信息,必须在Hive进行加密,然后在PG使用时再进行单个数据解密,并监控应用的数据调用事情。因此需要实现Hive加密到PostgreSQL解密还原的过程。在不编写UDF的情况下,有以下方法。

HIVE加密

sql 复制代码
select 
base64(aes_encrypt(敏感用户名, 'Asxdc67890gt5rf3')) 加密后用户名
from table_name

关键点解析

密码长度必须是128、192、256个字节

没有各种参数来控制加密过程

PG解密

sql 复制代码
select 

convert_from(decrypt(decode(加密后用户名,'base64'),'Asxdc67890gt5rf3','aes-ecb/pad:pkcs'),'utf8') 解密用户名

from table_name

关键参数解析

algorithm是下列之一:

bf --- Blowfish

aes --- AES (Rijndael-128, -192 或 -256)

mode是下列之一:

cbc --- 下一个块依赖前一个(默认)

ecb --- 每一个块被独立加密(只用于测试)

padding是下列之一:

pkcs --- 数据可以是任意长度(默认)

none --- 数据必须是密码块尺寸的倍数

参考资料:

Hive函数aes_encrypt、 aes_decrypt详细说明页面

[HIVE-11593] Add aes_encrypt and aes_decrypt UDFs - ASF JIRA

PostgreSQL加解密模块pgcrypto详细说明页面

http://postgres.cn/docs/14/pgcrypto.html

相关推荐
Bob999831 分钟前
Amlogic S905L3系列盒子 ROM DIY相关
java·javascript·数据仓库·vscode·eclipse·tomcat·vim
weixin_307779132 小时前
AWS Glue ETL设计与调度最佳实践
开发语言·数据仓库·云计算·etl·aws
IT成长日记4 小时前
【Hive入门】Hive分区与分区表完全指南:从原理到企业级实践
数据仓库·hive·hadoop·hive分区·hive分区表
晴天彩虹雨6 小时前
Flink 消费 Kafka 数据流的最佳实践
数据仓库·flink·kafka·linq
柳如烟@9 小时前
Hadoop伪分布式模式搭建全攻略:从环境配置到实战测试
大数据·hadoop·分布式·mysql
Leo.yuan16 小时前
数据仓库建设全解析!
大数据·数据库·数据仓库·数据分析·spark
Aimyon_3616 小时前
Apache Sqoop数据采集问题
hadoop·apache·sqoop
2501_906314321 天前
优化无头浏览器流量:使用Puppeteer进行高效数据抓取的成本降低策略
开发语言·数据结构·数据仓库
youka1501 天前
大数据学习栈记——Hive4.0.1安装
大数据·hive·学习
IT成长日记2 天前
【Hive入门】Hive基础操作与SQL语法:DDL操作全面指南
hive·hadoop·sql·ddl操作