编码与加密(对称加密与非对称加密)

目录

编码与加密

  • 只记录作用和场景使用,不探索原理(哥们数学不好.jpg
  • demo都是golang实现的

Base64编码(可逆)

它的主要作用是将二进制数据转换为文本格式,从而便于在文本传输通道中传递。
因为传输二进制数据时候比如在http中要以可见字符传输,所以需要将二进制数据编码为可见字符。

  • 标准 Base64 里的 64 个可打印字符是 A-Za-z0-9+/

    编码后长度是(n+2)/3*4

  • 如果待编码内容的字节数不是 3 的整数倍,那需要进行一些额外的处理。

    • 如果最后剩下 1 个字节,那么将补 4 个 0 位,编码成 2 个 Base64 字符,然后补两个 =:
    • 如果最后剩下 2 个字节,那么将补 2 个 0 位,编码成 3 个 Base64 字符,然后补一个 =:
  • URL Safe Base64 编码
    在 URL 的应用场景中,因为标准 Base64 索引表中的 / 和 + 会被 URLEncoder 转义成 %XX 形式,但 % 是 SQL 中的通配符,直接用于数据库操作会有问题。此时可以采用 URL Safe 的编码器
    将 + 替换为 -
    将 / 替换为 _

    ans := make([]byte, base64.StdEncoding.EncodedLen(len("abcd")))
    base64.StdEncoding.Encode(ans,[]byte("abcs"))//编码
    fmt.Println(string(ans))
    ans2 := make([]byte, base64.StdEncoding.DecodedLen(len(ans)))
    base64.StdEncoding.Decode(ans2,ans)//解码
    fmt.Println(string(ans2))

十六进制编码(hex.EncodeToString函数)(可逆)

将字节数组转换为十六进制字符串

将其每个字节转换为两个十六进制字符,并将结果组合成一个字符串返回。但是比base64长

对比base64是十六进制编码可以直接参与运算,且方便查看二进制数据

哈希算法(不可逆)

哈希算法(Hash Function) 是一种将任意长度的数据转换为固定长度的输出,该输出基于输入数据,且唯一对应于输入数据。哈希函数是单向函数,它将输入转换为固定长度的输出,而且不可逆。

  • 常见的哈希算法:MD5、SHA-1、SHA-256、SHA-384、SHA-512

MD5(不可逆)

返回定长16字节的128位bit哈希值

数据完整性校验:MD5算法常用于验证数据的完整性。在数据传输过程中,发送方可以计算数据的MD5哈希值并将其发送给接收方。接收方收到数据后,再次计算哈希值并与发送方提供的哈希值进行比较。如果两者匹配,则说明数据在传输过程中没有被篡改。

密码存储:MD5算法也常用于密码存储。将用户密码通过MD5哈希后存储在数据库中,即使数据库被泄露,攻击者也无法直接获取用户的明文密码。然而,由于MD5算法存在已知的安全漏洞(如彩虹表攻击和碰撞攻击),现在已不推荐使用MD5来存储密码。更安全的做法是使用加盐哈希

func Test_MD5(t *testing.T) {
    salt := "123456"//盐值
	s := "hello"//需要哈希的字符串
	h := md5.New()//创建一个md5对象
	h.Write([]byte(s)+[]byte(salt))//写入需要哈希的字符串
	fmt.Println(h.Sum(nil))//Sum把哈希值追加到参数*[]byte中,并返回
}

即使加盐,MD5 仍然可以被破解。加盐只是增加了破解的难度,但并没有解决 MD5 本身的安全缺陷。以下是详细的解释:
加盐的作用和局限性

增加破解难度:加盐主要是为了防止彩虹表攻击(即预计算哈希值的查找表)。通过加入随机盐值,每个输入的哈希结果都会有所不同,即使输入相同也会生成不同的哈希值,这使得预计算哈希表变得无效。

防止简单暴力破解:如果每个输入都带有唯一的盐值,攻击者不能一次破解多个哈希值,他们必须针对每个盐值单独进行暴力破解。

盐值和输入:盐值并不需要保密,通常与哈希值一起存储。然而,盐值的存在不会消除哈希算法的固有弱点。如果哈希算法易于碰撞(如 MD5),攻击者仍然可以利用这些弱点进行攻击。

SHA-256(不可逆)

返回定长32字节的256bit哈希值

SHA-256 是一种哈希算法,属于安全哈希算法(Secure Hash Algorithm)家族的一员,用于将任意长度的输入数据转换为固定长度(256 比特,即 32 字节)的哈希值。SHA-256 具有以下特点:

  • 不可逆性:无法通过哈希值反推出原始数据。

  • 固定输出长度:不论输入数据的长度如何,SHA-256 始终生成长度为 256 位的哈希值。

  • 碰撞抗性:极难找到两个不同的输入数据生成相同的哈希值。

  • 广泛应用:用于数据完整性验证、数字签名、密码学安全等领域。

  • 在实际应用中,SHA-256 通常用于生成数据的唯一标识或验证数据在传输过程中是否被篡改。

    func Test_SHA256(t testing.T) {
    s := "hello"//需要哈希的字符串
    h := sha256.New()//创建一个sha256对象
    h.Write([]byte(s))//写入需要哈希的字符串
    fmt.Println(hex.EncodeToString(h.Sum(nil)))//Sum把哈希值追加到参数
    []byte中,并返回
    }

MAC算法(不可逆)

HMAC 是一种基于哈希函数和密钥的消息认证码。它结合了哈希算法(如 SHA-256、SHA-1、MD5 等)和密钥,用于生成一种认证码,用于验证消息的完整性和真实性。HMAC 的特点包括:

  • 结合性:使用哈希函数和密钥生成认证码。

  • 安全性:提供对消息完整性的强保证,即使哈希函数被公开,只有知道密钥的人才能验证认证码。

  • 灵活性:可以选择不同的哈希算法,但常见选择是 SHA-256。
    HMAC使用SHA-256 + 密钥生成消息认证代码MAX(Message Authentication Code)(不可逆)
    HS256(HMAC with SHA-256)生成的 token 主要用于 验证消息的完整性和真实性 ,但它更常用于生成和验证身份认证的 token,例如 JSON Web Token (JWT)。

    func Test_HMAC(t *testing.T) {
    key := []byte("secret")// 密钥
    a := hmac.New(sha256.New, key)// 创建一个新的hmac对象
    a.Write([]byte("hello"))// 写入需要签名的数据
    b := a.Sum(nil)// 计算签名并返回结果
    fmt.Println(base64.StdEncoding.EncodeToString(b))// 对结果进行Base64编码
    //iKqz7ejTrflNJquQ07r9SiCDBww7zOnAFO4EpEOEfAs=
    }

加密算法(可逆)

加密算法(Encryption Algorithm) 是将明文(plaintext)转换为密文(ciphertext),或者将密文转换为明文的算法。
加密都是把一个block快加密成等长的密文,由于只能一个个块加密,要配合不同的加密模式例如下面的CBC模式和ECB模式,才能达到加密的目的。
对称加密比非对称加密快

对称加密算法(可逆)

  • 是指加密和解密使用相同密钥的加密算法。
  • 加密和解密速度快,安全性高。
  • 对称加密在开发中用的很多,如 AES,DES,3DES,RC。

DES(可逆)

  • 采用的密钥长度为 56 位
  • 加密后长度和输入相同
  • 安全性较低,目前不推荐使用

DES 加密算法的密钥长度应该是 8 个字节(64 位),不过实际上只有 56 位被用于加密计算,而 8 位用于奇偶校验,所以通常是使用 8 个字节的密钥

对于 DES 加密算法而言,数据长度必须是加密块大小的整数倍,即 8 字节。

但是近些年使用越来越少,因为 DES 使用56位密钥(密钥长度越长越安全),以现代计算能力24小时内即可被破解。虽然如此,在某些简单应用中,我们还是可以使用 DES 加密算法。

var key = []byte("12345678") // 56位密钥
//编码一个blocksize长度的块(8位)
func encoded(s []byte) []byte {
	block, _ := des.NewCipher(key) //Cipher是密码的意思
	ans := make([]byte, len(s))
	block.Encrypt(ans, s) //encrypt加密一个block块
	return ans
}
//解码一个blocksize长度的块(8位)
func decoded(s []byte) []byte {
	block, _ := des.NewCipher(key) //Cipher是密码的意思
	ans := make([]byte, len(s))
	block.Decrypt(ans, s) //decrypt解密一个block块
	return ans
}

AES(可逆)

  • 采用的密钥长度为 128 位、192 位或 256 位

  • 加密后长度和输入相同

  • 安全性高,目前推荐使用

    func Test_AES(t *testing.T) {
    key := []byte("1234567890123456") // 16字节密钥
    plaintext := []byte("helloworldaaaaaa")// 16字节明文
    ans:=encoded_aes(key,plaintext)
    fmt.Println(ans)
    fmt.Println(deccode_aes(key,ans))
    }
    // 编码一个blocksize长度的块(16位)
    func encoded_aes(keys,s []byte) []byte {
    block, _ := aes.NewCipher(keys) //Cipher是密码的意思
    ans := make([]byte, len(s))
    block.Encrypt(ans, s) //encrypt加密一个block块
    return ans
    }
    func deccode_aes(keys,s []byte) []byte {
    block, _ := aes.NewCipher(keys) //Cipher是密码的意思
    ans := make([]byte, len(s))
    block.Decrypt(ans, s) //encrypt加密一个block块
    return ans
    }

区别

AES(Advanced Encryption Standard)和DES(Data Encryption Standard)是两种常见的对称加密算法,它们在多个方面有显著的区别:

  • AES:支持多种密钥长度,包括 AES-128、AES-192 和 AES-256,分别对应 128 位、192 位和 256 位密钥长度。这些密钥长度提供了不同级别的安全性,其中 AES-256 提供了最高级别的安全性。
  • DES:固定为 56 位的密钥长度,但实际上只有 56 位被用作加密密钥,其余 8 位用作奇偶校验,因此实际的加密强度是 56 位。由于密钥长度短,DES 的安全性在现代计算环境下已经不足以应对安全威胁。

非对称加密算法(可逆)

  • 是指加密和解密使用不同的密钥的加密算法。
  • 加密速度慢,安全性高。
  • 私钥加密,公钥解密
  • 非对称加密在开发中用的不多,如 RSA、DSA。

RSA(可逆)

  • 加密后数据长度 <= 密钥位数 / 8 - 11
  • 公钥和私钥在本质上是大整数。它们是基于大整数数学运算的加密系统的核心组成部分。在许多公钥加密算法(如 RSA、ECC)中,公钥和私钥都可以表示
    在 RSA 加密系统中:
    • 私钥由两个主要大整数组成:

      • n(模数):这是两个大素数 p 和 q 的乘积。
      • d(私有指数):这是一个与模数 n 相关的整数,用于解密。
    • 公钥由两个主要大整数组成:

      • n(模数):与私钥中的模数相同。
      • e(公有指数):这是一个通常选定的较小的整数,用于加密。
    • 这些整数在 RSA 密钥生成过程中通过数学运算生成并满足特定的数学关系,使得 RSA 加密和解密可以进行。

      func Test_RSA(t *testing.T) {
      // 生成私钥和公钥
      privateKey, _ := rsa.GenerateKey(rand.Reader, 2048)
      publicKey := &privateKey.PublicKey
      // 保存私钥和公钥
      // res1 := pem.EncodeToMemory(&pem.Block{Type: "RSA PRIVATE KEY", Bytes: x509.MarshalPKCS1PrivateKey(privateKey)})
      // res2 := pem.EncodeToMemory(&pem.Block{Type: "PUBLIC KEY", Bytes: x509.MarshalPKCS1PublicKey(publicKey)})
      // ioutil.WriteFile("private.pem", res1, 0600)
      // ioutil.WriteFile("public.pem", res2, 0600)
      //读取私钥和公钥
      data, _ := ioutil.ReadFile("private.pem")
      block, _ := pem.Decode(data)
      privateKey, _ = x509.ParsePKCS1PrivateKey(block.Bytes)
      data, _ = ioutil.ReadFile("public.pem")
      block, _ = pem.Decode(data)
      publicKey, _ = x509.ParsePKCS1PublicKey(block.Bytes)

      // 加密
      src := []byte("hello world")
      encrypted, _ := rsa.EncryptOAEP(sha256.New(), rand.Reader, publicKey, src, nil)
      
      fmt.Println("加密后的数据:",base64.StdEncoding.EncodeToString(encrypted))
      
      // 解密
      decrypted, _ := rsa.DecryptOAEP(sha256.New(), rand.Reader, privateKey, encrypted, nil)
      fmt.Println(string(decrypted))
      

      }

ECC(可逆)

ECC 密钥

在椭圆曲线加密(ECC)中:

  • 私钥 是一个大整数 d,这是在某个范围内的随机数。
  • 公钥 是椭圆曲线上的一个点 Q,它是通过椭圆曲线上的基点 G 乘以私钥 d 得到的,即 Q = d * G。
  • 椭圆曲线加密依赖于椭圆曲线上的点运算,私钥和公钥在数学上有着密切的关系。

PEM格式存储密钥

pem.EncodeToMemory 是 Go 语言标准库中的一个函数,位于 encoding/pem 包内,用于将 PEM 编码的块(pem.Block)编码为字节切片并返回。

什么是 PEM 编码

PEM(Privacy-Enhanced Mail)编码是一种用于表示加密对象(如证书、私钥、公钥等)的标准。PEM 格式的文件通常以 -----BEGIN ----- 和 -----END ----- 包围数据块,并且数据块使用 Base64 编码。
例如:public.pem 文件的内容可能如下所示:

-----BEGIN PUBLIC KEY-----
MIIBCgKCAQEAvHxBCN85ydD+qwZvnIC1jt2X6PCivCgmgF0whfRfZE2CSukKJfWs
BZaPDdV8Zus/LPuH7PJs1rOazwQxyoewSy0hO2h66eAoyfCkGAwi30+lshop/oiK
BrHQW0g3S7Uywcfx+WQpFxP+YtWqXqhSGmb/Y83gYpvVtWUm5zzWleg1Iv1M2ihs
KBR+SxAoLRQmnycEmHlOorw138VR0wnH8Gmh9xNZ/+RV6wIOQVmf1VHu+dJnmf21
wAMdua9nOoibxrVz69IzjixiXi5M1El2jncAMGjRBJsMbwtfWPbABVju6f6PK13y
nYcf1rwlRcchxTeAwVnMCppMStrdhl2fTQIDAQAB
-----END PUBLIC KEY-----

pem.EncodeToMemory 的作用

pem.EncodeToMemory 的主要作用是将一个 pem.Block 对象编码为 PEM 格式的字节切片,方便存储或传输。

示例代码

下面是一个使用 pem.EncodeToMemory 的示例,它生成一个 RSA 私钥,并将其编码为 PEM 格式的字节切片,然后打印出来:

package main

import (
	"crypto/rand"
	"crypto/rsa"
	"crypto/x509"
	"encoding/pem"
	"fmt"
)

func main() {
	// 生成 RSA 私钥
	privateKey, err := rsa.GenerateKey(rand.Reader, 2048)
	if err != nil {
		fmt.Println("Error generating RSA key:", err)
		return
	}

	// 将私钥转换为 PKCS#1 格式的 ASN.1 DER 编码
	privateKeyDER := x509.MarshalPKCS1PrivateKey(privateKey)

	// 创建一个 PEM Block
	privateKeyBlock := &pem.Block{
		Type:  "RSA PRIVATE KEY",
		Bytes: privateKeyDER,
	}

	// 将 PEM Block 编码为字节切片
	privateKeyPEM := pem.EncodeToMemory(privateKeyBlock)

	// 打印 PEM 编码的私钥
	fmt.Println(string(privateKeyPEM))
}

DER格式存储密钥

DER(Distinguished Encoding Rules)格式是一种二进制编码格式,用于存储 ASN.1 编码的结构。

DER 格式的文件通常以 0x30 开始,以 0x00 结束。

加密模式

CBC模式

  • 加密过程:
    对第一个数据块(明文)进行加密时,使用 IV 与明文进行异或运算,然后将结果再与加密算法的密钥进行加密,得到第一个密文块。
    对后续的数据块,将前一个密文块与当前的明文进行异或运算,然后再与密钥进行加密,得到当前的密文块。
    这样一直进行下去,每个密文块都依赖于前一个密文块的加密结果,因此形成了一条"链"。

  • 解密过程:
    解密过程与加密过程相反。首先使用 IV 与第一个密文块进行解密运算(使用解密算法和密钥),然后再与 IV 进行异或运算,得到第一个明文块。
    对后续的密文块,使用当前密文块与前一个密文块进行解密运算,然后再与前一个密文块进行异或运算,得到当前的明文块。
    这样依次进行下去,直至得到所有的明文块。
    AES-CBC demo

    func PKCS7Padding(ciphertext []byte, blockSize int) []byte {
    padding := blockSize - len(ciphertext)%blockSize
    padtext := bytes.Repeat([]byte{byte(padding)}, padding)
    return append(ciphertext, padtext...)
    }
    func PKCS7UnPadding(origData []byte) []byte {
    length := len(origData)
    unpadding := int(origData[length-1])
    fmt.Println("unpadding:", origData[length-1])
    return origData[:(length - unpadding)]
    }
    func Test_DES_CBC(t *testing.T) {
    key := []byte("12345678") // 8位密钥
    plaintext := []byte("hello woqrld for study des cbc") // 8字节明文
    iv := []byte("12345678") // 8字节iv
    block, _ := des.NewCipher(key)
    mode := cipher.NewCBCEncrypter(block, iv) // 创建一个新的CBC加密器
    fmt.Println("补位前明文:", plaintext, len(plaintext))
    plaintext = PKCS7Padding(plaintext, block.BlockSize()) // 填充
    fmt.Println("加密前明文:", plaintext, len(plaintext))
    ciphertext := make([]byte, len(plaintext)) // 16字节密文
    for i := 0; i < len(plaintext); i += des.BlockSize {
    blocks := plaintext[i : i+des.BlockSize] // 取出一个block块
    mode.CryptBlocks(ciphertext[i:], blocks) // 加密一个block块
    }
    fmt.Println("加密后密文:", ciphertext)

      fmt.Println("解密前密文:", ciphertext)
      block1, _ := des.NewCipher(key)
      mode1 := cipher.NewCBCDecrypter(block1, iv) // 创建一个新的CBC解密器
      plaintext1 := make([]byte, len(ciphertext))
      for i := 0; i < len(ciphertext); i += des.BlockSize {
      	block2 := ciphertext[i : i+des.BlockSize] // 取出一个block块
      	mode1.CryptBlocks(plaintext1[i:], block2) // 解密一个block块
      }
      fmt.Println("解密后明文:", plaintext1)
      plaintext1 = PKCS7UnPadding(plaintext1) // 去除填充
      fmt.Println("去除填充后明文:", string(plaintext1))
    

    }

ECB模式

  • 加密过程:
    对每个数据块(明文)进行加密时,使用加密算法的密钥进行加密,得到当前的密文块。

  • 解密过程:
    对每个数据块(密文)进行解密时,使用加密算法的密钥进行解密,得到当前的明文块。

    ECB模式 demo

    func PKCS7Padding(ciphertext []byte, blockSize int) []byte {
    padding := blockSize - len(ciphertext)%blockSize
    padtext := bytes.Repeat([]byte{byte(padding)}, padding)
    return append(ciphertext, padtext...)
    }
    func PKCS7UnPadding(origData []byte) []byte {
    length := len(origData)
    unpadding := int(origData[length-1])
    fmt.Println("unpadding:", origData[length-1])
    return origData[:(length - unpadding)]
    }
    func encrypt_DES_ECB(plaintext, key []byte) ([]byte, error) {
    block, err := des.NewCipher(key)
    if err != nil {
    return nil, err
    }
    //对明文进行填充
    plaintext = PKCS7Padding(plaintext, block.BlockSize())
    ciphertext := make([]byte, len(plaintext))
    //就是逐块EDS加密后拼接
    for bs, be := 0, block.BlockSize(); bs < len(plaintext); bs, be = bs+block.BlockSize(), be+block.BlockSize() {
    block.Encrypt(ciphertext[bs:be], plaintext[bs:be])
    }
    return ciphertext, nil
    }
    func decrypt_DES_ECB(ciphertext, key []byte) ([]byte, error) {
    block, _ := des.NewCipher(key)

      lens := len(ciphertext)
      ans := make([]byte, lens)
      //就是逐块EDS解密后拼接
      for bs, be := 0, block.BlockSize(); bs < len(ciphertext); bs, be = bs+block.BlockSize(), be+block.BlockSize() {
      	block.Decrypt(ans[bs:be], ciphertext[bs:be])
      }
      //对密文进行去填充
      ans = PKCS7UnPadding(ans)
      return ans, nil
    

    }
    func Test_DES_ECB(t *testing.T) {
    // 加密
    key := []byte("12345678")
    src := []byte("hello world")
    ans, _ := encrypt_DES_ECB(src, key)
    fmt.Println(ans)
    // 解密
    ans1, _ := decrypt_DES_ECB(ans, key)
    fmt.Println(string(ans1))
    }

相关推荐
Yaml48 天前
Spring Boot 安全 API 构建:加密解密功能的卓越实践
服务器·网络·spring boot·安全·aes·rsa
阿华的代码王国9 天前
【网络原理】——图解HTTPS如何加密(通俗简单易懂)
网络协议·http·https·非对称加密·对称加密·htttps加密传输·证书加密
GGBondlctrl14 天前
【JavaEE初阶】网络原理-深入理解网络通信中协议的概念
md5·crc·应用层协议·传输层协议·1024程序员节·udp协议
软件算法开发18 天前
基于AES的遥感图像加密算法matlab仿真
matlab·加密·aes·遥感图像
QGC二次开发21 天前
Qt:图片文字转base64程序
开发语言·c++·qt·数据可视化·base64·编码
A_ugust__25 天前
vue3.2实现AES加密解密,秘钥通过API获取,并混淆秘钥,后端thinkphp
vue·aes·thinkphp
Heaven6451 个月前
1.7 编码与调制
计算机网络·编码·调制
许野平1 个月前
Rust: AES 加密算法库
开发语言·后端·rust·aes
常敲代码手不生2 个月前
开放API接口时要注意的安全处理总结
java·安全·非对称加密·md5·令牌
FlowingRiver2 个月前
MQTT broker搭建并用SSL加密
md5