Java学习笔记-XXH3哈希算法

XXH3是由Yann Collet设计的非加密哈希算法,属于XXHash系列的最新变种,专注于极速性能与低碰撞率,适用于对计算效率要求极高的场景。
极速性能
  • 在RAM速度限制下运行,小数据(如 1-128 字节)处理可达纳秒级,吞吐率高达 0.24--0.71 GB/s。
  • 大数据(如 100KB)处理可在微秒级完成,性能远超传统哈希算法(如 MD5、SHA-1)。
确定性输出
  • 所有平台(little/big endian)对相同输入生成一致的哈希值,确保跨环境兼容性。
多平台优化
  • 支持 SSE2、AVX2 等指令集加速,适配不同硬件架构以最大化性能。
使用
  • Python可以提供第三方库的支持,相关的使用也比较简单,只需要安装第三方库即可。

    • pip install xxhash
    • 简单的几个使用示例如下:
    python 复制代码
    from xxhash import xxh3_64_intdigest
    from xxhash import xxh3_128_intdigest
    from xxhash import xxh3_128_hexdigest
    	
    MAX_INT64 = sys.maxsize  # (1 << 63) - 1
    
    def xxh3_64_digest_int(*args: str) -> int:
        return xxh3_64_intdigest("".join(args))
    
    def xxh3_128_digest_int(*args: str) -> int:
        return xxh3_128_intdigest("".join(args))
    
    def xxh3_128_digest_hex(*args: str) -> int:
        return xxh3_128_hexdigest("".join(args))
  • Java同样提供了第三方库的支持,只需要引入相关的依赖包。

    • 引入依赖。开源提供的依赖还是挺多的,比如zero-allocation-hashing、hash4j等。需要注意的是hash4j依赖包后续的版本需要JDK11+。
    java 复制代码
    <!-- ZeroAllocationHashing依赖包 -->
    <dependency>
        <groupId>net.openhft</groupId>
        <artifactId>zero-allocation-hashing</artifactId>
        <version>0.16</version>
    </dependency>
    
    <dependency>
        <groupId>com.dynatrace.hash4j</groupId>
        <artifactId>hash4j</artifactId>
        <version>0.20.0</version>
    </dependency>
    • zero-allocation-hashing依赖包的几个简单使用示例如下:
    java 复制代码
    import lombok.extern.slf4j.Slf4j;
    import net.openhft.hashing.LongHashFunction;
    import net.openhft.hashing.LongTupleHashFunction;
    
    import java.math.BigInteger;
    
    /**
     *
     * @description Digest Utils
     * @author 
     */
    @Slf4j
    public class DigestUtils {
    
        /**
         * xx3 hash 64 bits
         * @param source
         * @return
         */
        public static long xx3Hash64Bits(String source) {
            return LongHashFunction.xx3().hashBytes(source.getBytes());
        }
    
        /**
         * xx3 hash 128 bits
         * @param source
         * @return
         */
        public static BigInteger xx3Hash128Bits(String source) {
            long[] hashes = LongTupleHashFunction.xx128().hashBytes(source.getBytes());
            /**
            // 处理为无符号
            BigInteger unsignedHigh = new BigInteger(1, toBytes(hashes[1]));
            BigInteger unsignedLow = new BigInteger(1, toBytes(hashes[0]));
            **/
            return new BigInteger(1, toBytes(hashes[1])).shiftLeft(64).add(new BigInteger(1, toBytes(hashes[0])));
        }
    
        /**
         * xx3 hash 128 bits digest
         * @param source
         * @return
         */
        public static String xx3Hash128BitsDigest(String source) {
            return xx3Hash128Bits(source).toString(16);
        }
    
        private static byte[] toBytes(long value) {
            byte[] bytes = new byte[8];
            for (int i = 7; i >= 0; i--) {
                bytes[i] = (byte) (value & 0xFF); // 取低8位
                value >>>= 8; // 无符号右移,高位补0
            }
            return bytes;
        }
    
    }
相关推荐
天河归来13 分钟前
springboot框架redis开启管道批量写入数据
java·spring boot·redis
张先shen22 分钟前
Elasticsearch RESTful API入门:全文搜索实战
java·大数据·elasticsearch·搜索引擎·全文检索·restful
codervibe23 分钟前
如何用 Spring Security 构建无状态权限控制系统(含角色菜单控制)
java·后端
Deng94520131425 分钟前
基于Python的旅游数据可视化应用
python·numpy·pandas·旅游·数据可视化技术
codervibe26 分钟前
项目中如何用策略模式实现多角色登录解耦?(附实战代码)
java·后端
2401_8786247928 分钟前
pytorch 自动微分
人工智能·pytorch·python·机器学习
TCChzp28 分钟前
synchronized全链路解析:从字节码到JVM内核的锁实现与升级策略
java·jvm
大葱白菜29 分钟前
🧩 Java 枚举详解:从基础到实战,掌握类型安全与优雅设计
java·程序员
胖达不服输31 分钟前
「日拱一码」021 机器学习——特征工程
人工智能·python·机器学习·特征工程
笑衬人心。31 分钟前
在 Mac 上安装 Java 和 IntelliJ IDEA(完整笔记)
java·macos·intellij-idea