Java学习笔记-XXH3哈希算法

XXH3是由Yann Collet设计的非加密哈希算法,属于XXHash系列的最新变种,专注于极速性能与低碰撞率,适用于对计算效率要求极高的场景。
极速性能
  • 在RAM速度限制下运行,小数据(如 1-128 字节)处理可达纳秒级,吞吐率高达 0.24--0.71 GB/s。
  • 大数据(如 100KB)处理可在微秒级完成,性能远超传统哈希算法(如 MD5、SHA-1)。
确定性输出
  • 所有平台(little/big endian)对相同输入生成一致的哈希值,确保跨环境兼容性。
多平台优化
  • 支持 SSE2、AVX2 等指令集加速,适配不同硬件架构以最大化性能。
使用
  • Python可以提供第三方库的支持,相关的使用也比较简单,只需要安装第三方库即可。

    • pip install xxhash
    • 简单的几个使用示例如下:
    python 复制代码
    from xxhash import xxh3_64_intdigest
    from xxhash import xxh3_128_intdigest
    from xxhash import xxh3_128_hexdigest
    	
    MAX_INT64 = sys.maxsize  # (1 << 63) - 1
    
    def xxh3_64_digest_int(*args: str) -> int:
        return xxh3_64_intdigest("".join(args))
    
    def xxh3_128_digest_int(*args: str) -> int:
        return xxh3_128_intdigest("".join(args))
    
    def xxh3_128_digest_hex(*args: str) -> int:
        return xxh3_128_hexdigest("".join(args))
  • Java同样提供了第三方库的支持,只需要引入相关的依赖包。

    • 引入依赖。开源提供的依赖还是挺多的,比如zero-allocation-hashing、hash4j等。需要注意的是hash4j依赖包后续的版本需要JDK11+。
    java 复制代码
    <!-- ZeroAllocationHashing依赖包 -->
    <dependency>
        <groupId>net.openhft</groupId>
        <artifactId>zero-allocation-hashing</artifactId>
        <version>0.16</version>
    </dependency>
    
    <dependency>
        <groupId>com.dynatrace.hash4j</groupId>
        <artifactId>hash4j</artifactId>
        <version>0.20.0</version>
    </dependency>
    • zero-allocation-hashing依赖包的几个简单使用示例如下:
    java 复制代码
    import lombok.extern.slf4j.Slf4j;
    import net.openhft.hashing.LongHashFunction;
    import net.openhft.hashing.LongTupleHashFunction;
    
    import java.math.BigInteger;
    
    /**
     *
     * @description Digest Utils
     * @author 
     */
    @Slf4j
    public class DigestUtils {
    
        /**
         * xx3 hash 64 bits
         * @param source
         * @return
         */
        public static long xx3Hash64Bits(String source) {
            return LongHashFunction.xx3().hashBytes(source.getBytes());
        }
    
        /**
         * xx3 hash 128 bits
         * @param source
         * @return
         */
        public static BigInteger xx3Hash128Bits(String source) {
            long[] hashes = LongTupleHashFunction.xx128().hashBytes(source.getBytes());
            /**
            // 处理为无符号
            BigInteger unsignedHigh = new BigInteger(1, toBytes(hashes[1]));
            BigInteger unsignedLow = new BigInteger(1, toBytes(hashes[0]));
            **/
            return new BigInteger(1, toBytes(hashes[1])).shiftLeft(64).add(new BigInteger(1, toBytes(hashes[0])));
        }
    
        /**
         * xx3 hash 128 bits digest
         * @param source
         * @return
         */
        public static String xx3Hash128BitsDigest(String source) {
            return xx3Hash128Bits(source).toString(16);
        }
    
        private static byte[] toBytes(long value) {
            byte[] bytes = new byte[8];
            for (int i = 7; i >= 0; i--) {
                bytes[i] = (byte) (value & 0xFF); // 取低8位
                value >>>= 8; // 无符号右移,高位补0
            }
            return bytes;
        }
    
    }
相关推荐
CryptoRzz26 分钟前
欧美(美股、加拿大股票、墨西哥股票)股票数据接口文档
java·服务器·开发语言·数据库·区块链
久未29 分钟前
Pytorch autoload机制自动加载树外扩展(Autoload Device Extension)
人工智能·pytorch·python
java1234_小锋44 分钟前
TensorFlow2 Python深度学习 - TensorFlow2框架入门 - 使用Keras.Model来定义模型
python·深度学习·tensorflow·tensorflow2
杂货铺的小掌柜1 小时前
apache poi excel 字体数量限制
java·excel·poi
Learn Beyond Limits1 小时前
TensorFlow Implementation of Content-Based Filtering|基于内容过滤的TensorFlow实现
人工智能·python·深度学习·机器学习·ai·tensorflow·吴恩达
java1234_小锋1 小时前
TensorFlow2 Python深度学习 - 函数式API(Functional API)
python·深度学习·tensorflow·tensorflow2
Y200309161 小时前
使用 PyTorch 实现 MNIST 手写数字识别
python
大厂码农老A1 小时前
你打的日志,正在拖垮你的系统:从P4小白到P7专家都是怎么打日志的?
java·前端·后端
马尚来1 小时前
移动端自动化测试Appium,从入门到项目实战Python版
python
天才测试猿1 小时前
WebUI自动化测试:POM设计模式全解析
自动化测试·软件测试·python·selenium·测试工具·设计模式·测试用例