bug之浮点数精度求和计算

  • bug描述:电商项目多件商品进行结算时,总金额出现微小偏差;如0.1+0.2=0.3吗?还有可能展示成0.30000000000000004;
  • bug原因:由于计算过程中使用浮点数运算,计算机只识别二进制,所以先把0.1和0.2转换成二进制;0.1 => 0.0001 1001 1001 1001...(无限循环),0.2 => 0.0011 0011 0011 0011...(无限循环) ,对于无限循环小数,计算机进行舍入处理,进行双精度浮点数的小数部分最多支持 52 位,所以两者相加之后得到这么一串 0.0100 1100 1100 1100 1100 1100 1100 1100 1100 1100 1100 1100 1100 ,因浮点数小数位的限制而截断的二进制数字,这时候,我们再把它转换为十进制,就成了 0.30000000000000004;
  • 解决方案
  1. python中的decimal模块
  2. 将浮点数转换成整数,返回整数和倍数,计算后再缩小为小数;
相关推荐
冰水不凉6 小时前
CodeX 在 Ubuntu 下 vscode 插件的 bug 问题
vscode·ubuntu·bug
flower_drop15 小时前
基于 WebUSB 与 CDP:在浏览器端实现 Android 设备通信与无证书抓包实践
android·chrome·测试工具·adb·bug·edge浏览器
lytao1231 天前
90% 覆盖率不等于没 Bug:用风险配置测试组合
前端·javascript·bug·软件工程
Joker-Full-stack1 天前
higress Grafana生产事故复盘:Loki 2.9 WAL 竞态 Bug 导致 5 天审计日志消失
bug·grafana·higress
我星期八休息4 天前
软件测试—从认识到BUG
考研·安全·bug
hulihutu445 天前
拒绝延期、bug、货不对板:2026 管理系统定制开发落地保障手册
github·bug·鸿蒙系统·数据库管理员
Rain5095 天前
谁动了我的 URL?——记一次微前端“灵异 Bug“的排查实录
前端·vue.js·人工智能·前端框架·bug·ai编程
百变梦仔5 天前
Codex 处理接口异常类 bug 时,我会让调试 Skill 先接住错误信息
bug
深念Y7 天前
fnOS-k3s-ResolvConf权限700-Bug分析
内核·bug·nas·k3s·fnos·魔改内核