技术栈
精度
zaim1
1 个月前
python
·
error
·
误差
·
decimal
·
精度
·
getcontext
Python 的 Decimal的错误计算
摘要 阐述在使用 Python的 Decimal类时，可能产生的错误计算。在 详述 BigDecimal 的错误计算 中，笔者较为详细地说明了 Java的 BigDecimal可能出错的原因。类似地，Python的 decimal模块中有个 Decimal类，也可用于高精度的十进制运算，并且能够避免由于浮点数表示不精确带来的精度问题。但是，相仿地，由于有一些参数要设置，所以亦会出现参数不同结果不一致现象。
zxguan
2 个月前
数据库
·
mysql
·
精度
MySQL 学习 之 数值计算精度问题
不同的数据库，在使用 SQL 进行计算时，得到的结果值的精度规则不同同一个数据库，在使用 SQL 进行计算时，得到的结果值的精度规则相同