技术栈
精度
alwaysrun
20 天前
rust
·
display
·
格式化
·
string
·
str
·
精度
Rust中字符串与格式化
Rust 提供了多种字符串类型和强大的格式化工具。Rust 中主要有两种字符串类型:&str(字符串切片)和String(动态字符串),二者均基于UTF-8 编码。
伊织code
3 个月前
pytorch
·
微分
·
精度
PyTorch - Developer Notes
https://pytorch.org/docs/stable/notes/amp_examples.html
背太阳的牧羊人
5 个月前
float
·
double
·
decimal
·
精度
float、double 这类 浮点数 相比,DECIMAL 是另一种完全不同的数值类型
和 float、double 这类**“浮点数”**相比,DECIMAL 是另一种完全不同的数值类型,叫做:
zaim1
1 年前
python
·
error
·
误差
·
decimal
·
精度
·
getcontext
Python 的 Decimal的错误计算
摘要 阐述在使用 Python的 Decimal类时,可能产生的错误计算。在 详述 BigDecimal 的错误计算 中,笔者较为详细地说明了 Java的 BigDecimal可能出错的原因。类似地,Python的 decimal模块中有个 Decimal类,也可用于高精度的十进制运算,并且能够避免由于浮点数表示不精确带来的精度问题。但是,相仿地,由于有一些参数要设置,所以亦会出现参数不同结果不一致现象。
zxguan
1 年前
数据库
·
mysql
·
精度
MySQL 学习 之 数值计算精度问题
不同的数据库,在使用 SQL 进行计算时,得到的结果值的精度规则不同同一个数据库,在使用 SQL 进行计算时,得到的结果值的精度规则相同
我是有底线的