精度

Keven_113 天前
算法·acm·精度
算法札记:ACM中将高精度算法融于题目的模板题号:AcWIng1069 凸多边形的划分(不重要)代码:优点:高精度处理类似工程学的“模板”,适应各种环境
嵌入式老牛14 天前
精度·计量
三相电气量采集模块设计(四) 提高精度的硬件设计注意事项要想保证电参量的测量精度,采样算法的优化固然重要,但更依赖硬件电路的线性度与抑制干扰的能力。软件算法仅能起到误差补偿与修正的辅助作用,倘若硬件前端本身存在噪声偏大、基准漂移、信号波形失真等固有缺陷,仅依靠软件处理很难从根本上保证测量精度。基于此,本节重点阐述电参量测量精度保障过程中的各项硬件设计注意要点。
嵌入式老牛22 天前
算法·精度·计量
三相电气量采集模块设计(三)非同步采样时的精度提升周期电气信号的有效值测量、谐波分析理论上均建立在同步采样基础之上。同步采样要求采样窗口等于被测信号整数个周期,以此消除频谱泄漏。然而要实现高精度的同步采样是存在困难的,首先频率的精确测量是需要复杂的数值运算的,其次MCU晶振的频率本身也存在固有的误。当采样与信号无法保持同步时,会产生信号周期截断效应,进而引发频谱泄漏,最终导致有效值、功率等电气参数的测量误差。
alwaysrun10 个月前
rust·display·格式化·string·str·精度
Rust中字符串与格式化Rust 提供了多种字符串类型和强大的格式化工具。Rust 中主要有两种字符串类型:&str(字符串切片)和String(动态字符串),二者均基于UTF-8 编码。
伊织code1 年前
pytorch·微分·精度
PyTorch - Developer Noteshttps://pytorch.org/docs/stable/notes/amp_examples.html
背太阳的牧羊人1 年前
float·double·decimal·精度
float、double 这类 浮点数 相比,DECIMAL 是另一种完全不同的数值类型和 float、double 这类**“浮点数”**相比,DECIMAL 是另一种完全不同的数值类型,叫做:
zaim12 年前
python·error·误差·decimal·精度·getcontext
Python 的 Decimal的错误计算摘要 阐述在使用 Python的 Decimal类时,可能产生的错误计算。在 详述 BigDecimal 的错误计算 中,笔者较为详细地说明了 Java的 BigDecimal可能出错的原因。类似地,Python的 decimal模块中有个 Decimal类,也可用于高精度的十进制运算,并且能够避免由于浮点数表示不精确带来的精度问题。但是,相仿地,由于有一些参数要设置,所以亦会出现参数不同结果不一致现象。
zxguan2 年前
数据库·mysql·精度
MySQL 学习 之 数值计算精度问题不同的数据库,在使用 SQL 进行计算时,得到的结果值的精度规则不同同一个数据库,在使用 SQL 进行计算时,得到的结果值的精度规则相同
我是有底线的