databook

wang_yb1 天前
数据分析·databook
时间序列数据,先拆规律还是先查异常一串按天变化的数字里,趋势、周内规律、假期等等这些起伏本来就该有。拿整条序列的均值和标准差去查异常,它们全会被算成「离均值远」,跟设备坏掉那天的 0 混在同一个口径里。
wang_yb3 天前
数据分析·databook
收上来一堆 Excel,怎么保证没改错收上来一堆报名表,合并、改格式、查重复、按学院拆回去,这些活手工做慢是一回事,更麻烦的是不可复现——同一堆文件,两个人合出来不一样,同一个人在不同时间合出来也不一样,而且谁都没留下上次改了什么的记录,出了错也倒不回去查。
wang_yb6 天前
数据分析·databook
新数据到手,先跑哪几步检查一批新数据到手,检查都会做,难在每次做得一样:想到哪几项就查哪几项,换批数据、隔段时间,顺序和阈值都变了,跑完也没留下一张能照着重来的单子。
wang_yb11 天前
数据分析·databook
经常听到的透视表是干什么的?先说结论:透视表不是一种新的计算方法,它是一个把明细数据按你的要求重新排列的工具。拿一张两万行的订单明细举例。
wang_yb14 天前
数据分析·databook
Pandas 与 Polars:语法、性能和资源占用方面的对比pandas 在 Python 里做数据处理差不多是"事实标准"了,十多年积累下来的生态和社区,几乎你搜到的教程、现成代码都是它。
wang_yb18 天前
数据分析·databook
用Python DSL 写轻量数据质检工具平时做经营分析或者跑日报,第一步往往不是画图,而是先面对一份"不太干净"的导出的明细表:重复的单号、位数对不上的手机号、莫名其妙的负数金额、格式乱掉的日期……
wang_yb22 天前
数据分析·databook
时间序列数据中,如何找出缺失值前段时间有位读者朋友问我一个关于如何处理时间序列数据中的缺失值问题,但是只在评论中简单回复了一下。后来我想想,时间序列数据是一种非常常见的数据集,处理缺失值的问题可以单独聊一聊,于是,就整理了这篇文章。
wang_yb25 天前
ai·databook
让 LLM 输出不再失控:用 Pydantic 校验大模型输出你在 prompt 里写了 "请返回 JSON",模型返回的大概率不是一段干净的 JSON,而是一段话:开头一句"好的,这是抽取结果",中间一个 ```json 围栏,结尾还跟一句"希望对你有帮助"。
wang_yb1 个月前
数据分析·databook
使用命令行做描述性统计的技巧拿到一份新数据,想先摸清楚:"大概是什么水平","波动大不大","有没有离谱的异常值"等。很多人的第一反应是打开 Python,import pandas,read_csv,然后 describe()。
wang_yb1 个月前
ai·数据分析·databook
MinMax vs Standard vs Robust:三种特征缩放怎么选做特征工程时很多人有一套固定动作:StandardScaler 然后 fit_transform。(也就是先标准化数据,在训练模型)
wang_yb1 个月前
ai·databook
用 Pydantic AI 从零搭建一个能干活的 AI Agent很多人第一次写 AI Agent,写完都有点失望。代码确实能跑,模型也确实在说话,但往下走两步就露馅了:
wang_yb1 个月前
数据分析·databook
从循环到向量化:NumPy提速的7个关键思维用 NumPy 写代码的人很多,但很多人写出来的代码还是慢。原因通常只有一个:虽然用了 NumPy 的数组,但逻辑上还是在一行一行地 for 循环。
wang_yb1 个月前
databook·manim
ManimCE v0.22.0 发布:输出配置大一统与渲染流程重构Manim Community Edition 在 2026 年 10 月 8 日发布了 v0.22.0。
wang_yb1 个月前
ai·databook
Scikit-Learn实战:5步搞定PCA降维做机器学习的时候,你大概率会遇到这样一个场景:手头的数据集特征太多,几十甚至上百个维度,训练模型慢得要命,还容易过拟合。
wang_yb1 个月前
数据分析·databook
什么是范数?用 NumPy 动手算一遍就明白了做数据科学和机器学习,范数(Norm)这个东西你迟早会碰到。损失函数正则化、向量相似度计算、矩阵分解——这些场景背后都有范数的影子。
wang_yb1 个月前
数据分析·databook
从手动检查到自动监控:一个数据质量工作流的实现做数据工程的人大概都有过这样的经历:每天到工位第一件事,打开终端敲几条 SQL,看看关键表的行数是不是正常、最新数据更新到几点了、字段空值有没有突然飙高。
wang_yb1 个月前
数据分析·databook
面向数据工程师的正则表达式:从日志清洗到字段提取数据工程师每天打交道的东西,很大一部分是文本:这些文本往往不是完全结构化的,或者格式五花八门,用传统的 split、replace 处理起来很累,写一堆条件判断也不一定覆盖全。
wang_yb1 个月前
数据分析·databook
时间序列分解:从噪声中提取有效信号时间序列数据里,趋势、周期和随机波动经常是混在一起的。直接看原始曲线,很容易被短期波动带偏,比如把一次促销当成长期增长,或者把季节性回落当成业务衰退。
wang_yb1 个月前
数据分析·databook
使用 SciPy 库进行时间序列分析时间序列分析听起来有点学术,但其实干起来挺直接的。你有一串按时间排列的数据,想知道里面有没有趋势、有没有周期性、噪声有多大,或者两个序列之间有没有延迟关系。
wang_yb2 个月前
数据分析·databook
如何比较你不同学科成绩的好坏?如果你看到语文78分、数学83分,第一反应可能是数学考得更好。但不同学科的试卷难度、平均分、分数分散程度都不一样,原始分放在一起直接比,很多时候并不靠谱。