databook

面向数据工程师的正则表达式：从日志清洗到字段提取数据工程师每天打交道的东西，很大一部分是文本：这些文本往往不是完全结构化的，或者格式五花八门，用传统的 split、replace 处理起来很累，写一堆条件判断也不一定覆盖全。

时间序列分解：从噪声中提取有效信号时间序列数据里，趋势、周期和随机波动经常是混在一起的。直接看原始曲线，很容易被短期波动带偏，比如把一次促销当成长期增长，或者把季节性回落当成业务衰退。

使用 SciPy 库进行时间序列分析时间序列分析听起来有点学术，但其实干起来挺直接的。你有一串按时间排列的数据，想知道里面有没有趋势、有没有周期性、噪声有多大，或者两个序列之间有没有延迟关系。

如何比较你不同学科成绩的好坏？如果你看到语文78分、数学83分，第一反应可能是数学考得更好。但不同学科的试卷难度、平均分、分数分散程度都不一样，原始分放在一起直接比，很多时候并不靠谱。

用Pandas+Pydantic搭建数据清洗与验证管道数据清洗是每个和数据打交道的人都绕不开的日常。无论是做分析、跑模型，还是给业务方出报表，拿到的原始数据往往都带着重复记录、缺失值、格式错误，甚至一些明显违背常识的条目。

手把手带你走一遍：机器学习模型如何用FastAPI和Docker部署你大概用过不少健康管理类的App——输入年龄、性别、BMI、血压，再填几项血液指标，它就能给出一个风险评分或健康提示。

检测数据异常值的五种统计技术处理数据的时候，最让人头大的往往不是复杂的模型调参，而是那些藏在角落里的异常值。你是不是也遇到过这种糟心事：明明业务逻辑看着没毛病，一跑统计指标就飘红；或者模型效果突然断崖式下跌，排查半天发现是几个极端值在捣乱。

在 DuckDB 中执行假设检验你有没有想过，用 SQL 就能做假设检验？今天我们就来聊聊，如何用 DuckDB 快速完成数据分析中的两个经典任务：

使用 DuckDB 计算描述性统计量大家好！在本文中，我们将一起探索如何使用 DuckDB 对 CSV 数据进行常见的描述性统计计算。无需导入库、无需创建表格，直接使用 SQL 语句就能快速对数据集进行初步分析。

使用 DuckDB 分析 CSV 文件CSV 这种格式太常见了。银行导出的流水、购物平台导出的订单、自己记的账、各种后台导出的报表，基本都是 CSV。

泊松分布：从基础到实际应用做技术的应该都遇到过这种场景：服务器每分钟收到多少请求？接口一天报错几次？网站一小时来多少访客？这些问题的共同点是：在一段固定时间里，某个事件发生了多少次。

使用 DuckDB 分析 Parquet 文件上周朋友发我一个小餐馆的订单文件：restaurant_orders.parquet。他说是外卖平台导出的，想看看总共多少单、赚了多少钱、哪个菜卖得好、大家怎么付款。

DuckDB + SQL 高效分析 JSON 数据你有没有过这样的经历？从某个 API 抓下来一堆 JSON，或者从 App 里导出了自己的数据，想分析一下，结果发现 JSON 嵌套得像个迷宫。

如何使用 Bash 进行数据清洗你可能经历过这样的场景：拿到一个 CSV，以为只是删几行、改几列，结果打开一看：空值、重复、负金额、Windows 换行符，全挤在一起。

Python 常用统计图表实战指南在日常工作和生活中，我们经常会遇到各种各样的数据：每月的外卖账单、每天的步数记录、工作时长与咖啡消耗量……如果只看一堆密密麻麻的数字表格，很容易让人眼花缭乱。

异常值检测与处理方法总结先别被“数据科学”这几个字吓到。异常值其实天天出现在我们身边：这些“画风突变”的数据点，就是我们今天要抓的“显眼包”——异常值（Outlier）。

正态分布撒谎时：用柯西分布捕捉生活中的“黑天鹅”你有没有遇到过这样的怪事？如果你用我们熟悉的正态分布（钟形曲线）来套这些场景，它会告诉你：“堵车 2 小时的概率低到几乎不可能，简直是个错误数据。”

Beta 分布：如何用“成功”和“失败”来预测下次尝试想象一下这个场景：明天你要去一家新开的网红餐厅。你翻开点评软件，看到过去 10 个人里，有 7 个人给了好评。

几何分布：从“等一个结果”开始你有没有过这样的经历？这些场景背后，都藏着一个共同的概率模型——几何分布（Geometric Distribution）。

用 Python 计算联合概率和条件概率概率论听起来像是数学课本里枯燥的公式，但实际上它无处不在——你早上出门前纠结“要不要带伞”，本质上就是在做一次概率判断。