数据清洗

东莞市云毅网络有限公司4 天前
python·数据清洗·rag·企业知识库·文档解析
用 Playwright 搭一套问答平台引用监测的最小骨架做内容监测的团队常卡在第一步:怎么稳定地把「某个问题在某平台的答案」抓下来。纯 HTTP 请求在多数问答平台会被拦,返回一段验证页或者干脆空 body;手工复制又没法定量。工程上比较省事的路子是 Playwright 起真实浏览器,用持久化上下文保留登录态,按问句列表逐个提问,落库时只存答案正文与引用来源。
东莞市云毅网络有限公司8 天前
python·数据清洗·rag·企业知识库·文档解析
FAQ 覆盖度打分:TF-IDF 与向量嵌入双路召回的 Python 实现很多团队上线 FAQ 库以后,对覆盖度的判断其实靠感觉:能想到的问题都写进去了。把真实问题集铺开跑一遍巡检,结论常常反转——同义问法被判成没覆盖,答案沾边的反而被当成命中。这说明单一相似度路径不可靠,字面与语义两路召回再加权融合,才是更稳的打法。本文给出一套完整的 Python 实现与打分口径,只依赖 numpy 与 scikit-learn,不涉及任何私有库。
Blockbuater_drug13 天前
数据清洗·多分类·过采样·独热编码·类别不平衡·smote·菜系数据集
经典机器学习实战06:分类入门:数据清洗与平衡(菜系)本文收录于专栏 《经典机器学习实战》摘要:菜系分类第一课:亚洲五菜系数据又脏又不平衡,删掉无判别力的通用食材、SMOTE 过采样把 2448 行变成五类各 799 行。这份数据将贯穿后面三课,从分类器横评一直到 ONNX 部署。
Blockbuater_drug17 天前
线性回归·pandas·scikit-learn·数据可视化·数据清洗·最小二乘法·conda环境
《经典机器学习实战》第 2 课:回归入门——环境、工具与数据准备本文收录于专栏 《经典机器学习实战》摘要:配好一套全程复用的 conda 环境,用 diabetes 数据集五步跑通第一个线性回归(R² 0.316),再上手 USDA 南瓜真实脏数据:四步清洗 1757 行到 415 行、按蒲式耳归一化价格,学会建模前的可视化侦察。
Blockbuater_drug18 天前
机器学习·scikit-learn·监督学习·数据清洗·过拟合·训练集测试集·公平性
《经典机器学习实战》第 1 课:导论——是什么、简史、负责任 AI 与标准流程本文收录于专栏 《经典机器学习实战》摘要:从规则引擎的破产到机器学习的定义,一趟走完 AI 七十年简史、负责任 AI 六原则与七步标准流程。你将看到 13 维特征让手写规则彻底失效而逻辑回归拿到 98.1%,以及一个整体准确率 85% 的模型如何对少数组近乎抛硬币。
Frag0ut18 天前
正则表达式·notepad++·数据清洗·日志分析·正则替换·提取ip·正则表达式实战
Notepad++ 正则表达式完全手册:文本处理的终极武器(2026实战版)如果你还在用"手动删除空行"“逐行复制粘贴”"一个个改格式"来处理文本,那么正则表达式将彻底改变你的工作方式。
梯度下降者19 天前
python·可解释性·数据清洗·模型选择·业务预测
Python使用统计建模解决业务预测问题的常见操作步骤【教程】业务预测的核心, 是把问题分解成能够进行建模的数据问题, 其关键之处在于, 数据、模型以及决策场景这三者要“匹配得上”, 需要明确地去定义预测的目标, 协同共同编写需求说明书, 紧密依据业务逻辑来清洗数据, 选择可进行解释的模型, 并且通过业务真实感的验证以及规则的兜底来保障得到落地的效果。
东莞市云毅网络有限公司1 个月前
python·数据清洗·rag·企业知识库·文档解析
监测问句清单去重:停用词表、数字归一与贪心聚类的参数取法做生成式检索监测的企业,手里攒得较快的一类数据是问句清单:客户在问答入口里实际怎么问、自己准备去答哪些问题、同行被问到的又是什么。跑上两三个月,几千条很常见,其中大量条目只是换了个说法问同一件事。逐条人工归并做不到,直接丢进向量模型聚类,成本压不住,结果也解释不清——为什么这两条算一类,答不上来。
Helix2501 个月前
python·pandas·数据清洗·情感分析··snownlp·文本数据处理
Python数据分析实战:Pandas清洗豆瓣短评与情感分析完整指南上一篇我们用Selenium突破了动态页面抓取瓶颈,获得了豆瓣《肖申克的救赎》短评原始数据。但直接拿到的JSON或CSV往往充满噪声:空字符串、重复记录、格式混乱的评分……若跳过清洗直接分析,结论必然失真。本文聚焦“数据准备”这一被低估的环节,用Pandas将脏数据转化为干净的分析基表,并衔接SnowNLP完成基础情感量化。所有操作均针对中文影评场景优化,代码即插即用。
星夜离尘561 个月前
开发语言·matlab·数据分析·数据清洗·csv
MATLAB 清洗 CSV 采样日志:重复时间戳、无效行、分组统计与自动出图同一时刻出现两条记录,数值分别为 10 和 14,该保留哪条?缺失值要删掉、补零,还是插值?这些决定会改变统计结果。先把处理规则写清楚,比先把曲线画出来更重要。
东莞市云毅网络有限公司1 个月前
python·数据清洗·rag·企业知识库·文档解析
用 Python 给官网做字段级变更监控:快照、比对与变更清单页面改版没人察觉、字段写错要几个月后才被发现,这两件事在同一套监控里经常被搞反。用整页哈希或全文比对做变更检测,头一轮就会告警几十条:模板加了脚本、页脚换了年份、推荐位换了展示对象,全都算变更。真正出问题的那一次——服务半径从「珠三角」写成「全国」——反而埋在噪声里。
梅雅达编程笔记1 个月前
pandas·数据清洗·seaborn·可视化分析·python数据实战·数据分析全流程·系列收尾
15_综合实战全流程前面把数据采集、Pandas分析、可视化基础都拆开讲了。这最后一篇串起来——模拟真实场景,从拿到一份原始CSV开始,走完读取、清洗、分析、可视化,最后产出有结论的报告。假设你是电商数据分析师,老板扔给你半年销售数据:“你看看,出个分析。”
Patrick在香港1 个月前
pandas·数据清洗·数据类型·实测·read_csv
pandas 读 CSV 不报错 ≠ 读对了:四个默认参数翻车实测read_csv 大概是所有 Python 数据人的第一行代码,也是「零报错假象」的重灾区:它几乎从不报错——前导零悄悄消失、真实地名悄悄变 NaN、千分位数字悄悄变成字符串,全程安静得像什么都没发生。这周整理口岸客流数据时又被咬了一口,索性把四个默认参数逐一实测(pandas 3.0.3——对,3.0 大版本已经在很多人机器上了),账单如下。
MoRanzhi12031 个月前
python·pandas·数据清洗·特征工程·缺失值处理·异常值检测·特征编码
第 3 篇 · 数据清洗与特征工程:从问题判定到特征构建数据清洗处理原始数据中的缺失、异常、重复与格式问题,特征工程将清洗后的字段转换为可建模的特征矩阵。本节将两者合并说明,前一部分按问题类型说明判定依据与处理方式,后一部分说明字段到特征的转换过程。
东莞市云毅网络有限公司1 个月前
python·数据清洗·rag·企业知识库·文档解析
AI 引用句逐条回指原文:让回答可回溯的校验实现一段生成式回答读起来通顺,和它是否站得住,是两件事。「主力机型质保三年,全国设有一百二十个服务网点」,句子漂亮,只要没有任何一份原文能对上,它就是一条无法核对的说法。可回溯校验要做的,是把回答逐句拆开,再让每一句回到原始资料里找到出处。
mattleeee1 个月前
数据清洗·k线·异常数据
回测数据清洗:如何处理缺失K线和异常数据做回测的人都有一个共识:垃圾数据进,垃圾结果出。策略逻辑写得再漂亮,如果喂进去的K线数据有缺失、有异常,回测出来的收益率曲线就是自欺欺人。
for_ever_love__2 个月前
python·数据分析·pandas·数据清洗
电商订单数据清洗实战——Pandas 处理缺失值、重复单与异常金额AI Agent Function Calling Python其他栏目: > iOS项目总结大全 <
东莞市云毅网络有限公司2 个月前
python·数据清洗·rag·企业知识库·文档解析
用 SQLite FTS5 给企业文档建本地全文索引:中文分词与权重调优企业内部的文档检索,多数场景并不需要上 Elasticsearch。几千到几万份文档的规模,用 SQLite 的 FTS5 扩展就能做到毫秒级响应,且零部署成本、单文件可迁移。这篇文章记录一套可直接运行的实现:中文预分词 + FTS5 索引 + BM25 权重调优 + 查询改写。
Patrick在香港2 个月前
python·自然语言处理·正则表达式·claude·数据清洗
Claude Prompt 香港场景:公文里「今日」落在 6 个日历日上,「翌日」锚错了 5 天香港政府新闻公报每天发布,正文里到处是「今日」「明日」「翌日」这种相对时间。我把最新 100 条抓下来逐条扫了一遍:
2601_962382432 个月前
数据清洗·python自动化办公·报表生成·文档处理·邮件分发
Python自动化办公实战指南:从入门到精通办公自动化实战指南, 从入门迈向精通, 于数字大潮席卷职场当下, 重复性、低价值机械劳动渐成效率阻碍, 每位职场人日常要面对庞大数量数据Excel表, 邮件附件需手动复制粘贴, Word报告格式杂乱, 诸多场景成为人们工作痛点。作为一种编程语言, 语法简洁且生态强大, 不仅作为技术而存在, 更是已成为现代办公自动化关键之核心武器。去掌握自动化办公, 实际上是要把人从那种繁琐的执行者转变成为策略的制定者, 让机器去向处理那些枯燥的数据搬运这一工作, 进而释放人类所能拥有创造力的核心价值。自动化办公它的起步并