技术栈
llmops`
寻道码路
2 天前
大模型
·
知识库
·
rag
·
ai工程化
·
llmops`
·
数据工程底座
·
文档采集
大模型工程化实战(十二):RAG 数据工程底座——采集到入库流水线(离线+在线双链路)
第 11 篇《知识库防腐坏》结尾我写下一句判断:粮仓的地基,在第 12 篇。写完那天晚上,我亲手给这句话补了个注脚。巡检报出库里缺 X200 的保修页,我心想补一份文档能有多难:上官网扒 PDF、下载、转文本、肉眼比对有没有重复、手动切成段、跑一遍向量化脚本入库。等我抬头看表,半天没了;更糟的是我忘了记这是哪个版本、这些切片是从哪份料切出来的。第二天打开待补清单,上面又多了三条。那一刻我盯着那张越补越长的单子认了:问题不在我手慢——手再快,也快不过上游出料的速度。 我缺的从来不是这一批料,是一条从文档采集
寻道码路
21 天前
大模型
·
agent
·
rag
·
json schema
·
ai工程化
·
llmops`
大模型工程化实战(七):JSON Schema 强约束——模型吐的 json 不合规?schema 校验不通过,重试、兜底、降级一条龙
客服 AI 念身份证的事过去一周,脱敏闸挂上了,泄露是不泄露了。可上线第四周,数据组来拍桌子:模型把“金额”吐成字符串 “¥1,234”(schema 要的是 number),“是否退款”整个字段丢了,还自作主张加了个 schema 里根本没有的“运费”。下游 json.loads 直接崩,pandas 读出来一片 NaN。
我是有底线的