知识拆分优化，分块策略：
固定长度分块
递归字符分块
基于句子分块：将文本分割成句子，再将句子聚合成块。适用于对句子完整性要求高的场景，法律文书、新闻报道
结构感知分块：根据Markdown的标题层级或html的标签来定义块的边界
对话式分块：根据对话的发言人或轮次进行分块
语义分块：计算相邻句子/段落的向量相似度，在语义发生突变（相似度低）的位置进行切分
主题分块：在文档的宏观主题发生转变时进行切分。适用于多主题报告
小-大分块：使用小块（如句子）进行高精度检索，然后将包含该小块的原始大块（如段落）作为上下文送入LLM
代理分块
混合分块：先用一种宏观策略进行切分，再对过大的块使用更精细的策略进行二次切
嵌入模型优化：
1.模型优化：换模型像BGE、M3E、Jina、bge-m3
2.多向量优化：同一段落生成「原文向量 / 标题向量 / 关键词向量」多组向量联合检索加权打分
3.微调
1.基于入库前的知识库库简历阶段，要考虑索引的问题，以及知识拆分问题，文档不能拆分破坏语义，甚至考虑tag元数据标签
2.高效检索阶段，多路召回，高效的检索算法，HNSW算法，图检索算法，BM25召回
3.排序阶段，需要不止是根据向量本身的相似性去过一遍Rerank模型得到自注意力分数，更需要真实根据业务Tag字段去打分，比如医疗问答场景，你可以手动控制什么Tag更高频返回，向量本身的Tag也可以加入到最后Rerank重排序的分数计算中去
4.系统完成后的链路测评，线上数据的反馈回流，跑出真的知识飞轮，包括可信评测