chunk

实战！【一个企业知识库的逐步搭建】持续更新ing博主在一个医疗制造公司做IT，有一天，一个同事给我说，坏了，最近一批原材料又出问题了。我问她，为什么会出现这种问题，好像也不是第一次。她回答说，最近做了一个变更，但是负责的团队没有识别到这个物料的风险，所以忽略了这个物料的变更。我那时就在想，现在AI的发展，早就可以在这块领域提前发现风险，或者退一步来说，可以帮助发现风险。于是，我就产生了这个想法，做一个企业级的知识库协作平台，实现以下目标： 1、第一阶段完成知识库的搭建，支持上传文档到知识库，通过对话的方式完成对应知识的搜索与呈现 2、进一步扩充知识域，

整理了一套可落地的验证指标体系给到大家在 RAG（检索增强生成）系统里，Chunking 看似是个不起眼的预处理步骤，实则决定整个系统的上限。很多团队一开始热衷于调大模型、换 Embedding、搞 fancy 的 reranker，结果发现效果卡在天花板上不动——回头一看，原来是 chunk 切得稀碎，关键信息东一块西一块，模型就算有通天本领也拼不出完整答案。

Java后端的Ai之路

【AI应用开发工程师】-RAG知识切片（chunk）策略解读你以为AI只是“看图说话”？错了，它还得学会“切蛋糕”！—— 没错，今天我们要聊的就是RAG中的切片策略，一种让AI更精准、更高效理解知识的神奇技术。

weixin_37763484

【开源chunk】超越chonkie 达到人工级chunk效果chunk是rag等流程的第一步，chunk的好坏，直接决定了rag、图谱提取等方法的质量。结构合理的chunk，能提供更完整的信息，同时提供兄弟节点扩展、父节点寻找等功能。

OCR TXT文档语义分块技术实现本文档详细阐述面向OCR输出TXT文件的语义分块实现方案，核心目标是将无结构化、存在乱码/格式不规范的OCR文本，按照语义连贯性和Token长度约束拆分为高质量文本块（Chunk），同时具备完整的性能耗时统计能力。方案兼顾分块效果与工程实用性，解决了OCR文本分块的核心痛点。

Spring Boot实现大文件分块上传大文件加速上传：当文件大小超过100MB时，使用分片上传可实现并行上传多个Part以加快上传速度。网络环境较差：网络环境较差时，建议使用分片上传。当出现上传失败的时候，您仅需重传失败的Part。

向日葵花籽儿

# RAG | Langchain # Langchain RAG：打造Markdown文件的结构化分割解决方案【文章简介】在信息技术的现代背景下，高效地处理和分析文本数据对于知识获取和决策支持至关重要。Markdown文件因其易读性和高效性，在文档编写和知识共享中占据了重要地位。然而，传统的文本处理方法往往忽视了Markdown的结构化特性，未能充分挖掘文本的深层含义和主题。

开着拖拉机回家

【Hadoop】DataNode 详解🦄 个人主页——🎐开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客 🎐✨🍁

我是有底线的