pdf论文处理：CSV输出模式

CSV输出模式（新增）

问题：标准CSV格式的分段问题

在标准CSV格式中，CSV有三列：

content: 文本内容 + 分隔符
metadata: JSON格式的元数据
source: 源文件名

问题：分隔符在content列末尾，后面还有metadata和source列，Dify可能无法正确识别分隔符的位置，导致分段不准确。

解决方案：Merged模式

Merged模式 将所有信息合并到content列，确保分隔符在最末尾。

CSV格式对比：

Standard模式（三列）：

复制代码

content,metadata,source "文本内容...","{""category"":""vulnerability_mining"",""year"":""2024"",""section"":""Abstract"",""chunk_id"":1}",paper.pdf

❌ 分隔符后面还有metadata和source列
❌ Dify可能无法正确分段

Merged模式（合并，推荐）：

复制代码

content,metadata,source "文本内容...[Metadata: {""category"":""vulnerability_mining"",""year"":""2024"",""section"":""Abstract"",""char_count"":135,""source_file"":""paper.pdf"",""title"":""Title""}] [Source: paper.pdf]",,

✅ 所有信息在content中
✅ 分隔符在最末尾
✅ Dify可以准确分段
✅ 元数据在content中，不会丢失

使用方法

复制代码

# 默认使用merged模式（推荐） python process_papers.py --input ./papers # 等同于 python process_papers.py --input ./papers --csv-mode merged # 显式指定merged模式 python process_papers.py --input ./papers --csv-mode merged # 使用standard模式（不推荐） python process_papers.py --input ./papers --csv-mode standard

测试两种模式

复制代码

# 测试CSV输出模式 python test_csv_modes.py

这将生成两个对比CSV文件，并显示详细的格式对比。

元数据精简

在merged模式下，精简了元数据字段，仅保留核心检索字段：

保留的字段：

category: 论文类型
category_cn: 中文类型
year: 发表年份
section: 章节
char_count: 字符数
source_file: 来源文件
title: 论文标题

移除的字段：

chunk_id: 在merged模式下不需要

Dify导入设置（Merged模式）

上传CSV文件到Dify
设置分段标识符：
开始处理

重要：使用merged模式时，确保Dify的分段标识符与生成的CSV中的分隔符完全一致。