处理带有 CR/LF 行结尾的 CSV 文件

Ed Gibbs，whoisxmlapi.com 研究副总裁

问题概述

包含 CR/LF（回车/换行）行结尾的 CSV 文件可能会导致某些 CSV 转 JSON 工具解析失败。这种情况通常发生在 Windows 系统创建的 CSV 文件上，它们使用 CR/LF（\r\n）作为行结尾，而许多基于 Unix 的工具则只接受 LF（\n）结尾。这一问题影响到 WhoisXMLAPI 提供的多个数据源，如 WHOIS、Netblocks 和 IP 地理位置数据等。

常见症状

CSV 解析器无法完整读取文件
输出结果中出现多余字符或格式混乱
在转换过程中报错或行为异常
最终 JSON 输出中记录缺失或损坏

解决方法

方法一：转换行结尾格式（推荐）

在 Unix/Linux/macOS 系统上：

bash 复制代码

# 使用 sed 将 CR/LF 转换为 LF
sed 's/\r$//' input_file.csv > converted_file.csv

# 或使用 dos2unix 工具（如已安装）
dos2unix input_file.csv

在 Windows 系统上：

bash 复制代码

# 使用 PowerShell 替换行结尾
(Get-Content input_file.csv) -replace "`r`n", "`n" | Set-Content converted_file.csv

方法二：使用 Python 转换

如果你希望更健壮地处理各种行结尾格式，可以使用以下 Python 脚本：

python 复制代码

import csv
import json

def convert_csv_to_json(csv_file_path, json_file_path):
    """将 CSV 转换为 JSON，并处理行结尾问题"""
    try:
        with open(csv_file_path, 'r', newline='', encoding='utf-8') as csvfile:
            reader = csv.DictReader(csvfile)
            data = list(reader)
        
        with open(json_file_path, 'w', encoding='utf-8') as jsonfile:
            json.dump(data, jsonfile, indent=2, ensure_ascii=False)
        
        print(f"成功将 {csv_file_path} 转换为 {json_file_path}")
        return True
    
    except Exception as e:
        print(f"文件转换出错：{e}")
        return False

# 使用示例
convert_csv_to_json('your_file.csv', 'output.json')

方法三：使用其他工具

如果问题仍未解决，可考虑使用以下工具：

Node.js 的 Papa Parse：良好支持各种行结尾格式
jq：命令行 JSON 处理器，支持 CSV 输入
在线转换器：许多网页工具可自动识别和处理行结尾差异

最佳实践

**统一行结尾：**确保所有 CSV 文件使用统一行结尾（建议使用 Unix 风格 LF）
**指定编码：**尽量使用 UTF-8 编码
**先行测试：**在批量处理前，先用示例数据测试工具效果
保留备份：转换前请保留原始文件作为备份

技术支持

如你仍遇到 CSV 文件处理相关问题，请联系技术支持团队，并提供以下信息：

示例 CSV 文件（前几行）
错误信息或异常行为描述
所用操作系统及工具版本
预期输出与实际输出对比

请将请求发送至📮：

📧 service.desk at whoisxmlapi.com