C# 按行写入txt大量数据

在 C# 中高效写入大量数据到文本文件时,建议使用 StreamWriter 并逐行写入,避免一次性加载全部数据到内存。以下是完整示例和注意事项:

基础实现

using System.IO;

// 示例:逐行写入 100 万条数据

string filePath = "large_data.txt";

// 使用 StreamWriter 并启用自动刷新缓冲区(或手动控制)

using (StreamWriter writer = new StreamWriter(filePath))

{

for (int i = 0; i < 1_000_000; i++)

{

string line = $"这是第 {i} 行数据";

writer.WriteLine(line);

// 可选:每写入 N 行手动刷新一次(平衡性能与内存)

if (i % 1000 == 0) writer.Flush();

}

}

高性能优化技巧

1、缓冲区设置

通过构造函数指定更大的缓冲区大小(默认 4KB):

using (var writer = new StreamWriter(filePath, append: false, Encoding.UTF8, bufferSize: 65536))

2、异步写入

使用异步方法减少线程阻塞:

using (StreamWriter writer = new StreamWriter(filePath))

{

for (int i = 0; i < 1_000_000; i++)

{

await writer.WriteLineAsync($"异步写入第 {i} 行");

}

}

3、分批次生成数据

避免在内存中累积全部数据:

foreach (var item in GetLargeDataStream()) // 假设这是你的数据源

{

writer.WriteLine(ProcessData(item)); // 逐行处理并写入

}

典型问题解决方案

问题1:文件被占用无法访问

原因:未正确释放 StreamWriter 资源

修复:始终使用 using 语句包裹写入操作

问题2:写入速度慢

优化方案:

禁用 AutoFlush(默认 false)

减少不必要的字符串拼接(用 StringBuilder 预处理复杂行)

升级物理磁盘(SSD 比 HDD 快 10 倍以上)

问题3:内存溢出

现象:写入 1GB+ 数据时程序崩溃

解决:确保数据源是流式(IEnumerable)而非全内存集合

高级场景

追加写入现有文件:

using (var writer = new StreamWriter(filePath, append: true)) // 关键参数

{

writer.WriteLine("----- 这是追加的内容 -----");

}

混合同步/异步写入

var writer = new StreamWriter(filePath);

await writer.WriteLineAsync("Header"); // 异步写开头

writer.WriteLine("Sync Content"); // 同步写主体

await writer.FlushAsync(); // 手动异步刷新

通过以上方法,可在 10 秒内稳定写入 1GB 量级的文本数据(具体性能取决于硬件配置)。

如果您喜欢此文章,请收藏、点赞、评论,谢谢,祝您快乐每一天。

相关推荐
从孑开始12 分钟前
ManySpeech.MoonshineAsr 使用指南
人工智能·ai·c#·.net·私有化部署·语音识别·onnx·asr·moonshine
YuanlongWang30 分钟前
C# 中,依赖注入(DI)的实现方式
c#
SmartSoftHelp开发辅助优化2 小时前
C# WinForm 编程高手:程序,进程,线程。程序,窗体,UI,后台。是如何协调工作的?深度解析>SmartSoftHelp魔法精灵工作室
microsoft·ui·c#
future_studio4 小时前
聊聊 Unity(小白专享、C# 小程序 之 加密存储)
开发语言·小程序·c#
c#上位机5 小时前
MefBootstrapper在Prism引导程序中的使用
c#·wpf·prism
玩泥巴的7 小时前
.NET驾驭Word之力:基于规则自动生成及排版Word文档
c#·word·.net·com互操作
SunnyDays10118 小时前
C# 实现高保真 Excel 转 PDF(无需 Office 环境)
经验分享·c#·excel转pdf
攻城狮CSU8 小时前
C# 数据加载专题 之泛型序列化
java·servlet·c#
爱编程的鱼8 小时前
C# 参数详解:从基础传参到高级应用
开发语言·microsoft·c#
流水线上的指令侠10 小时前
使用C#写微信小程序后端——电商微信小程序
微信小程序·小程序·c#·visual studio