C# 高效读取大文件

在 C# 中高效读取大文件时,需根据文件类型和场景选择不同的技术方案,以下为综合实践方法及注意事项:

一、文本文件读取方案

逐行读取

StreamReader.ReadLine‌:通过流式处理逐行加载文本,避免一次性加载整个文件到内存,适合超大文本文件(如日志文件)。

using (StreamReader sr = new StreamReader("file.txt", Encoding.UTF8, bufferSize: 1024*1024))

{

string line;

while ((line = sr.ReadLine()) != null)

{

// 处理每行数据

}

}

File.ReadLines():返回 IEnumerable<string> 实现惰性加载,语法简洁但需注意异常处理(如文件不存在时抛出 FileNotFoundException)。

分批次处理

结合数据库事务分批入库(如每 1 万条提交一次),减少内存峰值和 I/O 压力:

List<string> batch = new List<string>(10000);

while ((line = sr.ReadLine()) != null)

{

batch.Add(line);

if (batch.Count >= 10000)

{

InsertToDatabase(batch);

batch.Clear();

}

}

二、二进制文件读取方案

FileStream + 字节数组

直接操作字节流,适合非文本文件(如图像、音视频):

using (FileStream fs = new FileStream("file.bin", FileMode.Open))

{

byte[] buffer = new byte[4096];

int bytesRead;

while ((bytesRead = fs.Read(buffer, 0, buffer.Length)) > 0)

{

// 处理二进制数据块

}

}

BufferedStream 加速

对底层流添加缓冲区(默认 4KB),减少直接访问存储设备的频率,提升 I/O 效率。

三、优化技巧

**缓冲区设置:**通过 StreamReader 构造函数指定 bufferSize(如 1MB),平衡内存与读取频率。

**编码处理:**明确指定文本编码(如 Encoding.GetEncoding("GB2312"))避免乱码。

**资源释放:**使用 using 语句确保流对象及时释放,防止内存泄漏。

四、方案对比

方法 适用场景 内存占用 灵活性

StreamReader 超大文本逐行处理 低 高(可控性强)

File.ReadLines() 中小文本简洁操作 中 中

FileStream 二进制文件处理 低 高

注意事项: 对于超大规模文件(如数十 GB),需避免 File.ReadAllLines 等一次性加载方法,防止内存溢出

如果您喜欢此文章,请收藏、点赞、评论,谢谢,祝您快乐每一天。

相关推荐
中游鱼20 分钟前
如何序列化和反序列化动态 XmlElement ?
windows·microsoft·c#
唐青枫8 小时前
C#.NET dapper 详解
c#·.net
死也不注释10 小时前
【鸡零狗碎记录】
unity·c#
Maybe_ch10 小时前
.NET-键控服务依赖注入
开发语言·c#·.net
★YUI★14 小时前
学习游戏制作记录(剑投掷技能)7.26
学习·游戏·unity·c#
小乖兽技术14 小时前
C#与C++交互开发系列(二十四):WinForms 应用中嵌入C++ 原生窗体
c++·c#·交互
I'mSQL15 小时前
C#与WPF使用mvvm简单案例点击按钮触发弹窗
开发语言·c#·wpf
工藤新一OL16 小时前
把xml的格式从utf-8-bom转为utf-8
xml·c#·asp.net·.netcore·visual studio
henreash17 小时前
NLua和C#交互
开发语言·c#·交互
SAJalon20 小时前
C#集合全面解析
c#