.Net / C# 分析文件编码 并将 各种编码格式 转为 另一个编码格式 ( 比如: GB2312→UTF-8, UTF-8→GB2312)

相关库

.Net 8

编码识别: github.com/CharsetDetector/UTF-unknown

xml 复制代码
<PackageReference Include="UTF.Unknown" Version="2.5.1" />

代码

csharp 复制代码
using UtfUnknown;

var dir_path = "D:\\Desktop\\新建文件夹2\\新建文件夹";
var dir_new_path = "D:\\Desktop\\新建文件夹2\\utf8_files";
var dir_rest_path = "D:\\Desktop\\新建文件夹2\\rest_files";

if (!Directory.Exists(dir_new_path)) Directory.CreateDirectory(dir_new_path);
if (!Directory.Exists(dir_rest_path)) Directory.CreateDirectory(dir_rest_path);

var file_path_list = Directory.EnumerateFiles(dir_path);

// 并行处理, 充分利用多核 CPU
file_path_list.AsParallel().ForAll(async file_path =>
{
    var file_info = new FileInfo(file_path);

    var file_new_path = Path.Combine(dir_new_path, file_info.Name);
    var file_rest_path = Path.Combine(dir_rest_path, file_info.Name);

    var file_bytes = await File.ReadAllBytesAsync(file_path);

    // 截取文件的开头一点数据去分析,性能好, ( 整个文件分析,大文件太慢了. )
    var file_type = CharsetDetector.DetectFromBytes(file_bytes[0..100]) ?? throw new Exception($"未知类型 {file_path}");

    if (file_type.Detected.EncodingName == "gb18030")
    {
        // gb2312 -> c# 字符串 (utf-16)
        var file_str = file_type.Detected.Encoding.GetString(file_bytes);
        // utf-8,utf-8-bom,utf-16 有一点点差异 (具体自己查)

        // WriteAllText 默认就是 UTF8 No BOM
        await File.WriteAllTextAsync(file_new_path, file_str);
        Console.WriteLine($"{file_info.Name} gb2312 -> utf8 完成");

        // 如果事先就知道所有文件是 gb2312 编码,
        // 可以直接调用解析, 无需 UtfUnknown 去识别. 性能更快

        // 注册编码 写在 for 外面, 注册一次就行
        // Encoding.RegisterProvider(CodePagesEncodingProvider.Instance);
        // 调用
        // var str = Encoding.GetEncoding("gb18030").GetString(file_bytes);
    }
    else if (file_type.Detected.EncodingName == "utf-8")
    {
        File.Copy(file_path, file_new_path);
        Console.WriteLine($"{file_info.Name} utf8 复制完成");
    }
    else
    {
        File.Copy(file_path, file_rest_path);
        Console.WriteLine($"warn: {file_info.Name} ${file_type.Detected.EncodingName} 复制完成 ");
    }
});

// 保持主线程运行
Console.ReadLine();
相关推荐
我命由我123452 小时前
Kotlin 数据容器 - List(List 概述、创建 List、List 核心特性、List 元素访问、List 遍历)
java·开发语言·jvm·windows·java-ee·kotlin·list
mCell4 小时前
从删库到跑路?这50个Linux命令能保你职业生涯
linux·windows·macos
dualven_in_csdn4 小时前
electron 使用记录
windows
唐青枫4 小时前
C#.NET dapper 详解
c#·.net
zz9602266 小时前
Windows Server存储池,虚拟磁盘在系统启动后不自动连接需要手动连接
windows
死也不注释6 小时前
【鸡零狗碎记录】
unity·c#
Maybe_ch7 小时前
.NET-键控服务依赖注入
开发语言·c#·.net
liulilittle10 小时前
C++/CLI与标准C++的语法差异(一)
开发语言·c++·.net·cli·clr·托管·原生
★YUI★10 小时前
学习游戏制作记录(剑投掷技能)7.26
学习·游戏·unity·c#
小乖兽技术10 小时前
C#与C++交互开发系列(二十四):WinForms 应用中嵌入C++ 原生窗体
c++·c#·交互