用Go写一个文件去重工具

文章首发于个人博客

背景

想自己做这个功能,主要是因为Duplicate Cleaner这个商业软件只有几天的试用时间,而且文件去重这个逻辑也非常简单。

{{}} graph TD a[获取文件清单及大小] --> b[按大小分组] --> c[排除只有一个文件的组] --> d[计算文件Hash值] --> e[按Hash值分组] --> f[排除只有一个文件的组] --> g[选择需要删除的文件] --> h[删除] {{}}

问题

计算文件Hash值,使用了hash.Hash接口,自然也用到了goroutine来缩短耗时,但是在测试的时候发现功能不太好用,时好时坏,准确说是有时能获取到重复列表,有时不能。

一点点排查,并且把代码段发给DeepSeek,最终确定是因为hash.Hash不是并发安全的。

修复方法很简单,只要在goroutine内实例化即可。修改之后达到了预期。

go 复制代码
func calcHashs(files []*FileInfo, hashName string) {
	g := sync.WaitGroup{}

	for _, file := range files {
		g.Add(1)
		go func(f *FileInfo) {
			defer g.Done()
			h := newHash(hashName)
			hashValue, err := calcHash(f.Path, h)
			if err != nil {
				log.Printf("计算文件 %s 的哈希值失败: %v", f.Path, err)
				return
			}
			f.Hash = hashValue
		}(file)
	}
	g.Wait()
}

TODO

以上存在一个隐患,即:当文件过多时,goroutine会爆炸,至于会有什么影响,没有进行测试,也没敢测试,担心把机器干翻。整体功能做完后,下一步进行这一处的优化。

题外话

计算Hash值这部分,专门准备了约15G的测试文件,和Duplicate Cleaner比较了一下,为此还用Lazarus写了同样的功能,三者一起比较。结果不得不令人叹服:

  • goLazarus的耗时非常接近,但Duplicate Cleaner只用了goLazarus一半的时间

  • go不同hash算法之间耗会有几十秒不等的差异,Duplicate Cleaner各算法耗时只有几秒的差异

看来收费果然是有收费的理由的!

相关推荐
中国胖子风清扬22 分钟前
Rust 序列化技术全解析:从基础到实战
开发语言·c++·spring boot·vscode·后端·中间件·rust
bobz9651 小时前
分析 docker.service 和 docker.socket 这两个服务各自的作用
后端
野犬寒鸦1 小时前
力扣hot100:旋转图像(48)(详细图解以及核心思路剖析)
java·数据结构·后端·算法·leetcode
岁忧1 小时前
(LeetCode 面试经典 150 题) 200. 岛屿数量(深度优先搜索dfs || 广度优先搜索bfs)
java·c++·leetcode·面试·go·深度优先
phiilo1 小时前
golang 设置进程退出时kill所有子进程
后端
花花无缺1 小时前
python自动化-pytest-用例发现规则和要求
后端·python
程序员小假1 小时前
我们来说一说 Cglib 与 JDK 动态代理
后端
摆烂工程师3 小时前
教你如何认证 Gemini 教育优惠的二次验证,薅个 1年的 Gemini Pro 会员
后端·程序员·gemini
绝无仅有4 小时前
未来教育行业的 Go 服务开发解决方案与实践
后端·面试·github
程序员爱钓鱼4 小时前
Go语言实战案例- 命令行参数解析器
后端·google·go