GoLang Filepath.Walk遍历优化

原生标准库在文件量过大时效率和内存均表现不好

1400万文件遍历Filepath.Walk

1400万文件重写直接调用windows api并处理细节

结论

1400万文件遍历时对比

对比条目 filepath.walk windows api并触发黑科技
运行时间 710秒 22秒
内存占用 480M 38M

关键代码

go 复制代码
//超级快的文件遍历
func FindFileWin(dir string, callbackfunc MyFindFileCallBack) {

	dir = dir + `\`

	finstruct := win.WIN32_FIND_DATAW{}
	handle := win.FindFirstFileW(dir+`*`, &finstruct)
	if win.IsInvalidHandle(handle) {

		for {
			//文件夾
			if (finstruct.DwFileAttributes & win.FILE_ATTRIBUTE_DIRECTORY) != 0 {
				if (finstruct.CfileNameGo != "..") && (finstruct.CfileNameGo != ".") {
					FindFileWin(dir+finstruct.CfileNameGo, callbackfunc)
				}
			} else {
				callbackfunc(dir + finstruct.CfileNameGo)
			}
			if win.FindNextFileW(handle, &finstruct) == 0 {
				break
			}
		}
	}
}
go 复制代码
var (
	kernel32           = syscall.NewLazyDLL("Kernel32.dll")
	procCreateFileW    = kernel32.NewProc("CreateFileW")
	procOpenEventW     = kernel32.NewProc("OpenEventW")
	procSetEvent       = kernel32.NewProc("SetEvent")
	procFindFirstFileW = kernel32.NewProc("FindFirstFileW")
	procFindNextFileW  = kernel32.NewProc("FindNextFileW")

	//procCreateFileA = kernel32.NewProc("CreateFileA")
)

func FindFirstFileW(fileName string, lpFindFileData *WIN32_FIND_DATAW) HANDLE {
	strname := unsafe.Pointer(syscall.StringToUTF16Ptr(fileName))
	handle, _, _ := procFindFirstFileW.Call(
		uintptr(strname),
		uintptr(unsafe.Pointer(lpFindFileData)),
	)
	if handle != 0 {

		lpFindFileData.CfileNameGo = syscall.UTF16ToString(lpFindFileData.cFileName[:])
	}
	return HANDLE(handle)
}
func IsInvalidHandle(handle HANDLE) bool {
	if handle != 0 && int(handle) != -1 {
		return true
	}
	return false
}
func FindNextFileW(hFindFile HANDLE, lpFindFileData *WIN32_FIND_DATAW) BOOL {
	ret, _, _ := procFindNextFileW.Call(
		uintptr(hFindFile),
		uintptr(unsafe.Pointer(lpFindFileData)),
	)
	if ret != 0 {

		lpFindFileData.CfileNameGo = syscall.UTF16ToString(lpFindFileData.cFileName[:])
	}
	return BOOL(ret)
}
相关推荐
张一凡9314 分钟前
你的 AGENTS.md,真的管到模型写代码了吗?
前端·后端·agent
00后程序员19 分钟前
iOS 实时活动怎么开发,Windows 上用 KXBuild 和 ActivityKit 写灵动岛
后端·ios
程序员cxuan24 分钟前
推荐 10 个 WorkBuddy 中的邪修用法
人工智能·后端·程序员
Bacon41 分钟前
给项目做一次"全身 CT":Agent Skills 生态里的代码体检全链路
前端·人工智能·后端
Java旅途1 小时前
课程表编排与调课申请系统|排得开,也能把每次调整管清楚
后端
象牙塔五六七1 小时前
Java 泛型精讲:从 Stream 源码说起
后端
掘金挖土1 小时前
前端手摸手跑路之 AI 应用开发(十二)
前端·后端
程序员cxuan1 小时前
GPT-6.2 Astra 发布了,但口碑崩了。。。
人工智能·后端·程序员
象牙塔五六七1 小时前
Java 函数式编程精讲:从 Stream 源码说起 —— 用真实源码学懂函数式思维
后端
字节跳动数据库2 小时前
火山引擎缓存数据库:如何构建超大规模缓存集群的无感弹性能力
数据库·人工智能·后端