bash
作者: 一了 <1liao3@funlang.org>
日期: 2026-11-21
一句话总结: Fun 的 worker 用法:`WorkerFile` 单发、`workerMapLimit` 批量、`Shared` 记数、`Channel` 排队、`onDone` 回到主线程。
同时烧几壶水
11 月 21 日,上游一天里落了十几笔 worker 提交:8782acc 立起 lib-worker 与 Shared,e6d36be 补命名通道和主线程回调,d8a7a45 加 workerMapLimit,64b484e 把完成回调接到事件循环的 onTick。Fun 这个一直说自己单线程的语言,终于有了一条正经的并发路子。
先讲清楚:worker 不是把现有函数丢进线程池。每个 worker 自己解析一份模块,自己有 AST 和堆,跟主线程不共享任何 Fun 对象。负载和结果都是一串字符串,结构化数据用 FD 编解码。记住这一句,下面的用法就不容易写错。(吐槽:这几年听惯了「不要共享内存」,真到自己写,第一反应还是想把 var 递过去。)
今天只讲怎么用,顺带说几个已经踩过的坑。实现留给人看源码。
一、什么活值得分出去
CPU 算得久的活:批量求校验、压缩、解析大文件、跑规则匹配。一个核忙不过来,才轮到 worker。
等 IO 的活:读文件、等网络、等数据库,还是用现有的事件循环和 http-server,开线程只会多花栈和解析时间。
要隔离崩溃或权限的活:用进程。worker 跟主线程还在一个进程里,一崩一起崩。
Fun 的 cron、HTTP 服务端、lib-async 仍是单线程模型,这次没有顺带改成多线程。worker 是补的一块,不是把整个运行时换掉。
二、最小的一口锅
写一个 job 模块,入口函数收一个字符串,返回一个字符串:
bash
// job.fun
fun sum(payload)
var n = payload.getJson(fd: true)[0].toNum();
var s = 0;
for i = 1 to n do s += i; end do;
result = '' & s;
end fun;
主程序:
bash
use 'lib-worker.fun';
var w = WorkerFile('job.fun', 'sum', (new [1000000]).@toJson(fd: true));
var text = w.join(-1); // 毫秒;-1 一直等
if w.error() <> nil then raise w.error(); end if;
?. text; // 500000500000
join(0) 不会等到结果,超时返回 nil,worker 还活着,可以再 join。alive()、id()、result() 也都在。错误不会跨线程抛过来,统一从 w.error() 取,里面带 worker 侧的消息和 traceback。先看 error 再用结果,这条别省。
不想为一段小逻辑落一个文件,可以用 WorkerSource(source, entry, payload),源码直接传字符串;相对 use 从当前工作目录算,而 WorkerFile 从 job 文件自己的目录算。这个差别在搬目录时很要命。
三、一批活,限几口锅
workerMap 一个输入开一个 worker,结果按输入顺序回来。小批量图省事可以,几百上千条就别这么干:
bash
// job.fun
fun sumfd(payload)
var n = payload.getJson(fd: true)[0].toNum();
var s = 0;
for i = 1 to n do s += i; end do;
result = (new [s]).@toJson(fd: true);
end fun;
bash
use 'lib-worker.fun';
var ns = [1000000, 1000001, 1000002, 1000003, 1000004, 1000005, 1000006, 1000007];
var v = workerMapLimit('job.fun', 'sumfd', ns, 4, -1);
?. v[0]; // 500000500000
?. v.@count(); // 8
workerMapLimit(file, entry, items, limit, timeout) 最多同时跑 limit 个,结果仍按输入顺序。这里的入口必须返回 FD 列表,也就是 (new [值]).@toJson(fd: true);只返回一个裸字符串,workerMap 解包会得到空值。这个坑不响,悄悄返回空串,最好记下。(吐槽:第一次跑出来八个空字符串,我还以为 worker 全挂了。)
只想跑一个,workerRun(file, entry, args, -1) 省掉手动 WorkerFile 再解包,args 传一个列表,返回解好的 FD 列表。数据是复制进去的:把主线程的列表传给 worker,改它不会回传;要回传就返回新列表。
四、共享一个计数器
Shared(name) 是进程内按名字开的字符串键值仓。同名同仓,名字可以塞进 payload 带过去。
bash
// job.fun
use 'lib-worker.fun';
fun bump(payload)
var name = payload.getJson(fd: true)[0];
var n = Shared(name).add('n', 1);
result = (new [n]).@toJson(fd: true);
end fun;
bash
use 'lib-worker.fun';
Shared('jobs').set('n', 0);
var ws = new [];
for i = 1 to 8 do
ws.@add(WorkerFile('job.fun', 'bump', (new ['jobs']).@toJson(fd: true)));
end do;
workerAll(ws, -1);
?. Shared('jobs').get('n'); // '8'
set、get、has、del、clear、count、keyAt、add 每一次都是原子的。add 从当前字符串按 StrToInt64Def 转,缺键或非数字从 0 起。值是字符串,进出都复制;结构复杂的值用 FD 编成一个字符串再放。
没有多键事务,也没有 CAS。两个键必须一起变,就合并成一个 FD 值,或者改用通道。keyAt(i) 每次调用安全,但 count() 和 keyAt(i) 之间列表可能已经变了,别把它当快照。
五、排队:生产者与消费者
Channel(name) 是同进程按名字开的 FIFO。
bash
// job.fun
use 'lib-worker.fun';
fun produce(payload)
var a = payload.getJson(fd: true);
var q = Channel(a[0]);
for i = 1 to a[1].toNum() do q.send('' & i); end do;
result = '' & a[1];
end fun;
bash
use 'lib-worker.fun';
var q = Channel('numbers');
var p = WorkerFile('job.fun', 'produce', (new ['numbers', 5]).@toJson(fd: true));
var sum = 0;
for i = 1 to 5 do
var v = q.recv(5000); // 毫秒,nil 表示超时
if v <> nil then sum += v.toNum(); end if;
end do;
?. sum; // 15
?. p.join(-1); // 5
send 不等,直接进队列;recv(ms) 按 FIFO 取,空了就等,-1 等到天荒地老;tryRecv() 不等;close() 之后队列里的还能取完,再取就是 nil,再 send 就报错。队列没有上限,生产者比消费者快,内存会一直涨;要么在协议里加确认通道,要么限制在途条数。
六、别把主线程堵住
join 会停住调用它的线程。脚本里无所谓,服务里不行。这时用 onDone:
bash
use 'lib-worker.fun';
var seen = new [];
var w = WorkerFile('job.fun', 'sum', (new [1000]).@toJson(fd: true));
w.onDone(fun (text, err) {
if err <> nil then
?. 'failed: ' & err;
else
seen.@add(text);
end if;
});
workerWaitAll(10000); // 脚本里图省事:都等完再统一回调
onDone 注册后不会立刻跑,必须有人调 workerTick(),而且是在调 workerTick 的那个线程上跑。服务端的事件循环里,每次轮询结束调一次即可。lib-winsock-base 的 Scheduler 有 onTick,一行接上:
bash
workerAttach(s); // 之后每次 s.Tick() 结束都会 workerTick()
一个 worker 只能设一次 onDone。回调里抛异常不会饿死后面的回调,workerTick 会先跑完其余的,再把第一个异常抛出来。workerPending() 能看还有几个没派发。
(吐槽:join 和 onDone 的关系,像「在窗口等」和「留个电话」。留电话要记得手机开机,workerTick 就是开机。)
七、用前须知
- 只有
funcmd-mt能开 worker。Linux x64 发布包里是fun/fun-mt;自己编用src/prj/fun/make-linux-x86_64-mt.sh。默认fun/fun第一次use 'lib-worker.fun'就报一句明白话,不会假装能跑。 - 每个 worker 都重新解析自己的模块。任务太小,解析比干活还贵。常驻线程池、取消、优先级,目前都没有。
- 线程之间不共享 Fun 对象,也不共享 worker 的模块全局变量。同一个文件开两个 worker,两个
var各是各的。 - 没有跨进程 worker,没有远程队列。要跨机器,自己接 HTTP 或消息队列。
- 目前只有 Linux x86_64 的多线程构建。Windows、macOS、ARM 还是单线程二进制。
- MT 构建里
WriteOut/WriteErr加了锁,几个 worker 同时?.不会把字节搅在一起,但别指望输出顺序。
八、先分一口,再分一锅
我的建议很土:先把串行版本写对,量一下时间,确认瓶颈真在 CPU,再把最里面那段搬进 job 文件。先 WorkerFile 单发,确认输入输出对得上;再换 workerMapLimit 批量;共享状态能不用就不用,非要用就一个键一个意思;最后才考虑通道和事件循环。
并发这事,最贵的不是线程,是「以为两个线程看到的是同一份数据」。Fun 这次把共享从源头切掉了,用起来反倒简单:能传字符串就传字符串,要结构就 FD,要计数就 Shared,要排队就 Channel。剩下的,交给调度器。
(跑完八个 worker 的计数器,我看了一眼机器负载,又看了一眼单线程版本。快是快了点,电表也转得快了点。)