同时烧几壶水

bash 复制代码
作者: 一了 <1liao3@funlang.org>
日期: 2026-11-21

一句话总结: Fun 的 worker 用法:`WorkerFile` 单发、`workerMapLimit` 批量、`Shared` 记数、`Channel` 排队、`onDone` 回到主线程。
  

同时烧几壶水

11 月 21 日,上游一天里落了十几笔 worker 提交:8782acc 立起 lib-worker 与 Shared,e6d36be 补命名通道和主线程回调,d8a7a45 加 workerMapLimit,64b484e 把完成回调接到事件循环的 onTick。Fun 这个一直说自己单线程的语言,终于有了一条正经的并发路子。

先讲清楚:worker 不是把现有函数丢进线程池。每个 worker 自己解析一份模块,自己有 AST 和堆,跟主线程不共享任何 Fun 对象。负载和结果都是一串字符串,结构化数据用 FD 编解码。记住这一句,下面的用法就不容易写错。(吐槽:这几年听惯了「不要共享内存」,真到自己写,第一反应还是想把 var 递过去。)

今天只讲怎么用,顺带说几个已经踩过的坑。实现留给人看源码。

一、什么活值得分出去

CPU 算得久的活:批量求校验、压缩、解析大文件、跑规则匹配。一个核忙不过来,才轮到 worker。

等 IO 的活:读文件、等网络、等数据库,还是用现有的事件循环和 http-server,开线程只会多花栈和解析时间。

要隔离崩溃或权限的活:用进程。worker 跟主线程还在一个进程里,一崩一起崩。

Fun 的 cron、HTTP 服务端、lib-async 仍是单线程模型,这次没有顺带改成多线程。worker 是补的一块,不是把整个运行时换掉。

二、最小的一口锅

写一个 job 模块,入口函数收一个字符串,返回一个字符串:

bash 复制代码
// job.fun
fun sum(payload)
  var n = payload.getJson(fd: true)[0].toNum();
  var s = 0;
  for i = 1 to n do s += i; end do;
  result = '' & s;
end fun;

主程序:

bash 复制代码
use 'lib-worker.fun';

var w = WorkerFile('job.fun', 'sum', (new [1000000]).@toJson(fd: true));
var text = w.join(-1);          // 毫秒;-1 一直等
if w.error() <> nil then raise w.error(); end if;
?. text;                        // 500000500000

join(0) 不会等到结果,超时返回 nil,worker 还活着,可以再 join。alive()、id()、result() 也都在。错误不会跨线程抛过来,统一从 w.error() 取,里面带 worker 侧的消息和 traceback。先看 error 再用结果,这条别省。

不想为一段小逻辑落一个文件,可以用 WorkerSource(source, entry, payload),源码直接传字符串;相对 use 从当前工作目录算,而 WorkerFile 从 job 文件自己的目录算。这个差别在搬目录时很要命。

三、一批活,限几口锅

workerMap 一个输入开一个 worker,结果按输入顺序回来。小批量图省事可以,几百上千条就别这么干:

bash 复制代码
// job.fun
fun sumfd(payload)
  var n = payload.getJson(fd: true)[0].toNum();
  var s = 0;
  for i = 1 to n do s += i; end do;
  result = (new [s]).@toJson(fd: true);
end fun;
bash 复制代码
use 'lib-worker.fun';

var ns = [1000000, 1000001, 1000002, 1000003, 1000004, 1000005, 1000006, 1000007];
var v = workerMapLimit('job.fun', 'sumfd', ns, 4, -1);
?. v[0];       // 500000500000
?. v.@count(); // 8

workerMapLimit(file, entry, items, limit, timeout) 最多同时跑 limit 个,结果仍按输入顺序。这里的入口必须返回 FD 列表,也就是 (new [值]).@toJson(fd: true);只返回一个裸字符串,workerMap 解包会得到空值。这个坑不响,悄悄返回空串,最好记下。(吐槽:第一次跑出来八个空字符串,我还以为 worker 全挂了。)

只想跑一个,workerRun(file, entry, args, -1) 省掉手动 WorkerFile 再解包,args 传一个列表,返回解好的 FD 列表。数据是复制进去的:把主线程的列表传给 worker,改它不会回传;要回传就返回新列表。

四、共享一个计数器

Shared(name) 是进程内按名字开的字符串键值仓。同名同仓,名字可以塞进 payload 带过去。

bash 复制代码
// job.fun
use 'lib-worker.fun';

fun bump(payload)
  var name = payload.getJson(fd: true)[0];
  var n = Shared(name).add('n', 1);
  result = (new [n]).@toJson(fd: true);
end fun;
bash 复制代码
use 'lib-worker.fun';

Shared('jobs').set('n', 0);
var ws = new [];
for i = 1 to 8 do
  ws.@add(WorkerFile('job.fun', 'bump', (new ['jobs']).@toJson(fd: true)));
end do;
workerAll(ws, -1);
?. Shared('jobs').get('n');   // '8'

set、get、has、del、clear、count、keyAt、add 每一次都是原子的。add 从当前字符串按 StrToInt64Def 转,缺键或非数字从 0 起。值是字符串,进出都复制;结构复杂的值用 FD 编成一个字符串再放。

没有多键事务,也没有 CAS。两个键必须一起变,就合并成一个 FD 值,或者改用通道。keyAt(i) 每次调用安全,但 count() 和 keyAt(i) 之间列表可能已经变了,别把它当快照。

五、排队:生产者与消费者

Channel(name) 是同进程按名字开的 FIFO。

bash 复制代码
// job.fun
use 'lib-worker.fun';

fun produce(payload)
  var a = payload.getJson(fd: true);
  var q = Channel(a[0]);
  for i = 1 to a[1].toNum() do q.send('' & i); end do;
  result = '' & a[1];
end fun;
bash 复制代码
use 'lib-worker.fun';

var q = Channel('numbers');
var p = WorkerFile('job.fun', 'produce', (new ['numbers', 5]).@toJson(fd: true));
var sum = 0;
for i = 1 to 5 do
  var v = q.recv(5000);      // 毫秒,nil 表示超时
  if v <> nil then sum += v.toNum(); end if;
end do;
?. sum;                      // 15
?. p.join(-1);               // 5

send 不等,直接进队列;recv(ms) 按 FIFO 取,空了就等,-1 等到天荒地老;tryRecv() 不等;close() 之后队列里的还能取完,再取就是 nil,再 send 就报错。队列没有上限,生产者比消费者快,内存会一直涨;要么在协议里加确认通道,要么限制在途条数。

六、别把主线程堵住

join 会停住调用它的线程。脚本里无所谓,服务里不行。这时用 onDone:

bash 复制代码
use 'lib-worker.fun';

var seen = new [];
var w = WorkerFile('job.fun', 'sum', (new [1000]).@toJson(fd: true));
w.onDone(fun (text, err) {
  if err <> nil then
    ?. 'failed: ' & err;
  else
    seen.@add(text);
  end if;
});

workerWaitAll(10000);   // 脚本里图省事:都等完再统一回调

onDone 注册后不会立刻跑,必须有人调 workerTick(),而且是在调 workerTick 的那个线程上跑。服务端的事件循环里,每次轮询结束调一次即可。lib-winsock-base 的 Scheduler 有 onTick,一行接上:

bash 复制代码
workerAttach(s);        // 之后每次 s.Tick() 结束都会 workerTick()

一个 worker 只能设一次 onDone。回调里抛异常不会饿死后面的回调,workerTick 会先跑完其余的,再把第一个异常抛出来。workerPending() 能看还有几个没派发。

(吐槽:join 和 onDone 的关系,像「在窗口等」和「留个电话」。留电话要记得手机开机,workerTick 就是开机。)

七、用前须知

  • 只有 funcmd-mt 能开 worker。Linux x64 发布包里是 fun/fun-mt;自己编用 src/prj/fun/make-linux-x86_64-mt.sh。默认 fun/fun 第一次 use 'lib-worker.fun' 就报一句明白话,不会假装能跑。
  • 每个 worker 都重新解析自己的模块。任务太小,解析比干活还贵。常驻线程池、取消、优先级,目前都没有。
  • 线程之间不共享 Fun 对象,也不共享 worker 的模块全局变量。同一个文件开两个 worker,两个 var 各是各的。
  • 没有跨进程 worker,没有远程队列。要跨机器,自己接 HTTP 或消息队列。
  • 目前只有 Linux x86_64 的多线程构建。Windows、macOS、ARM 还是单线程二进制。
  • MT 构建里 WriteOut/WriteErr 加了锁,几个 worker 同时 ?. 不会把字节搅在一起,但别指望输出顺序。

八、先分一口,再分一锅

我的建议很土:先把串行版本写对,量一下时间,确认瓶颈真在 CPU,再把最里面那段搬进 job 文件。先 WorkerFile 单发,确认输入输出对得上;再换 workerMapLimit 批量;共享状态能不用就不用,非要用就一个键一个意思;最后才考虑通道和事件循环。

并发这事,最贵的不是线程,是「以为两个线程看到的是同一份数据」。Fun 这次把共享从源头切掉了,用起来反倒简单:能传字符串就传字符串,要结构就 FD,要计数就 Shared,要排队就 Channel。剩下的,交给调度器。

(跑完八个 worker 的计数器,我看了一眼机器负载,又看了一眼单线程版本。快是快了点,电表也转得快了点。)

相关推荐
爱写Bug的浮游1 天前
初识仓颉:5 分钟看懂核心语法
harmonyos·编程语言
2601_967979121 天前
“Python,就是新的 BASIC!”
python·编程语言·历史·basic·比较
用户2776356090373 天前
自制编程语言Impor
编程语言
用户37215742613510 天前
C# 实现 Excel 单元格保护:锁定公式并允许编辑指定区域
c#·ai编程·编程语言
2601_9679873714 天前
python条件表达式的多项、双向分支示例介绍
编程语言·代码示例·三元运算符·python条件表达式·双分支选择结构
§ꦿCFོ༉14 天前
嵌入式八股文—C语言入门学习(二)
c语言·学习·嵌入式·编程语言
§ꦿCFོ༉16 天前
嵌入式八股—C语言入门学习(一)
c语言·编程语言·嵌入式八股文
Funlang16 天前
Fun 语法三则:花括号、块尾分号、点号后的关键字
编程语言
codigger16 天前
2026年,AI PC靠什么反超传统PC?
ai·大模型·编程语言