ARM32 四核:锁的选择、IPI 原理与三大一致性完整解析
以典型的 ARM32 四核 Cortex-A9(i.MX6Q / Exynos4412)+ GIC + SCU + PL310 平台为例,逐层拆解。
一、四核用什么锁?------ 自旋锁为主,但不止一种
答案:内核中多核间短临界区用自旋锁(spinlock),可睡眠场景用互斥体(mutex),根据场景选锁。
1.1 为什么多核离不开自旋锁
| 场景 | 上下文 | 能否睡眠 | 应该用 |
|---|---|---|---|
| 中断处理、软中断、持锁时间极短 | 原子上下文 | ❌ | spinlock |
| 进程上下文、临界区较长/会睡眠 | 进程上下文 | ✅ | mutex / semaphore |
| 读多写少 | 两者皆可 | 看版本 | rwlock / rw_semaphore / RCU |
| 简单计数 | 任意 | --- | atomic(根本不用锁) |
核心逻辑:多核自旋时其他核在并行干活,自旋等待不浪费(区别于单核);但中断上下文不能睡眠,所以只能自旋。
1.2 ARM32 自旋锁的实现原理(重点)
(1)硬件基石:LDREX/STREX + 全局独占监视器
// ARM32 原子操作的骨架(arch/arm/include/asm/spinlock.h / atomic.h)
1: ldrex r1, [r0] ; 独占读:全局监视器记录"addr 被本核监视"
add r1, r1, #1
strex r2, r1, [r0] ; 独占写:期间任何核写过该地址 → 失败(r2=1)
cmp r2, #0
bne 1b ; 失败重试
全局独占监视器位于 SCU 内:四核中任何一方写该缓存行 → 另一方的 STREX 必失败 → 保证同一时刻只有一个核完成"读-改-写"。
(2)老内核:票锁(ticket lock)
// ARM32 老内核 arch_spinlock 结构:两个16位字段
// { next_ticket(下一个发号), owner_ticket(当前持有者的号) }
取锁: LDREX 原子地 next++,拿到自己的号 my = old.next
自旋: 等待 lock.owner == my(盯 owner 字段的缓存行)
解锁: owner++(正好唤醒队尾的下一个等待者)
好处:四核按先来后到排队,无饥饿;每个自旋者只监控前驱的缓存行,减少总线乒乓。
(3)新内核:qspinlock(排队锁) ,原理类似但用位域压缩成 32 位,配合 MCS 队列,核心还是 cmpxchg(ARM32 上即 LDREX/STREX 循环)。
1.3 spinlock 与 spinlock_irqsave 的区别(ARM32 多核经典坑)
spin_lock(&lock); // 只防其他核,不防本核中断
// 若中断里也拿同一把锁 → 本核自旋等自己 → 死锁!
spin_lock_irqsave(&lock, flags); // 拿锁同时关本核中断 → 安全
多核下自旋锁防"其他核",关中断防"本核"------两个维度都要考虑。
1.4 其他锁速览
mutex_lock(&m); // 拿不到就睡眠(原子CAS失败 → 进等待队列 → schedule())
// 唤醒靠唤醒队列 + 也可用 IPI 抢占推送
down_read(&rwsem); // 读共享
atomic_inc(&n); // LDREX/STREX 循环,最轻量
rcu_read_lock(); // 读端零开销(不加锁不写共享),写端延迟回收
二、IPI 原理(Inter-Processor Interrupt 核间中断)
2.1 硬件机制:GIC 的软件触发中断
ARM32 四核的中断由 GIC(如 PL390/GIC-400) 管理。IPI 的本质是:CPU 向 GIC 的 SGIR(Software Generated Interrupt Register)寄存器写值,让 GIC 给指定核发一个特定编号的中断。
┌──────┐ 写 GICD_SGIR ┌─────────────────────┐
│ 核0 │ ──────────────────► │ GIC 分发器 │
└──────┘ │ 目标列表: 核1 │
│ 中断号: 16(IPI) │
┌──────┐ IRQ(中断号16) └──────────┬──────────┘
│ 核1 │ ◄───────────────────────────────┘
└──────┘ 执行 IPI 处理函数
GICD_SGIR 寄存器位域(ARM GICv1/v2):
[25:24] TargetListFilter:
00 = 用 TargetList 字段指定目标核
01 = 发给除自己外所有核
10 = 只发给自己
[23:16] CPUTargetList: 每位代表一个核(bit0=核0, bit1=核1...)
[3:0] SGIInterruptID: 中断号 0~15,内核用它区分 IPI 类型
2.2 Linux 内核实现(arch/arm/kernel/smp.c)
// 各 IPI 类型的编号(内核启动时 gic_raise_softirq 注册)
#define IPI_WAKEUP 0 // 唤醒核
#define IPI_TIMER 1 // 本核tick(无局部定时器时)
#define IPI_RESCHEDULE 2 // 请求重新调度
#define IPI_CALL_FUNC 3 // 让目标核执行指定函数(smp_call_function)
#define IPI_CPU_STOP 5 // 停核(panic时)
...
// 触发 IPI 的底层:写 SGIR
static void gic_raise_softirq(const struct cpumask *mask, unsigned int irq)
{
writel(...) // 把目标核mask + IPI编号 编码后写入 GICD_SGIR
}
// 四核间最常用的接口
smp_call_function(cpu_mask, func, info, wait);
// 流程: 把 func 挂到 per-cpu 队列 → 发 IPI_CALL_FUNC →
// 目标核收到中断 → 在 IPI 处理函数里执行 func
2.3 IPI 完整触发流程(例:核0让核2执行函数)
核0: smp_call_function_single(2, my_func, arg)
→ csd.data = arg, csd.func = my_func(写入核2的per-cpu队列)
→ smp_wmb()(保证函数数据先于通知可见)
→ gic_raise_softirq(mask_of(cpu2), IPI_CALL_FUNC)
→ 写 GICD_SGIR
↓ 硬件
核2: GIC 向核2的 CPU 接口拉起 IRQ 16
→ 核2 进 IRQ 模式,读取 IAR 确认中断
→ handle_IPI() → 遍历调用队列执行 my_func(arg)
IPI 就是四核通信的"门铃":数据走共享内存,"叮咚"走 GIC。
三、数据一致性总览:三个层次
多核一致性分三层,逐层加码:
| 层次 | 问题 | 解决者 |
|---|---|---|
| 内存一致性 | 写操作何时/按什么顺序对其他核可见 | DMB/DSB 屏障(软件为主) |
| 缓存一致性 | 四核 L1 各有副本,如何不读到旧值 | SCU 硬件窥探(MESI类协议) |
| 设备一致性 | DMA 外设与 CPU 缓存看到不同数据 | DMA API 软件维护 / CCI 硬件 |
四、内存一致性原理
4.1 ARM32 是弱内存序模型
核0: 写X=1; 写Y=1; 核1: 可能先看到Y=1后看到X=1 ← 合法!
原因:写缓冲(write buffer)延迟/重排写,读也可以乱序。x86 程序员默认的顺序在 ARM32 上不成立。
4.2 屏障三指令
| 指令 | 语义 | Linux 宏 |
|---|---|---|
DMB |
保证屏障两侧内存访问顺序 | smp_mb()/smp_rmb()/smp_wmb() → dmb ish |
DSB |
之前的访问全部完成才继续执行 | mb()/wmb() |
ISB |
流水线冲刷(改页表/向量表后) | isb() |
4.3 正确的四核消息传递范式
// 核0(生产者) // 核1(消费者)
data = 123;
smp_wmb(); ← 屏障 → if (READ_ONCE(flag) == 1) {
flag = 1; smp_rmb();
x = data; // 保证看到123
}
无屏障的后果:核1 看到 flag=1 却读到旧 data ------ 这是四核系统最隐蔽的 bug。
五、缓存一致性原理(SCU 硬件窥探)
5.1 结构
核0 核1 核2 核3
L1 L1 L1 L1 ← 每核私有
└───┬───┴───┬───┴───┬───┘
└───────┴───────┘
SCU(窥探控制单元)
├ 管理四核L1一致性(MESI变体)
└ 过滤/仲裁 L2 访问
│
L2 (PL310, 共享)
│
DDR
5.2 SCU 的窥探流程(四核协奏)
① 核0 读 addr → 无缓存 → 从L2/DDR调入 → 核0: Valid(干净)
② 核1 写 addr → SCU 广播窥探 → 核0该行失效
→ 核1: Dirty(独占,内存是旧值)
③ 核2 读 addr → SCU 窥探发现核1是Dirty
→ 核1脏行写回L2 → 核2取新值
→ 核1/核2均 Valid(共享)
④ 核3 写 addr → 广播invalidate → 核0/1/2行全失效
→ 核3独占Dirty
结论:普通内核数据(页表标 Inner-Shareable + WB缓存)的 L1 一致性由 SCU 硬件自动保证,软件无感知。
5.3 软件必须出手的场合
// ① 核唤醒(hotplug):睡觉时错过窥探 → 醒来先全量无效L1
invalidate_all_caches();
// ② 修改页表后:页表遍历器(硬件MMU)不走SCU路径
flush_cache_all(); // → clean+invalidate L1/PL310
// ③ DMA(见下节)
六、设备一致性原理(DMA 与外设)
6.1 问题根源
A9 时代 DMA 外设不参与 SCU 一致性域 :外设直接读写 DDR,CPU 数据可能滞留在 L1/L2 缓存------两边看同一地址是不同数据。
CPU读addr: L1缓存旧值 ←→ DDR: DMA刚写入的新值 ←外设看到的是这个
6.2 软件维护(ARM32 标准路线:DMA API)
// CPU → 设备(如发网络包)
dma_map_single(dev, buf, len, DMA_TO_DEVICE);
// 底层: clean 缓存(把CPU脏行写回DDR)→ 设备能读到新数据
// 设备 → CPU(如收网络包)
dma_map_single(dev, buf, len, DMA_FROM_DEVICE);
// 底层: invalidate 缓存(丢弃旧缓存行)→ CPU读时强制走DDR拿新数据
口诀:TO 设备就 clean(写回),FROM 设备就 invalidate(作废)。
漏掉这些调用的症状:数据"偶尔"错乱------因为某个核的缓存恰好碰上有旧数据,典型的非确定性 bug。
6.3 硬件路线(对比)
新架构(A53/CCI 总线)外设可加入一致性域,设备树声明 dma-coherent; 后上述 clean/invalidate 退化为屏障------A9 上没有这待遇。
6.4 设备访问顺序:dma_wmb
// 必须描述符先写好、再敲门铃寄存器
writel(desc, dev->REG_DESC);
dma_wmb(); // dmb oshst,防止乱序
writel(KICK, dev->REG_DOORBELL);
七、一图总结
┌────────────── ARM32 四核全景 ──────────────┐
│ 互斥: LDREX/STREX+全局监视器 │
│ → spinlock(票锁/qspinlock, 忙等) │
│ → mutex(慢路径睡眠) / atomic │
│ 记住: spin_lock_irqsave = 防他核+防本核中断│
│ │
│ 通信: 共享内存放数据 + IPI当门铃 │
│ IPI: 写GIC的SGIR → GIC向目标核发IRQ16 │
│ → handle_IPI() 执行(smp_call_function)│
│ │
│ 内存一致性: ARM弱序 → DMB/DSB 屏障 │
│ 发布/获取范式: smp_wmb/smp_rmb │
│ │
│ 缓存一致性: SCU硬件窥探四核L1(MESI变体) │
│ 唤醒核/改页表时软件flush │
│ │
│ 设备一致性: DMA不进一致性域 │
│ TO_DEVICE→clean / FROM_DEVICE→invalid │
│ + dma_wmb 保证描述符先于门铃 │
└─────────────────────────────────────────────┘
一句话原理:自旋锁靠"独占监视器"实现互斥,IPI 靠"GIC 的 SGIR"实现通知,DMB/DSB 屏障保证内存可见顺序,SCU 窥探保证缓存一致,DMA API 的 clean/invalidate 弥合设备与缓存域的鸿沟------五件套共同让四核"看到同一个世界"。