linux核间通信和中断

ARM32 四核:锁的选择、IPI 原理与三大一致性完整解析

以典型的 ARM32 四核 Cortex-A9(i.MX6Q / Exynos4412)+ GIC + SCU + PL310 平台为例,逐层拆解。

一、四核用什么锁?------ 自旋锁为主,但不止一种

答案:内核中多核间短临界区用自旋锁(spinlock),可睡眠场景用互斥体(mutex),根据场景选锁。

1.1 为什么多核离不开自旋锁

场景 上下文 能否睡眠 应该用
中断处理、软中断、持锁时间极短 原子上下文 ❌ spinlock
进程上下文、临界区较长/会睡眠 进程上下文 ✅ mutex / semaphore
读多写少 两者皆可 看版本 rwlock / rw_semaphore / RCU
简单计数 任意 --- atomic(根本不用锁)

核心逻辑:多核自旋时其他核在并行干活,自旋等待不浪费(区别于单核);但中断上下文不能睡眠,所以只能自旋。

1.2 ARM32 自旋锁的实现原理(重点)

(1)硬件基石:LDREX/STREX + 全局独占监视器

复制代码
// ARM32 原子操作的骨架(arch/arm/include/asm/spinlock.h / atomic.h)
1:  ldrex   r1, [r0]        ; 独占读:全局监视器记录"addr 被本核监视"
    add     r1, r1, #1
    strex   r2, r1, [r0]    ; 独占写:期间任何核写过该地址 → 失败(r2=1)
    cmp     r2, #0
    bne     1b              ; 失败重试

全局独占监视器位于 SCU 内:四核中任何一方写该缓存行 → 另一方的 STREX 必失败 → 保证同一时刻只有一个核完成"读-改-写"。

(2)老内核:票锁(ticket lock)

复制代码
// ARM32 老内核 arch_spinlock 结构:两个16位字段
// { next_ticket(下一个发号), owner_ticket(当前持有者的号) }
取锁: LDREX 原子地 next++,拿到自己的号 my = old.next
自旋: 等待 lock.owner == my(盯 owner 字段的缓存行)
解锁: owner++(正好唤醒队尾的下一个等待者)

好处:四核按先来后到排队,无饥饿;每个自旋者只监控前驱的缓存行,减少总线乒乓。

(3)新内核:qspinlock(排队锁) ,原理类似但用位域压缩成 32 位,配合 MCS 队列,核心还是 cmpxchg(ARM32 上即 LDREX/STREX 循环)。

1.3 spinlock 与 spinlock_irqsave 的区别(ARM32 多核经典坑)

复制代码
spin_lock(&lock);            // 只防其他核,不防本核中断
                             // 若中断里也拿同一把锁 → 本核自旋等自己 → 死锁!
spin_lock_irqsave(&lock, flags);  // 拿锁同时关本核中断 → 安全

多核下自旋锁防"其他核",关中断防"本核"------两个维度都要考虑。

1.4 其他锁速览

复制代码
mutex_lock(&m);        // 拿不到就睡眠(原子CAS失败 → 进等待队列 → schedule())
                       // 唤醒靠唤醒队列 + 也可用 IPI 抢占推送
down_read(&rwsem);     // 读共享
atomic_inc(&n);        // LDREX/STREX 循环,最轻量
rcu_read_lock();       // 读端零开销(不加锁不写共享),写端延迟回收

二、IPI 原理(Inter-Processor Interrupt 核间中断)

2.1 硬件机制:GIC 的软件触发中断

ARM32 四核的中断由 GIC(如 PL390/GIC-400) 管理。IPI 的本质是:CPU 向 GIC 的 SGIR(Software Generated Interrupt Register)寄存器写值,让 GIC 给指定核发一个特定编号的中断。

复制代码
┌──────┐    写 GICD_SGIR      ┌─────────────────────┐
│ 核0  │ ──────────────────► │  GIC 分发器          │
└──────┘                     │  目标列表: 核1       │
                             │  中断号: 16(IPI)     │
┌──────┐   IRQ(中断号16)      └──────────┬──────────┘
│ 核1  │ ◄───────────────────────────────┘
└──────┘  执行 IPI 处理函数

GICD_SGIR 寄存器位域(ARM GICv1/v2):

复制代码
[25:24] TargetListFilter: 
        00 = 用 TargetList 字段指定目标核
        01 = 发给除自己外所有核
        10 = 只发给自己
[23:16] CPUTargetList: 每位代表一个核(bit0=核0, bit1=核1...)
[3:0]   SGIInterruptID: 中断号 0~15,内核用它区分 IPI 类型

2.2 Linux 内核实现(arch/arm/kernel/smp.c)

复制代码
// 各 IPI 类型的编号(内核启动时 gic_raise_softirq 注册)
#define IPI_WAKEUP   0   // 唤醒核
#define IPI_TIMER    1   // 本核tick(无局部定时器时)
#define IPI_RESCHEDULE 2 // 请求重新调度
#define IPI_CALL_FUNC 3  // 让目标核执行指定函数(smp_call_function)
#define IPI_CPU_STOP 5   // 停核(panic时)
...

// 触发 IPI 的底层:写 SGIR
static void gic_raise_softirq(const struct cpumask *mask, unsigned int irq)
{
    writel(...)   // 把目标核mask + IPI编号 编码后写入 GICD_SGIR
}

// 四核间最常用的接口
smp_call_function(cpu_mask, func, info, wait);
// 流程: 把 func 挂到 per-cpu 队列 → 发 IPI_CALL_FUNC →
//       目标核收到中断 → 在 IPI 处理函数里执行 func

2.3 IPI 完整触发流程(例:核0让核2执行函数)

复制代码
核0: smp_call_function_single(2, my_func, arg)
  → csd.data = arg, csd.func = my_func(写入核2的per-cpu队列)
  → smp_wmb()(保证函数数据先于通知可见)
  → gic_raise_softirq(mask_of(cpu2), IPI_CALL_FUNC)
  → 写 GICD_SGIR
      ↓ 硬件
核2: GIC 向核2的 CPU 接口拉起 IRQ 16
  → 核2 进 IRQ 模式,读取 IAR 确认中断
  → handle_IPI() → 遍历调用队列执行 my_func(arg)

IPI 就是四核通信的"门铃":数据走共享内存,"叮咚"走 GIC。

三、数据一致性总览:三个层次

多核一致性分三层,逐层加码:

层次 问题 解决者
内存一致性 写操作何时/按什么顺序对其他核可见 DMB/DSB 屏障(软件为主)
缓存一致性 四核 L1 各有副本,如何不读到旧值 SCU 硬件窥探(MESI类协议)
设备一致性 DMA 外设与 CPU 缓存看到不同数据 DMA API 软件维护 / CCI 硬件

四、内存一致性原理

4.1 ARM32 是弱内存序模型

复制代码
核0: 写X=1; 写Y=1;      核1: 可能先看到Y=1后看到X=1 ← 合法!

原因:写缓冲(write buffer)延迟/重排写,读也可以乱序。x86 程序员默认的顺序在 ARM32 上不成立。

4.2 屏障三指令

指令 语义 Linux 宏
DMB 保证屏障两侧内存访问顺序 smp_mb()/smp_rmb()/smp_wmb() → dmb ish
DSB 之前的访问全部完成才继续执行 mb()/wmb()
ISB 流水线冲刷(改页表/向量表后) isb()

4.3 正确的四核消息传递范式

复制代码
// 核0(生产者)              // 核1(消费者)
data = 123;
smp_wmb();   ← 屏障 →        if (READ_ONCE(flag) == 1) {
flag = 1;                        smp_rmb();
                                 x = data;   // 保证看到123
                             }

无屏障的后果:核1 看到 flag=1 却读到旧 data ------ 这是四核系统最隐蔽的 bug。

五、缓存一致性原理(SCU 硬件窥探)

5.1 结构

复制代码
核0     核1     核2     核3
L1      L1      L1      L1      ← 每核私有
└───┬───┴───┬───┴───┬───┘
    └───────┴───────┘
        SCU(窥探控制单元)
        ├ 管理四核L1一致性(MESI变体)
        └ 过滤/仲裁 L2 访问
              │
        L2 (PL310, 共享)
              │
             DDR

5.2 SCU 的窥探流程(四核协奏)

复制代码
① 核0 读 addr → 无缓存 → 从L2/DDR调入 → 核0: Valid(干净)

② 核1 写 addr → SCU 广播窥探 → 核0该行失效
              → 核1: Dirty(独占,内存是旧值)

③ 核2 读 addr → SCU 窥探发现核1是Dirty
              → 核1脏行写回L2 → 核2取新值
              → 核1/核2均 Valid(共享)

④ 核3 写 addr → 广播invalidate → 核0/1/2行全失效
              → 核3独占Dirty

结论:普通内核数据(页表标 Inner-Shareable + WB缓存)的 L1 一致性由 SCU 硬件自动保证,软件无感知。

5.3 软件必须出手的场合

复制代码
// ① 核唤醒(hotplug):睡觉时错过窥探 → 醒来先全量无效L1
invalidate_all_caches();

// ② 修改页表后:页表遍历器(硬件MMU)不走SCU路径
flush_cache_all();  // → clean+invalidate L1/PL310

// ③ DMA(见下节)

六、设备一致性原理(DMA 与外设)

6.1 问题根源

A9 时代 DMA 外设不参与 SCU 一致性域 :外设直接读写 DDR,CPU 数据可能滞留在 L1/L2 缓存------两边看同一地址是不同数据。

复制代码
CPU读addr: L1缓存旧值 ←→  DDR: DMA刚写入的新值  ←外设看到的是这个

6.2 软件维护(ARM32 标准路线:DMA API)

复制代码
// CPU → 设备(如发网络包)
dma_map_single(dev, buf, len, DMA_TO_DEVICE);
// 底层: clean 缓存(把CPU脏行写回DDR)→ 设备能读到新数据

// 设备 → CPU(如收网络包)
dma_map_single(dev, buf, len, DMA_FROM_DEVICE);
// 底层: invalidate 缓存(丢弃旧缓存行)→ CPU读时强制走DDR拿新数据

口诀:TO 设备就 clean(写回),FROM 设备就 invalidate(作废)。

漏掉这些调用的症状:数据"偶尔"错乱------因为某个核的缓存恰好碰上有旧数据,典型的非确定性 bug。

6.3 硬件路线(对比)

新架构(A53/CCI 总线)外设可加入一致性域,设备树声明 dma-coherent; 后上述 clean/invalidate 退化为屏障------A9 上没有这待遇。

6.4 设备访问顺序:dma_wmb

复制代码
// 必须描述符先写好、再敲门铃寄存器
writel(desc, dev->REG_DESC);
dma_wmb();                    // dmb oshst,防止乱序
writel(KICK, dev->REG_DOORBELL);

七、一图总结

复制代码
┌────────────── ARM32 四核全景 ──────────────┐
│ 互斥: LDREX/STREX+全局监视器               │
│      → spinlock(票锁/qspinlock, 忙等)     │
│      → mutex(慢路径睡眠) / atomic          │
│      记住: spin_lock_irqsave = 防他核+防本核中断│
│                                             │
│ 通信: 共享内存放数据 + IPI当门铃            │
│      IPI: 写GIC的SGIR → GIC向目标核发IRQ16 │
│      → handle_IPI() 执行(smp_call_function)│
│                                             │
│ 内存一致性: ARM弱序 → DMB/DSB 屏障         │
│      发布/获取范式: smp_wmb/smp_rmb        │
│                                             │
│ 缓存一致性: SCU硬件窥探四核L1(MESI变体)    │
│      唤醒核/改页表时软件flush             │
│                                             │
│ 设备一致性: DMA不进一致性域                │
│      TO_DEVICE→clean / FROM_DEVICE→invalid │
│      + dma_wmb 保证描述符先于门铃         │
└─────────────────────────────────────────────┘

一句话原理:自旋锁靠"独占监视器"实现互斥,IPI 靠"GIC 的 SGIR"实现通知,DMB/DSB 屏障保证内存可见顺序,SCU 窥探保证缓存一致,DMA API 的 clean/invalidate 弥合设备与缓存域的鸿沟------五件套共同让四核"看到同一个世界"。

相关推荐
jianqiang.xue7 天前
3倍向量算力:Arm给最小MCU装上本地AI
arm开发·人工智能·单片机
蜀黍@猿7 天前
ARM 汇编入门(十二):MMU、页表与虚拟内存全解析
汇编·arm开发·stm32·mcu
蜀黍@猿8 天前
ARM 汇编入门(十):标量浮点与 VFP 指令全解析
汇编·arm开发·stm32·mcu
Good白101910 天前
嵌入式:1.嵌入式入门|初识嵌入式、处理器、ARM与STM32
arm开发·stm32·嵌入式硬件
물の韜11 天前
ZYNQ/FMQL系列Linux之I2C开发实战
linux·arm开发·嵌入式硬件·设备树·iic·zynq
女神下凡12 天前
芯参谋(95):嵌入式文件系统_开发指南
linux·服务器·arm开发·驱动开发·设计规范
女神下凡16 天前
芯参谋(85):Linux_PPI_NAND_驱动开发指南
linux·运维·arm开发·驱动开发·单片机·嵌入式硬件·设计规范
NamoAmitabha12816 天前
ARM Cortex-A9 核心架构(演化后的“缝合怪”)--deepseek
arm开发·zynq--ps