struct sched_ext_ops代表了一个调度器,里面定义了很多回调函数,本文分析init_task这个hook,sched ext的部分hook如下:

系统中所有的task,都会触发init_task,不管是注册sched ext调度器时,已存在的task,还是后面新创建的task。
task在fork时会被加入到scx_tasks链表,注册sched ext调度器时,遍历scx_tasks链表,对这些已存在的task执行init_task。
注册sched ext调度器时,还会设置scx_ops_init_task_enabled标记为true,fork新task时,如果该标记为true,执行init_task。
一、新task触发init_task的调用栈
SYSCALL_DEFINE0(fork)
├─ kernel_clone
| ├─ copy_process()
| | ├─ dup_task_struct
| | | ├─ arch_dup_task_struct
| | | | └─ memcpy(dst, src, arch_task_struct_size) ← 继承父task名
| | | |
| | ├─ strscpy_pad(p->comm, args->name, sizeof(p->comm)) ← 内核线程设置task
| | ├─ sched_fork()
| | | └─ scx_pre_fork()
| | ├─ ...
| | |
| | ├─ sched_cgroup_fork()
| | | ├─ 设置 p->sched_task_group ← 设置cgroup
| | | ├─ __set_task_cpu()
| | | ├─ p->sched_class->task_fork() ← sched ext没有实现这个hook
| | | └─ scx_fork()
| | | └─ scx_ops_init_task() ← scx_ops_init_task_enabled为true时,有条件触发
| | └─ BPF_STRUCT_OPS(init_task)
| ├─ sched_post_fork
| | └─ scx_post_fork
| | └─ list_add_tail(&p->scx.tasks_node, &scx_tasks)
|
├─ wake_up_new_task
注册sched ext后,新创建的task都会触发init_task的调用链(注意,即使调度策略不是sched ext也会触发),见fork栈红字部分。
执行到init_task这个钩子函数时,用户态task有可能还是父task名称(取决于有没有pctl或者execv设置了task名),内核态task是自己真实名称。
另外,需注意wake_up_new_task的时间点。
二、已存在task触发init_task的调用栈
注册sched ext调度器前,已存在的task触发init_task稍微有点复杂,分2个步骤。
首先,fork task时,task加入到scx_tasks链表中,见fork调用链的蓝色部分。
接着,注册调度器时,遍历scx_tasks链表,对链表中的每个task执行init_task。
eBPF用户态程序通过执行SCX_OPS_ATTACH,注册sched ext调度器,把"已经通过 verifier 的 struct sched_ext_ops "注册到内核中,struct sched_ext_ops(见最文章开头图片)代表sched ext调度器。
SCX_OPS_ATTACH(...,numa_aware_ops, ...) ← numa_aware_ops是sched ext调度器
├─ bpf_map__attach_struct_ops
| ├─ bpf_link_create
| | └─ BPF_CALL_3(bpf_sys_bpf, int, cmd, union bpf_attr *, attr, u32, attr_size)
↓ ↓ (进入内核态)
bpf_sys_bpf
├─ __sys_bpf(BPF_LINK_CREATE,...)
| ├─ link_create
| | ├─ bpf_struct_ops_link_create
| | | └─ st_map->st_ops_desc->st_ops->reg(st_map->kvalue.data, &link->link)
↓ ↓ ( 即 bpf_scx_reg )
bpf_scx_reg
├─ scx_ops_enable
| └─ scx_ops_init_task_enabled = true
|
| ------- scx_task_iter_start(&sti);
| 代 while ((p = scx_task_iter_next_locked(&sti))) {
| 码 ...
| 段 scx_ops_init_task ← 对scx_tasks中的每个task执行init_task
| ------ }
|
三、init_task中current task的名称是什么
bpf_get_current_task / bpf_get_current_comm获取到的进程名称分两种情况:
1)如果task是内核态的,获取到的是task自己真实的名称
2)如果task是用户态的,只有执行execve或者prctl设置名称后,task的名字才会更新成自己真实的名称。
用户态task被fork后,task继承父进程名称,见(一)调用栈。
exec修改用户态task名称调用栈如下:
SYSCALL_DEFINE3(execve,...
├─ do_execve
| └─ do_execveat_common
| ├─ alloc_bprm
| ├─ bprm_execve
| | ├─ exec_binprm
├─ search_binary_handler
| ├─ fmt->load_binary(bprm) ← 即 load_elf_binary
| ├─ begin_new_exec
| | └─ __set_task_comm
四、init_task与其他sched ext hook的并发性
fork调用栈中有个地方需要关注,执行完init_task后,才执行wake_up_new_task,所以针对这个task而言,init_task的执行时间点,一定优先于select_cpu、enqueue、dequeue、dispatch、tick、running、stopping这些hook。