基于大语言模型（LLM）的个体模拟，旨在复现特定个体在不同社会情境下如何交流、作出决策并回应他人（Mou et al., 2024a；Xi et al., 2025）。它支持基于人设的对话（Tang et al., 2024）、用户行为预测（Wang et al., 2026a）、社会科学实验（Mou et al., 2024b）和多智能体角色扮演（Wang et al., 2025b）等应用。经典社会行为理论（Lewin, 1936；Rao and Georgeff, 1995）指出，人的行动是个人倾向与变化环境共同作用的结果。因此，有效的模拟器应当保留个体特有的知识和偏好，同时根据变化的社会情境、交互目标与历史调整行为。图 1：个体模拟的三种路线。（a）通用模型可能弱化不同人设之间的差异。（b）任务驱动的后训练产生碎片化的技能。（c）面向个体模拟的基础模型整合互补能力。
通用基础模型本身难以充分实现这一目标。虽然预训练捕捉了广泛的群体层面语言规律，但 RLHF、DPO 等当代后训练方法明显偏重可验证推理、安全性，以及编程和数学等目标完成型任务。此外，偏好优化通常更青睐符合主流偏好分布的回答，这可能推动模型行为趋同，并降低其对独特、长尾人设的敏感性（Slocum et al., 2025；Li et al., 2025b）。如图 1（a）所示，这种不匹配使大语言模型产生同质化、被"拉平"的行为，掩盖真实的个体差异，从根本上限制了模拟的忠实度。
为缓解这种同质化，现有方法主要依赖基于提示的条件控制或任务驱动的后训练（Wang et al., 2026b；Liu et al., 2025；Zhang et al., 2025b；Ge et al., 2024）。然而，提示仅在推理时提供人设信息，并未改变模型底层的行为先验。任务驱动的后训练提供了直接的行为监督，但向未见情境迁移的能力有限，如图 1（b）所示。近期研究尝试通过汇集多个场景的数据进行联合训练来弥补这一不足，如图 1（c）所示（Lei et al., 2026；Zhou et al., 2026a）。但简单地混合异构语料，往往会引发严重的目标干扰，因为不同任务中相互冲突的监督信号可能损害任务特有的行为（Mueller et al., 2024；Zhang et al., 2025a；Yuan et al., 2025）。解决这一冲突，需要超越临时拼凑式的数据混合，系统地拆解个体模拟的基础能力，并在它们之间作出权衡。
基于 FONTS 分类体系，我们提出 Socio-Foundation，通过旨在规避跨任务干扰的三阶段后训练流程进行训练。我们将专门化学习与能力整合分开，而非强迫单一策略直接优化相互冲突的目标：首先，在相互隔离的环境中使用 DAPO（Yu et al., 2026）训练任务级专家，使不同的行为独立发展成熟；随后，依据能力相近程度，通过离策略蒸馏（Kim and Rush, 2016）将其整合为五个能力专家；最后，通过多教师在策略蒸馏（MOPD；Ma et al., 2026）将这些专家统一到一个学生模型中。模型在自身生成的交互轨迹上接受冻结专家的监督，在不发生策略漂移的情况下协调相互竞争的信号，从而形成兼顾宏观轨迹连贯性与微观人设忠实度的统一模拟器。
个体模拟。 现有个体模拟研究关注：如何让大语言模型依据特定个体生成行为，而不是仅遵循群体层面的普遍规律。人设描述（Argyle et al., 2023；Park et al., 2023）、访谈（Park et al., 2024）、记忆和交互历史提供条件信息；提示与检索、参数高效适配以及基于奖励的后训练，则用于编码和细化个体特征（Argyle et al., 2023；Shao et al., 2023；Yu et al., 2024；Lu et al., 2024；Wang et al., 2024, 2025c）。因此，仍待解决的挑战是：构建一个共享模型，在保持人设忠实度的同时，能够迁移到不同的社会情境和行为要求中。
面向个体模拟的基础模型。 近期研究开始学习能够跨角色、跨情境复用的个体层面行为。角色扮演和用户模拟模型学习基于人设的对话以及用户侧交互策略（Shao et al., 2023；Wang et al., 2025b；Naous et al., 2026a）；认知与行为基础模型则从心理学实验、社会科学数据和大规模交互语料中学习可迁移的反应模式（Binz et al., 2024；Xie et al., 2025；Gong et al., 2025；Kolluri et al., 2025）。一种常见流程是先进行广泛领域的适配，再进行任务特定的后训练，随后通过模型合并（Lei et al., 2026）或轨迹级 SFT 蒸馏（Zhou et al., 2026a），将训练得到的专用模型整合为统一模型。近期的在策略蒸馏和多教师蒸馏方法，进一步将专家的优化与整合为通用模型的过程分开（Agarwal et al., 2024；Ma et al., 2026；Wu et al., 2026c）。然而，如何围绕个体模拟所需的跨任务能力来组织异构专家，仍缺乏充分研究。
问题设定。 我们将个体模拟表述为多方交互中的条件生成问题。设 D = { E n } n = 1 N \mathcal{D}=\{\mathcal{E}n\}{n=1}^{N} D={En}n=1N 为交互片段组成的数据集，每个片段 E n \mathcal{E}n En 可能涉及多个个体。第 n n n 个片段中，个体 k k k 在第 t t t 轮的一个回应样本表示为 ( z n , k , t , y n , k , t ) (z{n,k,t},y_{n,k,t}) (zn,k,t,yn,k,t)，其中 z n , k , t = ( p n , k , h n , k , t , c n , k , t ) z_{n,k,t}=(p_{n,k},h_{n,k,t},c_{n,k,t}) zn,k,t=(pn,k,hn,k,t,cn,k,t)，包含个体的人设 p n , k p_{n,k} pn,k、交互历史 h n , k , t h_{n,k,t} hn,k,t 和社会情境 c n , k , t c_{n,k,t} cn,k,t。目标行为服从未知的条件分布 p ⋆ ( y ∣ z ) p^\star(y\mid z) p⋆(y∣z)。模拟器 π θ \pi_\theta πθ 以自回归方式近似这一分布：
π θ ( y ∣ z ) = ∏ ℓ = 1 L π θ ( y ℓ ∣ z , y < ℓ ) . (1) \pi_\theta(y\mid z)=\prod_{\ell=1}^{L}\pi_\theta\left(y^\ell\mid z,y^{<\ell}\right). \tag{1} πθ(y∣z)=ℓ=1∏Lπθ(yℓ∣z,y<ℓ).(1)
基于组的策略优化。 近端策略优化（PPO）通过带裁剪的替代目标稳定策略更新，并使用学习得到的价值函数估计优势。组相对策略优化（GRPO）不再使用价值模型，而是针对同一个输入 x x x 采样一组包含 G G G 个回应的样本 { y i } i = 1 G \{y_i\}_{i=1}^{G} {yi}i=1G，通过相对奖励估计它们的优势。其组相对优势和 token 级重要性比率为：
A i = R j ( τ i ) − R ˉ s R , ρ i , t ( θ j ) = π θ j ( a i , t ∣ h i , t ) π j , o l d ( a i , t ∣ h i , t ) . (2) A_i=\frac{R_j(\tau_i)-\bar R}{s_R},\qquad \rho_{i,t}(\theta_j)=\frac{\pi_{\theta_j}(a_{i,t}\mid h_{i,t})}{\pi_{j,\mathrm{old}}(a_{i,t}\mid h_{i,t})}. \tag{2} Ai=sRRj(τi)−Rˉ,ρi,t(θj)=πj,old(ai,t∣hi,t)πθj(ai,t∣hi,t).(2)
其中， R ˉ \bar R Rˉ 和 s R s_R sR 分别为组内奖励的均值和标准差， a i , t a_{i,t} ai,t 是模拟器在轨迹 i i i 中生成的第 t t t 个 token， h i , t h_{i,t} hi,t 是生成该 token 前可见的历史。
策略蒸馏。 知识蒸馏将教师 q q q 的预测分布迁移给学生 π θ \pi_\theta πθ。离策略蒸馏在固定数据集提供的前缀上计算教师输出；在策略蒸馏（OPD）则在从学生自身生成轨迹的分布中采样得到的历史上计算教师输出。令 d π θ d^{\pi_\theta} dπθ 表示由 π θ \pi_\theta πθ 产生的历史分布，多教师在策略蒸馏（MOPD）将 OPD 扩展到一组能力特定的教师 { q d } d = 1 D \{q_d\}_{d=1}^{D} {qd}d=1D：
L M O P D ( θ ) = E h t ∼ d π θ ∑ d = 1 D λ d D K L ( sg \[ q d ( ⋅ ∣ p , h t , c t ) ∥ π θ ( ⋅ ∣ p , h t , c t ) ) ] . (3) \mathcal{L}{\mathrm{MOPD}}(\theta)=\mathbb{E}{h_t\sim d^{\pi_\theta}}\left\\sum_{d=1}\^{D}\\lambda_d D_{\\mathrm{KL}}\\left(\\operatorname{sg}\\left\[q_d(\\cdot\\mid p,h_t,c_t)\\right\,\middle\|\,\pi_\theta(\cdot\mid p,h_t,c_t)\right)\right]. \tag{3} LMOPD(θ)=Eht∼dπθd=1∑DλdDKL(sg\[qd(⋅∣p,ht,ct)∥πθ(⋅∣p,ht,ct))].(3)
其中， λ d \lambda_d λd 控制教师 q d q_d qd 的贡献， sg ⋅ \operatorname{sg}\\cdot sg⋅ 阻止梯度通过教师传播。前向 KL 鼓励学生覆盖教师所支持的行为模式，而使用学生自身生成的历史，则减少了蒸馏训练与自回归推理之间的不匹配。
我们使用任务特定的强化学习，为每个任务分别训练一个任务专家。对于任务 j j j，我们从共同的模型检查点 π 0 \pi_0 π0 初始化策略 π θ j \pi_{\theta_j} πθj，其中 θ j \theta_j θj 表示其可训练参数。给定从任务分布 D j \mathcal{D}j Dj 中采样的上下文 x x x，用于采样的策略 π j , o l d \pi{j,\mathrm{old}} πj,old 在任务环境中生成一组包含 G G G 条轨迹的样本 { τ i } i = 1 G \{\tau_i\}_{i=1}^{G} {τi}i=1G。每条轨迹获得任务特定的奖励 R j ( τ i ) R_j(\tau_i) Rj(τi)。我们使用 DAPO（Yu et al., 2026）优化策略。动态采样会过滤掉奖励方差为零的组。策略最小化以下目标：
L t a s k ( j ) ( θ j ) = − E 1 ∑ i = 1 G L i ∑ i = 1 G ∑ t = 1 L i min ( ρ i , t ( θ j ) A i , clip ( ρ i , t ( θ j ) , 1 − ϵ l o w , 1 + ϵ h i g h ) A i ) . (4) \mathcal{L}_{\mathrm{task}}^{(j)}(\theta_j) =-\mathbb{E}\left \\frac{1}{\\sum_{i=1}\^{G}L_i} \\sum_{i=1}\^{G}\\sum_{t=1}\^{L_i} \\min\\left( \\rho_{i,t}(\\theta_j)A_i, \\operatorname{clip}\\left( \\rho_{i,t}(\\theta_j),1-\\epsilon_{\\mathrm{low}},1+\\epsilon_{\\mathrm{high}} \\right)A_i \\right) \\right. \tag{4} Ltask(j)(θj)=−E∑i=1GLi1i=1∑Gt=1∑Limin(ρi,t(θj)Ai,clip(ρi,t(θj),1−ϵlow,1+ϵhigh)Ai).(4)
其中， L i L_i Li 统计模拟器生成的 token 数量；期望涵盖采样得到的上下文和保留下来的轨迹组； ϵ l o w \epsilon_{\mathrm{low}} ϵlow 与 ϵ h i g h \epsilon_{\mathrm{high}} ϵhigh 分别规定下侧和上侧的裁剪范围。该目标在限制策略更新幅度的同时，提高相对高奖励行为的生成概率。
E ( j , h ) ∼ D d o f f D K L ( π j ( ⋅ ∣ h ) ∥ q ϕ d ( ⋅ ∣ h ) ) , (5) \mathbb{E}{(j,h)\sim\mathcal{D}{d}^{\mathrm{off}}} \leftD_{\\mathrm{KL}}\\left( \\pi_j(\\cdot\\mid h)\\,\\middle\\\|\\,q_{\\phi_d}(\\cdot\\mid h) \\right)\\right, \tag{5} E(j,h)∼DdoffDKL(πj(⋅∣h)∥qϕd(⋅∣h)),(5)
其中， D K L D_{\mathrm{KL}} DKL 表示 KL 散度，两个条件分布均定义在共享的下一个 token 词表上。该目标将源专家在每个前缀上的预测分布迁移给能力学生。任务身份决定由哪个专家提供监督，能力归属则决定由哪个学生接受监督。这些前缀在整个阶段中保持固定，因此相对于 q ϕ d q_{\phi_d} qϕd，该目标是离策略的。能力归属的重叠，使一个任务的监督能够贡献给多个教师，而不需要将该任务的奖励拆解为各个能力的独立分数。
我们进一步通过多教师在策略蒸馏（Ma et al., 2026）整合能力教师，在学生实际生成过程中遇到的前缀上对其进行监督。
E h ∼ μ θ ˉ ∑ d ∈ C λ d D K L ( q d ( ⋅ ∣ h ) ∥ π θ ( ⋅ ∣ h ) ) , (6) \mathbb{E}{h\sim\mu{\bar\theta}} \left\\sum_{d\\in\\mathcal{C}}\\lambda_d D_{\\mathrm{KL}}\\left( q_d(\\cdot\\mid h)\\,\\middle\\\|\\,\\pi_\\theta(\\cdot\\mid h) \\right)\\right, \tag{6} Eh∼μθˉd∈C∑λdDKL(qd(⋅∣h)∥πθ(⋅∣h)),(6)
其中， λ d ≥ 0 \lambda_d\geq0 λd≥0，且 ∑ d ∈ C λ d = 1 \sum_{d\in\mathcal{C}}\lambda_d=1 ∑d∈Cλd=1。该目标使学生在自身生成过程中遇到的历史上，与能力教师的预测分布相匹配；实现时使用这一目标的采样式前向 KL 替代损失。在每次梯度更新期间，教师和采样得到的历史保持固定；后续轨迹则由更新后的学生重新生成。所有教师均基于同一个由学生生成的前缀，对后续生成进行评分。训练完成后，进行模拟只需要最终得到的策略 π θ \pi_\theta πθ。
训练数据集。 我们收集了 40 多个个体模拟数据集，经过处理和清洗后得到超过 1,900 万条样本。我们依据三个标准选择训练数据集：（i）规模足以支持任务专家训练；（ii）数据质量高；（iii）与能力维度对应清晰，且在场景和能力覆盖上相互补充。最终得到包含约 1,000 万条样本的 14 个训练数据集：LifeChoices（Xu et al., 2025）、AlignX（Li et al., 2026）、HumanLLM（Lei et al., 2026）、BehaviorChain（Li et al., 2025a）、CoSER（Wang et al., 2025b）、HUMANUAL（Wu et al., 2026b，其中四个子任务数据集分别计数）、UserLM-S3（Naous et al., 2026b）、FANToM（Kim et al., 2023）、Social-R1（Wu et al., 2026a）、SOTOPIA（Zhou et al., 2024）和 MirrorBench（Hathidara et al., 2026）。DAPO 和 OPD 的训练输入均从这一语料库中采样，具体采样方式见附录 C.4。
图 1：个体模拟的三种路线。（a）通用模型可能弱化不同人设之间的差异。（b）任务驱动的后训练产生碎片化的技能。（c）面向个体模拟的基础模型整合互补能力。
