先给方法论:面试答题的三段式
面试官问 AI 基础题,背不出来通常第一轮就过不了;而能走到后面几轮的人,拼的是背得出之后讲不讲得清原理。推荐的答题结构,照写工程文档的老规矩来------总、分、例:
- 总:一句话结论先给出来。面试官一天听几十个人绕弯子,先给结论是尊重对方的时间预算------跟你写技术方案先写结论是一个道理。
- 分:原理展开,讲清"为什么"。这一层决定你被判定为"背题的"还是"真懂的"。
- 例:落到一个工程场景,给一个你踩过或者推演过的坑。这是区分"读过书"和"干过活"的关键。
时间分配建议:一分钟量级的题,总 10 秒、分 30 秒、例 20 秒;面试官追问再往下钻,别一口气把库存倒完------留钩子给追问,比倒满更显功底。
12 问都按这三层拆。类比沿用全系列:大模型是文字接龙大师,面试要检验的是你知不知道这位大师的手艺边界在哪。
一、生成与采样:接龙大师的出厂设置(Q1--Q6)
Q1:大模型生成文本的过程是怎样的?
一句话答案:自回归------每步基于全部已有 token 预测下一个 token 的概率分布,采样后追加到序列尾部,循环直到结束符。(见第 01 篇)
原理展开:每生成一个 token,就是跑一次前向传播------模型给词表里每个 token 打一个分(这个原始分数叫 logits),经 temperature 调制、softmax 归一、top-p 截断后按概率抽样;序列自己回归着自己生长,所以叫自回归(autoregressive)。结束符 eos 也是"猜"出来的,max_tokens 是硬保险丝------回答戛然而止多半是这两者之一。
工程加分点:一次前向传播只产出 1 个 token,下一个必须等上一个算完------模型一口气给所有候选 token 打分,但只挑出其中一个,下一次还得从头算一遍。所以回答越长总耗时越长,这是绕不过去的延迟下限;流式输出正是为这段等待设计的:第一个字出来就先推给前端。
Q2:什么是 token?为什么按 token 计费?
一句话答案:token 是分词器切出的、介于字符和单词之间的碎片,是模型处理文本的最小单位;按 token 计费是因为计算量与显存占用都随 token 数增长。(见第 01、02 篇)
原理展开:token 是分词器切出来的块,BPE 类算法的原则是"常用词切细、生僻词切块"。它同时决定了两个东西:一是成本------生成 N 个 token 就要做 N 次前向传播,输入 token 还要全部参与注意力计算,算力和显存都是 token 数的函数;二是模型"看见"的粒度------它拿到的是这些块,不是一串字母,所以问它"strawberry 里有几个 r",它得先猜这个词被切成几段(比如 stra + w + berry),猜错就会数错------不是粗心,是它看不见单个字母。
工程加分点:换算口径------英文约 1 token ≈ 0.75 个单词,中文约 1 字 ≈ 1~2 token;输入和输出单价不同,缓存命中的输入更便宜。
Q3:讲讲 Attention 的直觉。
一句话答案:每个 token 拿自己的 Q 去和所有 token 的 K 算相关度,再按相关度加权汇聚对方的 V------本质是"带权重的信息检索"。(见第 03 篇)
原理展开:Q 是"我想找什么",K 是"我是什么标签",V 是"我携带的内容",softmax(QK^T/√d)·V 直觉上就是相关度算权重、内容按权重混合。多头机制让模型在不同语义子空间里并行做这件事。
工程加分点:窗口内任意两个 token 都能直接建立联系、与距离无关,这是 Attention 对 RNN 的碾压点;但长上下文里注意力会被稀释,这正是 lost in the middle 的来源(见 Q7)。
Q4:预训练、微调、对齐的区别?
一句话答案:预训练学语言与知识(海量文本接龙),微调学任务与格式(指令跟随),对齐学行为边界(人类偏好)。(见第 04 篇)
原理展开:预训练是自监督的 next-token prediction,投入最重,赋予模型"会说话且有知识";微调(SFT)用人工标注的指令-回答对教模型听懂人话、按格式干活;对齐(RLHF/DPO 等)用人类偏好数据调整输出倾向,解决"有用且安全"。三者是同一套架构上的连续工序,不是三个模型。
工程加分点:幻觉的根源在这一层------预训练目标是"续写得像"而不是"说得对",模型在续写,不是在查库(详见第 04、08 篇)。
Q5:幻觉是怎么产生的?怎么缓解?
一句话答案:生成机制是概率续写而非事实查询,模型会一本正经地补全"最像"的答案;缓解靠外挂事实源与工程护栏,不靠训话。(见第 04、08 篇)
原理展开:三个成因叠加------训练目标是似然而非真值;知识固化在参数里且有截止日期;解码随机性允许低概率错误被抽中。缓解分两层:模型层(对齐惩罚编造)治标;应用层治本------RAG 提供可溯源的事实源、结构化输出加校验、要求引用来源、关键场景设人工审核。
工程加分点:性价比排序是 RAG > 结构化约束 > 换更大模型 > 微调;最有效的一条是限定模型只基于检索片段作答、找不到就说不知道。
Q6:temperature 和 top-p 是干什么的?怎么设?
一句话答案:temperature 调概率分布的陡峭程度(发散度),top-p 截断候选池(防长尾),两者都控制采样随机性,通常只调一个。(见第 01 篇)
原理展开:logits 除以 T 再做 softmax:T 趋近 0 时分布尖锐、输出趋近贪心;T 升高时长尾选项出头。top-p 只从累计概率达 p 的头部候选里抽样。生产建议:抽取、代码、分类用低温(0~0.3),创意生成 0.7~1.2,同时设 max_tokens 兜底。
工程加分点:temperature 调 0 也不能保证 100% 复现------GPU 并行归约的浮点误差会带来微小抖动,同一 prompt 跑两次仍可能不同。
采样两道工序一张图:
#mermaid-svg-H7UlvGvcqP33eXio{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-H7UlvGvcqP33eXio .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-H7UlvGvcqP33eXio .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-H7UlvGvcqP33eXio .error-icon{fill:#552222;}#mermaid-svg-H7UlvGvcqP33eXio .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-H7UlvGvcqP33eXio .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-H7UlvGvcqP33eXio .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-H7UlvGvcqP33eXio .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-H7UlvGvcqP33eXio .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-H7UlvGvcqP33eXio .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-H7UlvGvcqP33eXio .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-H7UlvGvcqP33eXio .marker{fill:#333333;stroke:#333333;}#mermaid-svg-H7UlvGvcqP33eXio .marker.cross{stroke:#333333;}#mermaid-svg-H7UlvGvcqP33eXio svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-H7UlvGvcqP33eXio p{margin:0;}#mermaid-svg-H7UlvGvcqP33eXio .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-H7UlvGvcqP33eXio .cluster-label text{fill:#333;}#mermaid-svg-H7UlvGvcqP33eXio .cluster-label span{color:#333;}#mermaid-svg-H7UlvGvcqP33eXio .cluster-label span p{background-color:transparent;}#mermaid-svg-H7UlvGvcqP33eXio .label text,#mermaid-svg-H7UlvGvcqP33eXio span{fill:#333;color:#333;}#mermaid-svg-H7UlvGvcqP33eXio .node rect,#mermaid-svg-H7UlvGvcqP33eXio .node circle,#mermaid-svg-H7UlvGvcqP33eXio .node ellipse,#mermaid-svg-H7UlvGvcqP33eXio .node polygon,#mermaid-svg-H7UlvGvcqP33eXio .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-H7UlvGvcqP33eXio .rough-node .label text,#mermaid-svg-H7UlvGvcqP33eXio .node .label text,#mermaid-svg-H7UlvGvcqP33eXio .image-shape .label,#mermaid-svg-H7UlvGvcqP33eXio .icon-shape .label{text-anchor:middle;}#mermaid-svg-H7UlvGvcqP33eXio .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-H7UlvGvcqP33eXio .rough-node .label,#mermaid-svg-H7UlvGvcqP33eXio .node .label,#mermaid-svg-H7UlvGvcqP33eXio .image-shape .label,#mermaid-svg-H7UlvGvcqP33eXio .icon-shape .label{text-align:center;}#mermaid-svg-H7UlvGvcqP33eXio .node.clickable{cursor:pointer;}#mermaid-svg-H7UlvGvcqP33eXio .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-H7UlvGvcqP33eXio .arrowheadPath{fill:#333333;}#mermaid-svg-H7UlvGvcqP33eXio .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-H7UlvGvcqP33eXio .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-H7UlvGvcqP33eXio .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-H7UlvGvcqP33eXio .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-H7UlvGvcqP33eXio .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-H7UlvGvcqP33eXio .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-H7UlvGvcqP33eXio .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-H7UlvGvcqP33eXio .cluster text{fill:#333;}#mermaid-svg-H7UlvGvcqP33eXio .cluster span{color:#333;}#mermaid-svg-H7UlvGvcqP33eXio div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-H7UlvGvcqP33eXio .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-H7UlvGvcqP33eXio rect.text{fill:none;stroke-width:0;}#mermaid-svg-H7UlvGvcqP33eXio .icon-shape,#mermaid-svg-H7UlvGvcqP33eXio .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-H7UlvGvcqP33eXio .icon-shape p,#mermaid-svg-H7UlvGvcqP33eXio .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-H7UlvGvcqP33eXio .icon-shape .label rect,#mermaid-svg-H7UlvGvcqP33eXio .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-H7UlvGvcqP33eXio .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-H7UlvGvcqP33eXio .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-H7UlvGvcqP33eXio :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} logits(打分):全词表每个 token 一个分
temperature(缩放):重塑分布陡峭度
softmax(归一):分数变成概率
top-p(截断):砍掉长尾候选
抽样:得到下一个 token
二、上下文与知识:大师的记忆与坐标(Q7--Q9)
Q7:上下文窗口是什么?lost in the middle 是怎么回事?
一句话答案 :上下文窗口是模型单次能处理的最大 token 数,输入输出共享配额;窗口内信息也不是等权可用------中间位置内容的召回率显著低于首尾。(见第 02 篇)
原理展开:窗口是硬约束,塞满就截断或报错。注意力虽对距离不敏感(见 Q3),但训练数据里"关键信息多在开头结尾"的分布,让中间内容天然被冷落------召回率呈 U 形曲线。且窗口越长,成本越高、首字延迟越大。
工程加分点:关键指令放开头,检索资料按相关性排序放置,长文档用 RAG 切片而不是整篇硬塞,长对话做滚动摘要。
Q8:KV Cache 是什么?为什么需要?
一句话答案:把每个 token 算过的 Key/Value 缓存复用,生成新 token 时不再重算历史,把每步开销从"重算全序列"降为"只算新 token"。(见第 01、02 篇思考题)
原理展开:自回归每步都对全序列做注意力,但没有 Cache 时历史 token 的 K/V 会被反复重算。K/V 只依赖自身及之前的位置,生成期间不变,天然可缓存。代价是显存:Cache 大小随序列长度线性增长,长上下文服务的主要显存开销就在这里。
工程加分点:首 token 之后的每步延迟基本恒定;prefill 阶段要一次性算完整个输入,所以上下文越长,第一个字出得越慢。前缀缓存(相同 system prompt 复用)是直接省钱的手段。
Q9:Embedding 是什么?相似度怎么算?
一句话答案:Embedding 把文本映射成高维向量,语义相近则向量距离近;相似度常用余弦相似度,配合向量索引做近邻检索。(见第 05 篇)
原理展开:语义变成坐标之后,"意思接近"变成"夹角小"。检索时把查询同样向量化,用余弦或内积在向量库里找 Top-K;生产规模下用 ANN 索引(如 HNSW)以少量精度换数量级的速度。
工程加分点:Embedding 模型和生成模型是两套独立模型;查询与文档必须落在同一 Embedding 空间,换模型就得重建索引------这是线上事故的常见来源。
三、应用层三板斧:把大师装进系统(Q10--Q12)
Q10:RAG 是什么?解决什么问题?
一句话答案:检索增强生成------先从外部知识库检索相关片段,拼进上下文再让模型作答;解决知识截止、私有知识缺失、答案难溯源三大问题。(见第 08 篇)
原理展开:最小架构四段式:切块 → 向量化 → 检索 → 生成。前半段(切块、向量化、入库)在离线阶段跑完,后半段(提问、检索、生成)每次请求都要走一遍。知识放在外部、可随时更新,模型只负责"基于给定材料作答";引用片段可溯源,答案错了能定位是检索没找到还是生成没听话。重排、混合检索、查询改写算四段之外的加固(见第 08 篇)。
工程加分点:判定信号有三条------知识更新频繁、需要引用来源、语料私有,占其中一条就优先 RAG。
Q11:RAG 和微调怎么选?
一句话答案:知识频繁更新、需要溯源选 RAG;固定格式与领域风格且知识稳定选微调;两者不冲突,常常组合。(见第 09 篇)
原理展开:RAG 改的是"模型看到什么"(上下文注入,分钟级更新,可溯源);微调改的是"模型是什么"(参数更新,成本高、周期长、有遗忘旧能力的风险)。选型三连问:知识会不会变?要不要溯源?格式要求有多刚性?
工程加分点:组合拳是------微调管领域话术与输出格式,RAG 管实时事实;文档量不大时直接塞满窗口最省事(见第 09 篇),但成本会随每次请求线性增长。
Q12:结构化输出有哪些实现手段?
一句话答案:三层手段------prompt 描述格式、JSON Mode / Schema 约束(受限解码)、应用层校验重试,一层比一层硬。(见第 10 篇)
原理展开:第一层在提示词里写清格式并给示例,靠模型自觉,没有保证;第二层把 JSON Schema 一起传进去,模型在采样阶段就被语法卡住,非法 token 根本生成不出来------JSON Mode 是这一层的简化版,只承诺"输出是合法 JSON",管不了字段结构;第三层拿业务规则做校验,失败就把报错喂回模型有限次重试。关键是第二层只管语法:格式合法不等于内容合法。
工程加分点:结构化输出把模型交回来的东西变成程序能直接取用的数据,而不是一段只能给人读的话------这是从"调用模型"到"做系统"的分水岭,也是 Agent 的前置条件。
小结
- 答题三段式:总 (一句话结论)→ 分 (原理)→ 例(工程场景),一分钟量级的题按 10/30/20 秒分配
- 生成与采样六问(Q1--Q6)都出自"自回归接龙"这一个设定:token 是单位、Attention 是机制、三阶段训练是知识来源、temperature/top-p 是性格旋钮
- 上下文三问(Q7--Q9)的主线是上下文窗口:硬上限、U 形召回、KV Cache 换显存、Embedding 建坐标
- 应用三问(Q10--Q12)的主线是外挂与约束:RAG 补知识、微调改格式、结构化输出保可靠
思考题
- Q8 说 KV Cache 用显存换速度。如果一个服务的并发用户数暴涨,KV Cache 会先在哪一个维度先把系统压垮------显存容量还是吞吐延迟?(提示:想想 Cache 是"每用户每请求"独立一份还是全局共享一份。)
- Q11 的组合拳里,微调管格式、RAG 管事实。如果业务方要求"输出格式"本身要随知识库内容动态变化,这套分工还成立吗?(提示:想想格式约束能不能也外置成运行时注入的东西,比如第 10 篇的 Schema 约束解码。)
系列导航:上一篇 10《结构化输出》 → 下一篇 12《收官》:一张图把前 11 篇装回去