据英国《金融时报》3 月 7 日报道，Meta 首席产品官 Chris Cox 透露，Llama 4 将是一个 "全能模型"，语音功能将是原生的1。关于 Meta 计划在 Llama 4 中引入改进语音功能并接近双向自然对话，具体情况如下1：
- 功能特点
- 原生语音处理：Llama 4 能够直接处理语音信息，无需先将语音转换为文本再输入模型处理，最后又将文本转换回语音，可极大提升语音交互的效率和流畅度。
- 双向自然对话：Meta 一直特别注重使用户与其语音模型之间的对话更接近于双向自然对话，允许用户打断，改变了传统僵化的问答形式，让交互更接近人与人之间的交流。
- 技术提升
- 语音识别更准确：采用更为先进的机器学习算法，能够在多种口音与方言中实现流畅的交流，以满足全球用户的需求。
- 语音合成更自然：语音合成功能经过优化，可以生成更自然的语音输出，从语调、情感和语速等方面更好地传达语境，让用户感受到更真实的互动体验。
- 应用场景
- 日常交流：用户可以直接与 Llama 4 对话，询问任何问题，例如询问天气等，能获得更友好、生动的交流体验。
- 虚拟会议：在虚拟会议中，Llama 4 能够充当助手，帮助用户进行实时翻译、记录会议要点，甚至还可以模拟参与者的发言，提高沟通效率。
- 智能设备控制：用户通过语音指令，可轻松完成撰写文本、发送信息、控制智能家居设备等任务，在多任务处理时优势明显。
如何评估Llama 4的语音功能是否真正接近双向自然对话？
语音识别准确性
- 口音与方言识别：使用包含多种不同口音、方言的语音样本进行测试，评估 Llama 4 能否准确识别并理解其中的语义。例如，用英式英语、美式英语、澳大利亚英语等不同口音，以及汉语的各地方言来与模型对话，看其是否能正确理解指令。
- 噪音环境适应性：在有背景噪音的环境下对 Llama 4 进行测试，如在街道、商场等嘈杂环境中向其发出语音指令，考察在不同噪音强度和类型下，它对语音内容的识别准确率。
- 模糊与不规范语音处理：故意使用模糊、不清晰或表述不规范的语音与 Llama 4 交流，比如说话含糊、语速过快、有口语化的省略或倒装等，检验它能否通过上下文等信息推测并理解真实意图。
语义理解与对话逻辑
- 多轮对话连贯性：进行多轮连续对话，观察 Llama 4 是否能记住之前对话的内容和语境，并在此基础上进行合理回应，使整个对话具有连贯性。例如，先询问它一个城市的名称，再问该城市的著名景点，看它能否关联前后信息进行回答。
- 复杂语义理解：提出包含复杂语义、隐喻、双关等内容的语音问题，评估 Llama 4 是否能准确理解其中的深层含义，并给出恰当回应。比如，说一些具有隐喻意义的俗语或文学性表达，看模型的理解情况。
- 话题切换与引导：在对话过程中突然切换话题或尝试引导它进入新的话题领域，考察 Llama 4 能否快速适应并在新话题下进行自然交流，不会出现明显的逻辑断层或不相关的回答。
语音合成自然度
- 语调与韵律：听其语音输出的语调是否自然，有无明显的语调平板、语调错误或韵律失调的情况。例如，在陈述、疑问、感叹等不同句式下，是否能使用合适的语调来表达相应的语气。
- 语速与停顿：检查语音合成的语速是否适中，在句子之间、段落之间的停顿是否合理，是否符合人类正常的说话习惯，不会给人语速过快或过慢、停顿突兀的感觉。
- 情感与风格匹配：根据对话内容和情境，判断语音输出是否能匹配相应的情感和风格。比如在讨论开心的事情时，语音是否能带有欢快的感觉；在严肃的话题中，语音是否会显得庄重。
实时交互性能
- 响应速度：记录从发出语音指令到接收到 Llama 4 语音回应的时间，评估其是否能在合理的时间内做出响应，尤其是在多轮对话和复杂任务处理时，不会出现过长的等待时间，以保证对话的流畅性。
- 用户打断处理：在 Llama 4 语音输出过程中进行打断，看它能否及时停止当前输出，快速响应用户的新指令或新话题，不会出现继续输出原内容或反应迟钝的情况。
用户体验与主观评价
- 问卷调查：邀请大量不同背景、不同年龄段的用户与 Llama 4 进行语音对话，然后通过问卷调查收集用户对对话自然度、易用性、满意度等方面的主观评价和反馈，了解用户在实际使用中的感受。
- 对比实验：将 Llama 4 与其他已有的具有语音对话功能的先进模型或产品进行对比，让用户在盲测的情况下分别与它们进行对话，然后比较用户对不同模型或产品在双向自然对话方面的评价和偏好。