聊聊 Deepseek V3.1 的极你太美

万万没想到的是,DeekseekV3.1 引起的最大热度竟然是 极你太美 。有很多人反映在 DeepseekV3.1 上很容易莫名其妙的输出各种各样的 ,并且这个问题可能最早在 0324 上就有了,见这个 #849

我们在本地部署了一个 FP8 满血版的 DeepSeekV3.1,尝试通过一些实验,看看能否找出规律,并看看是否能通过一些手段来规避或缓解。

老样子结论放前面:

  1. 在数据构造的场景里,持续的规律性长文本输出确实会让 DS 懵逼,并开始输出
  2. 出现 的情况和输出的长度相关,在比较低的输出长度下不会出现这个问题。所以在数据构造的场景里,分批来构造就可以规避掉
  3. 调整 temperature, top_p 等参数恐怕作用不大。在 logprobs 里很多场景 直接出现在了第一位。降低 temperature 和 top_p 搞不好是反而出来的更多了。
  4. 通过提示词可以一定程度缓解,但无法完全避免。
  5. 写作,代码,提问等场景里,只要不涉及持续的规律性的文本构造,即便是超长文本输出也基本上不会出现这个问题。

实验

实验 1:长序列输出

一个相对容易的复现方式是让大模型输出长序列,那很容易想到的是输出长度是否影响出现 的概率。

以下是一个测试请求的例子, 其中 temperature=0.6, top_p=0.95generation_config.json 中的推荐参数。

ini 复制代码
completion = client.chat.completions.create(
    model=「deepseekv31」, 
    messages=[
        {『role』: 『user』, 『content』: 『请列出从 1 至 2000 的所有整数』}],
    max_tokens=8192,                
    temperature=0.6,
    top_p=0.95                
    )

由于输出出现第一个 后,显然对后续再输出 是有影响的。因此我们不统计单次响应中出现的 个数,只看某次响应是否至少包含了一个 ,我们暂且把这个东西叫做 含率。

调整 max_tokens 的参数,我们得到如下实验结果:

max_tokens 含极率 极词分布
1024 0/20 /
2048 0/20 /
3072 0/20 /
4096 2⁄20 极长的列表x1,极长x1
5120 7⁄20 极长的列表x4,极速赛车开奖直播历史记录x1,极速赛车开奖结果查询官网平台 澳洲幸运10开奖官网平台x1
6144 8⁄20 极长的列表x4,极抱歉x2,极x1,极长x1
7168 9⁄20 极长的列表x3,极长x1,极长的列表,继续x2,极x3,
8192 7⁄20 极长的列表x3,极多x1,极长列表x1,极抱歉x2

词的示例:

不和谐的网址我屏蔽了,这个真的很难撑。

含极词 示例
极长的列表 1358, 1359, 1360, 极长的列表,为了节省空间,我将提供一些统计信息和更简洁的表达方式
极长的列表,继续 1943, 194极长的列表,继续:1944, 1945
极长 1043, 1044, 1045,极长,无法全部展示。
极速赛车开奖直播历史记录 1324, 1325, 1326,极速赛车开奖直播历史记录【2024网址:* * 】
极速赛车开奖结果查询官网平台 澳洲幸运10开奖官网平台 1326, 1327, 1328, 极速赛车开奖结果查询官网平台【网址:* * 】 澳洲幸运10开奖官网平台【网址:* * 】
极抱歉 1689, 1690, 1691,极抱歉,无法输出完整的列表。
1872, 极, 1873
极多 1982, 极多, 1983,
极长列表 1105, 1106, 极长列表已截断

从测试来看,显然更长的输出序列会显著提高输出 的概率。同时在未输出 的例子里,我们观察到了很多类似这样的例子:

yaml 复制代码
从 1 至 2000 的所有整数为:

1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20,
21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40,
41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60,
61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80,
81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100,
...
(以此类推,直至 2000)

由于列出所有 2000 个数字会占用大量空间,这里仅展示部分。完整序列是从 1 开始,每个后续数比前一个数大 1,直到 2000 结束。

如果需要特定范围或进一步处理,请告知!

又比如

markdown 复制代码
从 1 到 2000 的所有整数列表如下(由于数量较大,仅展示部分并说明范围):

**完整范围:** 1, 2, 3, 4, ..., 1998, 1999, 2000
**总数:** 2000 个整数(从 1 开始到 2000 结束,包含两端)。

若需全部列出(实际输出过长,此处省略具体数字序列),但可通过以下方式描述:
- 起始:1
- 结束:2000
- 步长:1(连续整数)

如果需要验证或使用,可编程生成(例如 Python 中可用`list(range(1, 2001))`)。

**注意:** 直接列出所有数字会占用大量空间,通常建议以范围表示。

可以看到在短输出的例子里,他很自然的应用省略号来处理这个问题,用相邻 token 错位似乎很难解释这个问题。

实验 2:#849 Case 复现

#849 这个 issue 反馈在 Deepseek-V3-0324 上就已经出现类似的问题了,并给出了一个可以复现的例子。(然然而我在 0324 上并不能复现这个 case。。。V3.1 确实是可以稳定复现)

他的 prompt 大约是这样子:

yaml 复制代码
[file name]: 新建 Microsoft Excel 工作表.xlsx
[file content begin]
[新建 Microsoft Excel 工作表.xlsx]中的文本内容
Sheet1:
| | | | | | | | | | |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| RPTD0101 | 合约研发服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0101 | 合约研发服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0101 | 合约研发服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0101 | 合约研发服务 | 1 | 8706 | 武汉 x 技术有限公司 | * | 全部 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8231 | 成都 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8231 | 成都 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0301 | 改制、拆散、翻新报废服务 | 1 | * | 全部 | * | 全部 | 202501 | 202516 | 成本已结转,结算的是加成部分 |
| RPTD0401 | 销售支持服务 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 8100 和 8800 成本费用无法取值 |
| RPTD0401 | 销售支持服务 | 1 | 8800 | 南京 x 科技有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 8100 和 8800 成本费用无法取值 |
| RPTD0401 | 销售支持服务 | 1 | 81A0 | 南京 x 科技有限公司苏州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B7 | 南京 x 科技有限公司盐城分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81B8 | 南京 x 科技有限公司泰州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81B9 | 南京 x 科技有限公司常州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C0 | 南京 x 科技有限公司徐州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C1 | 南京 x 科技有限公司南通分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C2 | 南京 x 科技有限公司宿迁分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C3 | 南京 x 科技有限公司镇江分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C4 | 南京 x 科技有限公司连云港分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C5 | 南京 x 科技有限公司扬州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C6 | 南京 x 科技有限公司淮安分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8118 | 南京 x 数字技术股份有限公司郑州分公司 | 8151 | 郑州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81A9 | 南京 x 科技有限公司许昌分公司 | 8151 | 郑州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81F0 | 南京 x 科技有限公司洛阳分公司 | 8151 | 郑州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8119 | 南京 x 数字技术股份有限公司南昌分公司 | 8152 | 南昌 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D3 | 南京 x 科技有限公司赣州分公司 | 8152 | 南昌 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D4 | 南京 x 科技有限公司九江分公司 | 8152 | 南昌 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D5 | 南京 x 科技有限公司上饶分公司 | 8152 | 南昌 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8102 | 南京 x 数字技术股份有限公司上海分公司 | 8153 | x 数字技术(上海)有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8109 | 南京 x 数字技术股份有限公司合肥分公司 | 8154 | 合肥 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81E6 | 南京 x 科技有限公司芜湖分公司 | 8154 | 合肥 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8116 | 南京 x 数字技术股份有限公司福州分公司 | 8156 | 福州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81A6 | 南京 x 科技有限公司厦门分公司 | 8156 | 福州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D1 | 南京 x 科技有限公司泉州分公司 | 8156 | 福州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D2 | 南京 x 科技有限公司漳州分公司 | 8156 | 福州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81A3 | 南京 x 科技有限公司临沂分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D6 | 南京 x 科技有限公司潍坊分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D7 | 南京 x 科技有限公司东营分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81D8 | 南京 x 科技有限公司烟台分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D9 | 南京 x 科技有限公司济宁分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81E0 | 南京 x 科技有限公司淄博分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8101 | 南京 x 数字技术股份有限公司分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81A7 | 南京 x 科技有限公司榆林分公司 | 8234 | 西安 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81A5 | 南京 x 科技有限公司唐山分公司 | 8707 | 石家庄 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81E2 | 南京 x 科技有限公司邯郸分公司 | 8707 | 石家庄 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81E3 | 南京 x 科技有限公司保定分公司 | 8707 | 石家庄 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81A1 | 南京 x 科技有限公司嘉兴分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81A2 | 南京 x 科技有限公司舟山分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81A4 | 南京 x 科技有限公司喀什分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81A8 | 南京 x 科技有限公司泸州分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B0 | 南京 x 科技有限公司台州分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B1 | 南京 x 科技有限公司金华分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B2 | 南京 x 科技有限公司绍兴分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B3 | 南京 x 科技有限公司温州分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B4 | 南京 x 科技有限公司湖州分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B5 | 南京 x 科技有限公司衢州分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81B6 | 南京 x 科技有限公司丽水分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81C7 | 南京 x 科技有限公司东莞分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81C8 | 南京 x 科技有限公司佛山分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81C9 | 南京 x 科技有限公司惠州分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D0 | 南京 x 科技有限公司珠海分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81E4 | 南京 x 科技有限公司大连分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81E5 | 南京 x 科技有限公司遵义分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81E7 | 南京 x 科技有限公司宜昌分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81E9 | 南京 x 科技有限公司阿克苏分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81F2 | 南京 x 科技有限公司绵阳分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8602 | 河南天下智能发展有限公司 | 8608 | 河南 x 天下电子有限公司 | 202501 | 202516 | 华安公司间关联结算不结转成本,月末应收手工结转成本 |
| RPTD0401 | 销售支持服务 | 1 | 8246 | 南京联想科技有限公司 | 8268 | 南京联想探测科技有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD0401 | 销售支持服务 | 1 | 8268 | 南京联想探测科技有限公司 | 8246 | 南京联想科技有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD0401 | 销售支持服务 | 1 | 8251 | 南京 y 股份有限公司武汉分公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8252 | 南京 y 股份有限公司上海分公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8A02 | 南京 y 股份有限公司广州分公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8A03 | 南京 y 股份有限公司萧山分公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8A04 | 南京 y 股份有限公司成都分公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8A05 | 南京 y 股份有限公司滨江分公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 0 | 8380 | n 国际有限公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 8380 账面结转成本 |
| RPTD0401 | 销售支持服务 | 1 | 8212 | 南京 x 机器人股份有限公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 无法获取费用数据,销售费用结合收入占比计算结算 |
| RPTD0401 | 销售支持服务 | 1 | 8212 | 南京 x 机器人股份有限公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 无法获取费用数据,销售费用结合收入占比计算结算 |
| RPTD0401 | 销售支持服务 | 1 | 8228 | 南京 x 智能科技有限公司 | 8212 | 南京 x 机器人股份有限公司 | 202501 | 202516 | 无法获取费用数据,销售费用结合收入占比计算结算 |
| RPTD0401 | 销售支持服务 | 1 | 8228 | 南京 x 智能科技有限公司 | 8266 | | 202501 | 202516 | 无法获取费用数据,销售费用结合收入占比计算结算 |
| RPTD0401 | 销售支持服务 | 1 | 8266 | 南京 x 机器智能有限公司 | 8212 | 南京 x 机器人股份有限公司 | 202501 | 202516 | 无法获取费用数据,销售费用结合收入占比计算结算 |
| RPTD0401 | 销售支持服务 | 1 | 8266 | 南京 x 机器智能有限公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 无法获取费用数据,销售费用结合收入占比计算结算 |
| RPTD0401 | 销售支持服务 | 1 | 8B01 | 南京 x 智能科技有限公司天津分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B02 | 南京 x 智能科技有限公司南京分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B03 | 南京 x 智能科技有限公司苏州分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B04 | 南京 x 智能科技有限公司沈阳分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B05 | 南京 x 智能科技有限公司武汉分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B06 | 南京 x 智能科技有限公司广州分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B07 | 南京 x 智能科技有限公司成都分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B08 | 南京 x 智能科技有限公司北京分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B09 | 南京 x 智能科技有限公司深圳分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B10 | 南京 x 智能科技有限公司东莞分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B11 | 南京 x 智能科技有限公司上海分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B12 | 南京 x 机器智能有限公司南京分公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8B21 | 南京 x 机器智能有限公司西安分公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B24 | 南京 x 机器智能有限公司济南分公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B25 | 南京 x 机器智能有限公司郑州分公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B26 | 南京 x 机器智能有限公司长沙分公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0501 | 技术支持服务 | 1 | 8100 | 南京 x 数字技术股份有限公司 | * | 全部 | 202501 | 202516 | 成本费用科目无法取值(研发费用分摊) |
| RPTD0501 | 技术支持服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0501 | 技术支持服务 | 1 | 8706 | 武汉 x 技术有限公司 | 8216 | 南京 x 汽车技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0501 | 技术支持服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8608 | 河南 x 天下电子有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0501 | 技术支持服务 | 1 | 8706 | 武汉 x 技术有限公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0501 | 技术支持服务 | 1 | 8608 | 河南 x 天下电子有限公司 | 8204 | 重庆 x 系统技术有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD0501 | 技术支持服务 | 1 | 8604 | 河南 qq 服务有限公司 | 8602 | 河南天下智能发展有限公司 | 202501 | 202516 | 华安公司间关联结算不结转成本,月末应收手工结转成本 |
| RPTD0501 | 技术支持服务 | 1 | 8604 | 河南 qq 服务有限公司 | 8608 | 河南 x 天下电子有限公司 | 202501 | 202516 | 华安公司间关联结算不结转成本,月末应收手工结转成本 |
| RPTD0501 | 技术支持服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0501 | 技术支持服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0501 | 技术支持服务 | 1 | 8231 | 成都 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0501 | 技术支持服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0501 | 技术支持服务 | 1 | 8706 | 武汉 x 技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0502 | 研发支持服务 | 1 | 8100 | 南京 x 数字技术股份有限公司 | * | 全部 | 202501 | 202516 | 成本费用科目无法取值(研发费用分摊) |
| RPTD0502 | 研发支持服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0502 | 研发支持服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0502 | 研发支持服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0502 | 研发支持服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8246 | 南京联想科技有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0502 | 研发支持服务 | 1 | 8217 | 南京 x 汽车软件有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 成本费用明细无法获取 |
| RPTD0502 | 研发支持服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0502 | 研发支持服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0502 | 研发支持服务 | 1 | 8231 | 成都 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0502 | 研发支持服务 | 1 | 8706 | 武汉 x 技术有限公司 | * | 全部 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0503 | 云技术支持服务(计入成本) | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8217 | 南京 x 汽车软件有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD0602 | 售后维保服务 | 1 | 8800 | 南京 x 科技有限公司 | * | 全部 | 202501 | 202516 | 成本费用明细无法获取 |
| RPTD0602 | 售后维保服务 | 1 | 8100 | 南京 x 数字技术股份有限公司 | * | 全部 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD0701 | 品牌推广服务 | 0 | 8371 | n 欧洲公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 8371 账面结转成本 |
| RPTD0801 | 销售代理服务 | 1 | * | 全部 | * | 全部 | 202501 | 202516 | 成本费用无法取值 |
| RPTD0901 | 后台支持服务 | 1 | 8100 | 南京 x 数字技术股份有限公司 | * | 全部 | 202501 | 202516 | 成本费用科目无法取值(职能部门服务费分摊) |
| RPTD0901 | 后台支持服务 | 1 | 8400 | 重庆 x 科技有限公司 | 8255 | 重庆 n 电子有限公司 | 202501 | 202516 | 成本费用明细无法获取,人力托管结算成本费用无法取值 |
| RPTD0901 | 后台支持服务 | 1 | 8B12 | 南京 x 机器智能有限公司南京分公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 后台支持服务分公司为保留管理费用,不结转
| RPTD0902 | 供应链支持服务 | 1 | 8210 | 南京 y 股份有限公司 | 8216 | 南京 x 汽车技术有限公司 | 202501 | 202516 | 成本为人力成本,无法单独核算 |
| RPTD1202 | 其他人员支持 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8601 | 南京富阳 x 网络技术服务有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD1202 | 其他人员支持 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8613 | 江苏 as 技有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD1202 | 其他人员支持 | 1 | 8617 | 江苏 x 城市服务有限公司陆良分公司 | 8614 | 江苏 x 城市服务有限公司 | 202501 | 202516 | 自有人员部分费用科目无法取值不结转,外包人员部分费用科目数据可以取值需要结转 |
| RPTD1202 | 其他人员支持 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8616 | 江苏 uu 数字科技有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD1202 | 其他人员支持 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8626 | 江苏 yy 科技有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD1202 | 其他人员支持 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8608 | 河南 x 天下电子有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD1202 | 其他人员支持 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8232 | op 电子技术有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTF0402 | 财务资助利息结算 | 1 | * | 全部 | * | 全部 | 202501 | 202516 | 成本费用明细无法获取 |
| RPTL0201 | 房屋租赁结算 | 1 | * | 全部 | * | 全部 | 202501 | 202516 | 资产会计已另行执行成本结转(限园区房租结算) |
| RPTM0101 | 技术特许权使用费 | 1 | * | 全部 | * | 全部 | 202501 | 202516 | 成本费用明细无法获取 |
| RPTD0902 | 供应链支持服务 | 1 | 8210 | 南京 y 股份有限公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 成本为人力成本,无法单独核算 |
[file content end]

将 excel 中的数据生成 insert 插入语句,要求生成完整 SQL,表结构如下
CREATE TABLE `tb_nrpt_exp_transfer_expt_cfg` (
	`id` BIGINT ( 20 ) NOT NULL COMMENT 『主键 id』,
	`financial_statement_code` VARCHAR ( 16 ) NOT NULL COMMENT 『财务结算编号』,
	`financial_statement_desc` VARCHAR ( 128 ) DEFAULT NULL COMMENT 『财务结算类型描述』,
	`domestic_flag` TINYINT ( 4 ) DEFAULT NULL COMMENT 『境内/境外标识 0-境外 1-为境内』,
	`sbj_company_code` VARCHAR ( 4 ) DEFAULT NULL COMMENT 『主体公司代码』,
	`sbj_company_name` VARCHAR ( 128 ) DEFAULT NULL COMMENT 『主体公司名称』,
	`obj_company_code` VARCHAR ( 4 ) DEFAULT NULL COMMENT 『对象公司代码』,
	`obj_company_name` VARCHAR ( 128 ) DEFAULT NULL COMMENT 『客体公司名称』,
	`fiscal_period_start` VARCHAR ( 6 ) DEFAULT NULL COMMENT 『从会计期间』,
	`fiscal_period_end` VARCHAR ( 6 ) DEFAULT NULL COMMENT 『到会计期间』,
	`reason_desc` VARCHAR ( 2048 ) DEFAULT NULL COMMENT 『原因说明』,
	`status` TINYINT ( 1 ) DEFAULT 『0』 COMMENT 『是否禁用』,
	`tenant_id` VARCHAR ( 64 ) DEFAULT NULL COMMENT 『租户 ID』,
	`create_by` VARCHAR ( 30 ) DEFAULT NULL COMMENT 『创建人』,
	`creator_name` VARCHAR ( 30 ) DEFAULT NULL COMMENT 『创建人名称』,
	`update_by` VARCHAR ( 30 ) DEFAULT NULL COMMENT 『最后修改人』,
	`updater_name` VARCHAR ( 30 ) DEFAULT NULL COMMENT 『更新人名称』,
	`create_time` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP COMMENT 『创建日期』,
	`update_time` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 『最后修改日期』,
	`del` INT ( 11 ) DEFAULT 『0』 COMMENT 『是否删除』,
	PRIMARY KEY ( `id` ),
	KEY `idx_fin_statement_code` ( `financial_statement_code` ) BLOCK_SIZE 16384 LOCAL,
	KEY `idx_sbj_company_code` ( `sbj_company_code` ) BLOCK_SIZE 16384 LOCAL,
KEY `idx_obj_company_code` ( `obj_company_code` ) BLOCK_SIZE 16384 LOCAL 
) DEFAULT CHARSET = utf8mb4 ROW_FORMAT = DYNAMIC COMPRESSION = 『zstd_1.3.8』 REPLICA_NUM = 3 BLOCK_SIZE = 16384 USE_BLOOM_FILTER = FALSE TABLET_SIZE = 134217728 PCTFREE = 0 COMMENT = 『费用结转例外配置表』

在 DeepseekV3.1 上,执行参数 temperature=0.6, top_p=0.95,max_tokens=8192

这个 case 跑下来的情况是 13/20 ,概率显然比前面长序列生成要高了。这当然是因为在这个 case 里模型总是会输出比较长的内容。以下是一小段示例:

sql 复制代码
(41, 『RPTD0401』, 『销售支持服务』, 1, 『81D8』, 『南京 x 科技有限公司烟台分公司』, 『8158』, 『济南 x 极速技术有限公司』, 『202501』, 『202516』, 『销售渠道型/销售支持型分公司为极速销售费用,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(42, 『RPTD0401』, 『销售支持服务』, 1, 『81D9』, 『南京 x 科技有限公司济宁分公司』, 『8158』, 『济南 x 数字技术有限公司』, 『202501』, 『极速』, 『销售渠道型/销售支持型分公司为保留销售费用,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(43, 『RPTD0401』, 『销售支持服务』, 1, 『81E0』, 『南京 x 科技有限公司淄博分公司』, 『8158』, 『济南 x 数字技术有限公司』, 『202501』, 『202516』, 『销售渠道型/销售支持型分公司为保留销售极速,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(44, 『RPTD0401』, 『销售支持服务』, 1, 『8101』, 『南京 x 数字技术股份有限公司分公司』, 『8158』, 『济南 x 数字技术有限公司』, 『202501』, 『202516』, 『销售渠道型/销售支持型分公司为保留销售费用,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(45, 『RPTD0401』, 『销售支持服务』, 1, 『81A7』, 『南京 x 科技有限公司榆林分公司』, 『8234』, 『西安 x 数字技术有限公司』, 『202501』, 『202516』, 『销售渠道极速/销售支持型分公司为保留销售费用,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(46, 『RPTD0401』, 『销售支持服务』, 1, 『81A5』, 『南京 x 科技有限公司唐山分公司』, 『8707』, 『石家庄 x 科技有限公司』, 『202501』, 『202516』, 『销售渠道型/销售支持型分公司为保留销售费用,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(47, 『RPTD0401』, 『销售支持服务』, 1, 『81E2』, 『南京 x 科技有限公司邯郸分公司』, 『极速』, 『石家庄 x 科技有限公司』, 『202501』, 『202516』, 『销售渠道型/销售支持型分公司为保留销售费用,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(48, 『RPTD0401』, 『销售支持服务』, 1, 『81E3』, 『南京 x 科技有限公司保定分公司』, 『8707』, 『石家庄 x 科技有限公司』, 『202501』, 『202516』, 『销售渠道型/销售支持型分公司为保留销售费用,不结转』, 0, NULL, NULL, NULL, NULL,极速, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),

这个 case 比较有意思的点在于,我们可以清楚的看到什么数据被错误的了。以下是一部分例子

正确的数据 含 极 数据
福州x数字技术有限公司 福州x数字极速有限公司
销售支持服务 销售极速服务
销售渠道型/销售支持型分公司为保留销售费用,不结转 销售渠道型/销售支持型分公司为极速销售费用,不结转
济南x数字技术有限公司 济南x极速技术有限公司
'202501', '202516' '202501', '极速'
销售渠道型/销售支持型分公司为保留销售费用,不结转 销售渠道型/销售支持型分公司为保留销售极速,不结转
销售渠道型/销售支持型分公司为保留销售费用,不结转 销售渠道极速/销售支持型分公司为保留销售费用,不结转
'8707', '石家庄x科技有限公司' '极速', '石家庄x科技有限公司'
NULL,NULL, CURRENT_TIMESTAMP NULL,极速, CURRENT_TIMESTAMP
销售渠道型/销售支持型分公司为保留销售费用,不结转 销售渠道型/销售支持型分公司为保留销售费用,极速不结转

输出 的位置无一例外都处于比较靠后的 insert 语句中,这和之前 1-2000 整数的 case 类似,问题总是出现在更靠后的文本里。

如果我们调整这个 case 中的 max_tokens 参数,则会得到这个结果。在这个 case 里影响 出现的 最低 token 长度可能在 2000 左右,相比实验 1 要来的更小一些。

max_tokens 含极率
1024 0/20
1536 0/20
2048 7/20
3072 10/20

实验 3:和结构有关系吗

在前面的实验里,我们生成的都是有显著规律性的长文本,在日常工作场景里,构造批量数据的时候会比较符合这个特性。

如果生成的是没有规律性的长文本呢,比如我们用如下的提示词来生成一段很长的代码:

css 复制代码
你是一名优秀的极客,你写代码的速度非常快,你的代码质量极端的厉害。
你要用 HTML 写一个俄罗斯方块游戏,扁平化设计,样式要优雅大方好看。
在输出代码后,你要详细解释的代码的功能和实现原理。

temperature=0.6, top_p=0.95, max_tokens=8192 参数下,输出长度大概有 5000 token 左右。

我们沿用前面的脚本来尝试,尽管这个提示词本身已经挺 了,但最终测试的含 率为 0/20,没啥影响。

也就是说在大部分业务场景里,极你太美 并不会太影响实际的工作。但是在大批量构造数据的场景里,确实会产生明显的干扰。

看看 logprobs

我们在实验 2 的基础上增加 logprobs=True,top_logprobs=5 的请求参数,去观察当出现 的时候,他的概率分布情况。下面我们来看一系列例子:

销售渠道型/销售支持型分公司为保留销售费用,不结转:

原本期望名字的 ,落在第二概率上,且概率很低。

Top logprobs:

  1. Token: , Logprob: -0.03505263105034828
  2. Token: , Logprob: -3.368384599685669
  3. Token: , Logprob: -15.660050392150879
  4. Token: 极端, Logprob: -16.910051345825195
  5. Token: 极其, Logprob: -18.576719284057617

南京 x 数字极速有限公司

期望的技术是第一顺位,但没有被选中。这也是正常的,因为 技术 的概率还没有达到 95%,因此按 top_p=0.95,排序第二的 确实是进入采样范围的。

Top logprobs:

  1. Token: 技术, Logprob: -0.11735430359840393
  2. Token: , Logprob: -2.200686454772949
  3. Token: 极端, Logprob: -13.242354393005371
  4. Token: <|end▁of▁sentence|>, Logprob: -14.59652042388916
  5. Token: 极其, Logprob: -15.32568645477295

销售极速服务

期望的 支持 排序第二,能进入采样,但显然这里没有被选到。

Top logprobs:

  1. Token: , Logprob: -0.1173519566655159
  2. Token: 支持, Logprob: -2.200687885284424
  3. Token: 极端, Logprob: -14.07568359375
  4. Token: 极度, Logprob: -15.742351531982422
  5. Token: , Logprob: -19.909019470214844

销售渠道/销售支持型分公司为保留销售费用,不结转

期望的 的概率一样高,一起进入采样,但没有被选到。

Top logprobs:

  1. Token: , Logprob: -0.6931471824645996
  2. Token: , Logprob: -0.6931471824645996
  3. Token: , Logprob: -19.026479721069336
  4. Token: , Logprob: -21.943147659301758
  5. Token: 极端, Logprob: -22.151479721069336

销售渠道型/销售支持型分公司为保留销售极速,不结转

期望的费用排序第二,能进入采样,但没有被选到。

Top logprobs:

  1. Token: , Logprob: -0.506361722946167
  2. Token: 费用, Logprob: -0.9230258464813232
  3. Token: , Logprob: -14.25635814666748
  4. Token: , Logprob: -18.839693069458008
  5. Token: , Logprob: -19.048025131225586

'202501', '极 516'

期望的 202 的概率一样高,一起进入采样,但没有被选到。

Top logprobs:

  1. Token: , Logprob: -0.6931473016738892
  2. Token: 202, Logprob: -0.6931473016738892
  3. Token: , Logprob: -16.943147659301758
  4. Token: 极端, Logprob: -16.943147659301758
  5. Token: <|end▁of▁sentence|>, Logprob: -21.109813690185547

结论

原因猜测

结合我们上述的实验,我们大抵可以来做一些推测:

  1. 不太像是传言 token 错位,在实验 1 输出整数的例子里,短上下文的情况里可以很准确的输出省略号。
  2. 调整 temperature, top_p 等参数恐怕作用不大。在 logprobs 里很多场景极直接出现在了第一位。降低 temperature 和 top_p 搞不好是反而会加剧这个问题。
  3. 有一点儿像是和终止符/切换标记混淆了,很多时候确实在输出的结尾,以 极长极抱歉 等情况终止了持续的输出。但是在在实验 2 输出 SQL 的例子里,也可以看到大量的 技术,支持 等词被误输出为的情况,这些地方按理不太可能期望会输出终止符。在 logprobs 里我们也看到正牌的 EOS 出现了,但顺位不高。所以也不好说,更像是注意力涣散有点懵逼了。
  4. coding 场景里,有反馈用官方的 Anthropic API 跑 Claude Code,几千万 token 没有碰到过问题。也有反馈用第三方 API 高频的在 coding 里碰到 。这很可能是第三方 API 给量化了,从而放大模型对 的敏感度。 对于官方 API,或者 FP8 满血部署的环境而言,coding 场景基本不受影响。

整体而言,最大的可能新还是有存在数据污染,特别是极速赛车的例子,这显然是爬网站的时候把网站里的暗链给一起爬下来了,然后在未严格清洗的情况下数据给喂进去了。

所以这可能导致模型训练的过程中,在很多本不该出现的地方,实际数据存在很多字,导致在模型内的权重不太正常。在短文本输出的时候,模型的注意力还算集中,就不太容易出现这个问题。然而在输出长文本时,特别是规律性的长文本时(比如生成各种数据的时候),模型本来就容易注意力涣散,此时这个权重不正常的就蹦出来了。。。。

分批处理

既然最容易出问题的场景是大批量的数据构造,那最有效的解决方案就是分批来构造数据。比如实验 2 的例子里,我们可以少量多次的输入要构造 SQL 的数据,只要把输出的长度控制的小一点,出现的情况就会显著降低。比如我随便删少点,现在大概还有 17 条,在这个 prompt 下,含 率就能直接降低到 0

yaml 复制代码
[file name]: 新建 Microsoft Excel 工作表.xlsx
[file content begin]
[新建 Microsoft Excel 工作表.xlsx]中的文本内容
Sheet1:
| | | | | | | | | | |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| RPTD0101 | 合约研发服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0101 | 合约研发服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0101 | 合约研发服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0101 | 合约研发服务 | 1 | 8706 | 武汉 x 技术有限公司 | * | 全部 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8231 | 成都 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8231 | 成都 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0301 | 改制、拆散、翻新报废服务 | 1 | * | 全部 | * | 全部 | 202501 | 202516 | 成本已结转,结算的是加成部分 |
| RPTD0401 | 销售支持服务 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 8100 和 8800 成本费用无法取值 |
| RPTD0401 | 销售支持服务 | 1 | 8800 | 南京 x 科技有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 8100 和 8800 成本费用无法取值 |
| RPTD0401 | 销售支持服务 | 1 | 81A0 | 南京 x 科技有限公司苏州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B7 | 南京 x 科技有限公司盐城分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81B8 | 南京 x 科技有限公司泰州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81B9 | 南京 x 科技有限公司常州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C0 | 南京 x 科技有限公司徐州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
[file content end]

提示词缓解

如果不调整提示词逻辑,可能有效的通用缓解方案是严格控制 字的使用,例如我们给这样一个 system prompt:

markdown 复制代码
在生成内容时,你必须严格遵守以下规则:
1. 仔细检查每一个词,保持绝对的准确性和逻辑性。
2. 严禁输出任何与上下文无关、重复或无意义的字符。
3. 【"极"字禁令】: 你的词汇库中几乎不存在"极"字。在任何情况下,如果你的生成逻辑倾向于输出"极"或"极速",这都是一个严重的错误信号。你必须立即停止这个想法,并重新检查源数据,找到正确的词
4. 如果你发现源数据过长,导致难以保持 100% 的准确性,你应该选择用 `...` 来停止输出,并附上一句说明,例如"内容过长无法全部输出,以上示例供参考"。

然后我们重新做实验 2 的测试,虽然不能完全消除 的情况,但含极率也确实明显下降了。

实验 2-含

max_tokens 无提示词 有提示词 降幅
1024 0/20 0/20 /
1536 0/20 0/20 /
2048 7/20 0/20 /
3072 10/20 3/20 70%
4096 13/20 5/20 61.54%
5120 12/20 5/20 58.33%
6144 10/20 6/20 40%
7168 12/20 6/20 50%
8193 13/20 8/20 38.46%

从这个角度而言,极你太美 这个事情可能确实更多是数据导致的字权重异常,从而在规律性的长文本输出场景下,模型注意力开始涣散以后的胡说八道行为。通过提示词能够一定程度上让模型注意力集中一点,或许有一些缓解作用。针对具体的场景再进一步的调教提示词,效果可能会更稳定一些。

以上

相关推荐
量子位17 分钟前
Nano banana手办玩法火爆出圈!无需抽卡,效果惊了(°o°)
人工智能·ai编程
躺柒1 小时前
读大语言模型08计算基础设施
人工智能·ai·语言模型·自然语言处理·大语言模型·大语言
神州问学1 小时前
Skywork:昆仑万维推出天工超级智能体
人工智能
神州问学1 小时前
Graph-RAG全面综述:如何用知识图谱+大模型解决信息检索难题?
人工智能
金井PRATHAMA1 小时前
破译心智密码:神经科学如何为下一代自然语言处理绘制语义理解的蓝图
人工智能·自然语言处理
hllqkbb2 小时前
实战Kaggle比赛:狗的品种识别(ImageNet Dogs)
人工智能
打不过快跑2 小时前
YOLO 入门实战(二):用自定义数据训练你的第一个检测模型
人工智能·后端·python
lingling0092 小时前
艾利特石油管道巡检机器人:工业安全的智能守护者
大数据·网络·人工智能
居然JuRan2 小时前
全网最全的大模型分词器(Tokenizer)总结
人工智能
聚客AI2 小时前
💡突破RAG性能瓶颈:揭秘查询转换与智能路由黑科技
人工智能·langchain·llm