万万没想到的是,DeekseekV3.1 引起的最大热度竟然是 极你太美 。有很多人反映在 DeepseekV3.1 上很容易莫名其妙的输出各种各样的 极 ,并且这个问题可能最早在 0324
上就有了,见这个 #849。
我们在本地部署了一个 FP8 满血版的 DeepSeekV3.1,尝试通过一些实验,看看能否找出规律,并看看是否能通过一些手段来规避或缓解。
老样子结论放前面:
- 在数据构造的场景里,持续的规律性长文本输出确实会让 DS 懵逼,并开始输出 极。
- 出现 极 的情况和输出的长度相关,在比较低的输出长度下不会出现这个问题。所以在数据构造的场景里,分批来构造就可以规避掉 极。
- 调整 temperature, top_p 等参数恐怕作用不大。在 logprobs 里很多场景 极 直接出现在了第一位。降低 temperature 和 top_p 搞不好是反而出来的更多了。
- 通过提示词可以一定程度缓解,但无法完全避免。
- 写作,代码,提问等场景里,只要不涉及持续的规律性的文本构造,即便是超长文本输出也基本上不会出现这个问题。
实验
实验 1:长序列输出
一个相对容易的复现方式是让大模型输出长序列,那很容易想到的是输出长度是否影响出现 极 的概率。
以下是一个测试请求的例子, 其中 temperature=0.6, top_p=0.95
是 generation_config.json
中的推荐参数。
ini
completion = client.chat.completions.create(
model=「deepseekv31」,
messages=[
{『role』: 『user』, 『content』: 『请列出从 1 至 2000 的所有整数』}],
max_tokens=8192,
temperature=0.6,
top_p=0.95
)
由于输出出现第一个 极
后,显然对后续再输出 极
是有影响的。因此我们不统计单次响应中出现的 极
个数,只看某次响应是否至少包含了一个 极
,我们暂且把这个东西叫做 含极率。
调整 max_tokens
的参数,我们得到如下实验结果:
max_tokens | 含极率 | 极词分布 |
---|---|---|
1024 | 0/20 | / |
2048 | 0/20 | / |
3072 | 0/20 | / |
4096 | 2⁄20 | 极长的列表x1,极长x1 |
5120 | 7⁄20 | 极长的列表x4,极速赛车开奖直播历史记录x1,极速赛车开奖结果查询官网平台 澳洲幸运10开奖官网平台x1 |
6144 | 8⁄20 | 极长的列表x4,极抱歉x2,极x1,极长x1 |
7168 | 9⁄20 | 极长的列表x3,极长x1,极长的列表,继续x2,极x3, |
8192 | 7⁄20 | 极长的列表x3,极多x1,极长列表x1,极抱歉x2 |
极词的示例:
不和谐的网址我屏蔽了,这个真的很难撑。
含极词 | 示例 |
---|---|
极长的列表 | 1358, 1359, 1360, 极长的列表,为了节省空间,我将提供一些统计信息和更简洁的表达方式 |
极长的列表,继续 | 1943, 194极长的列表,继续:1944, 1945 |
极长 | 1043, 1044, 1045,极长,无法全部展示。 |
极速赛车开奖直播历史记录 | 1324, 1325, 1326,极速赛车开奖直播历史记录【2024网址:* * 】 |
极速赛车开奖结果查询官网平台 澳洲幸运10开奖官网平台 | 1326, 1327, 1328, 极速赛车开奖结果查询官网平台【网址:* * 】 澳洲幸运10开奖官网平台【网址:* * 】 |
极抱歉 | 1689, 1690, 1691,极抱歉,无法输出完整的列表。 |
极 | 1872, 极, 1873 |
极多 | 1982, 极多, 1983, |
极长列表 | 1105, 1106, 极长列表已截断 |
从测试来看,显然更长的输出序列会显著提高输出 极 的概率。同时在未输出 极 的例子里,我们观察到了很多类似这样的例子:
yaml
从 1 至 2000 的所有整数为:
1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20,
21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40,
41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60,
61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80,
81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100,
...
(以此类推,直至 2000)
由于列出所有 2000 个数字会占用大量空间,这里仅展示部分。完整序列是从 1 开始,每个后续数比前一个数大 1,直到 2000 结束。
如果需要特定范围或进一步处理,请告知!
又比如
markdown
从 1 到 2000 的所有整数列表如下(由于数量较大,仅展示部分并说明范围):
**完整范围:** 1, 2, 3, 4, ..., 1998, 1999, 2000
**总数:** 2000 个整数(从 1 开始到 2000 结束,包含两端)。
若需全部列出(实际输出过长,此处省略具体数字序列),但可通过以下方式描述:
- 起始:1
- 结束:2000
- 步长:1(连续整数)
如果需要验证或使用,可编程生成(例如 Python 中可用`list(range(1, 2001))`)。
**注意:** 直接列出所有数字会占用大量空间,通常建议以范围表示。
可以看到在短输出的例子里,他很自然的应用省略号来处理这个问题,用相邻 token
错位似乎很难解释这个问题。
实验 2:#849 Case 复现
#849 这个 issue 反馈在 Deepseek-V3-0324
上就已经出现类似的问题了,并给出了一个可以复现的例子。(然然而我在 0324 上并不能复现这个 case。。。V3.1 确实是可以稳定复现)
他的 prompt 大约是这样子:
yaml
[file name]: 新建 Microsoft Excel 工作表.xlsx
[file content begin]
[新建 Microsoft Excel 工作表.xlsx]中的文本内容
Sheet1:
| | | | | | | | | | |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| RPTD0101 | 合约研发服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0101 | 合约研发服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0101 | 合约研发服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0101 | 合约研发服务 | 1 | 8706 | 武汉 x 技术有限公司 | * | 全部 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8231 | 成都 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8231 | 成都 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0301 | 改制、拆散、翻新报废服务 | 1 | * | 全部 | * | 全部 | 202501 | 202516 | 成本已结转,结算的是加成部分 |
| RPTD0401 | 销售支持服务 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 8100 和 8800 成本费用无法取值 |
| RPTD0401 | 销售支持服务 | 1 | 8800 | 南京 x 科技有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 8100 和 8800 成本费用无法取值 |
| RPTD0401 | 销售支持服务 | 1 | 81A0 | 南京 x 科技有限公司苏州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B7 | 南京 x 科技有限公司盐城分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81B8 | 南京 x 科技有限公司泰州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81B9 | 南京 x 科技有限公司常州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C0 | 南京 x 科技有限公司徐州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C1 | 南京 x 科技有限公司南通分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C2 | 南京 x 科技有限公司宿迁分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C3 | 南京 x 科技有限公司镇江分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C4 | 南京 x 科技有限公司连云港分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C5 | 南京 x 科技有限公司扬州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C6 | 南京 x 科技有限公司淮安分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8118 | 南京 x 数字技术股份有限公司郑州分公司 | 8151 | 郑州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81A9 | 南京 x 科技有限公司许昌分公司 | 8151 | 郑州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81F0 | 南京 x 科技有限公司洛阳分公司 | 8151 | 郑州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8119 | 南京 x 数字技术股份有限公司南昌分公司 | 8152 | 南昌 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D3 | 南京 x 科技有限公司赣州分公司 | 8152 | 南昌 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D4 | 南京 x 科技有限公司九江分公司 | 8152 | 南昌 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D5 | 南京 x 科技有限公司上饶分公司 | 8152 | 南昌 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8102 | 南京 x 数字技术股份有限公司上海分公司 | 8153 | x 数字技术(上海)有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8109 | 南京 x 数字技术股份有限公司合肥分公司 | 8154 | 合肥 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81E6 | 南京 x 科技有限公司芜湖分公司 | 8154 | 合肥 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8116 | 南京 x 数字技术股份有限公司福州分公司 | 8156 | 福州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81A6 | 南京 x 科技有限公司厦门分公司 | 8156 | 福州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D1 | 南京 x 科技有限公司泉州分公司 | 8156 | 福州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D2 | 南京 x 科技有限公司漳州分公司 | 8156 | 福州 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81A3 | 南京 x 科技有限公司临沂分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D6 | 南京 x 科技有限公司潍坊分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D7 | 南京 x 科技有限公司东营分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81D8 | 南京 x 科技有限公司烟台分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D9 | 南京 x 科技有限公司济宁分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81E0 | 南京 x 科技有限公司淄博分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8101 | 南京 x 数字技术股份有限公司分公司 | 8158 | 济南 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81A7 | 南京 x 科技有限公司榆林分公司 | 8234 | 西安 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81A5 | 南京 x 科技有限公司唐山分公司 | 8707 | 石家庄 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81E2 | 南京 x 科技有限公司邯郸分公司 | 8707 | 石家庄 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81E3 | 南京 x 科技有限公司保定分公司 | 8707 | 石家庄 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81A1 | 南京 x 科技有限公司嘉兴分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81A2 | 南京 x 科技有限公司舟山分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81A4 | 南京 x 科技有限公司喀什分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81A8 | 南京 x 科技有限公司泸州分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B0 | 南京 x 科技有限公司台州分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B1 | 南京 x 科技有限公司金华分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B2 | 南京 x 科技有限公司绍兴分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B3 | 南京 x 科技有限公司温州分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B4 | 南京 x 科技有限公司湖州分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B5 | 南京 x 科技有限公司衢州分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81B6 | 南京 x 科技有限公司丽水分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81C7 | 南京 x 科技有限公司东莞分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81C8 | 南京 x 科技有限公司佛山分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81C9 | 南京 x 科技有限公司惠州分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81D0 | 南京 x 科技有限公司珠海分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81E4 | 南京 x 科技有限公司大连分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81E5 | 南京 x 科技有限公司遵义分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81E7 | 南京 x 科技有限公司宜昌分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81E9 | 南京 x 科技有限公司阿克苏分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81F2 | 南京 x 科技有限公司绵阳分公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8602 | 河南天下智能发展有限公司 | 8608 | 河南 x 天下电子有限公司 | 202501 | 202516 | 华安公司间关联结算不结转成本,月末应收手工结转成本 |
| RPTD0401 | 销售支持服务 | 1 | 8246 | 南京联想科技有限公司 | 8268 | 南京联想探测科技有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD0401 | 销售支持服务 | 1 | 8268 | 南京联想探测科技有限公司 | 8246 | 南京联想科技有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD0401 | 销售支持服务 | 1 | 8251 | 南京 y 股份有限公司武汉分公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8252 | 南京 y 股份有限公司上海分公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8A02 | 南京 y 股份有限公司广州分公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8A03 | 南京 y 股份有限公司萧山分公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8A04 | 南京 y 股份有限公司成都分公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8A05 | 南京 y 股份有限公司滨江分公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 0 | 8380 | n 国际有限公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 8380 账面结转成本 |
| RPTD0401 | 销售支持服务 | 1 | 8212 | 南京 x 机器人股份有限公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 无法获取费用数据,销售费用结合收入占比计算结算 |
| RPTD0401 | 销售支持服务 | 1 | 8212 | 南京 x 机器人股份有限公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 无法获取费用数据,销售费用结合收入占比计算结算 |
| RPTD0401 | 销售支持服务 | 1 | 8228 | 南京 x 智能科技有限公司 | 8212 | 南京 x 机器人股份有限公司 | 202501 | 202516 | 无法获取费用数据,销售费用结合收入占比计算结算 |
| RPTD0401 | 销售支持服务 | 1 | 8228 | 南京 x 智能科技有限公司 | 8266 | | 202501 | 202516 | 无法获取费用数据,销售费用结合收入占比计算结算 |
| RPTD0401 | 销售支持服务 | 1 | 8266 | 南京 x 机器智能有限公司 | 8212 | 南京 x 机器人股份有限公司 | 202501 | 202516 | 无法获取费用数据,销售费用结合收入占比计算结算 |
| RPTD0401 | 销售支持服务 | 1 | 8266 | 南京 x 机器智能有限公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 无法获取费用数据,销售费用结合收入占比计算结算 |
| RPTD0401 | 销售支持服务 | 1 | 8B01 | 南京 x 智能科技有限公司天津分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B02 | 南京 x 智能科技有限公司南京分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B03 | 南京 x 智能科技有限公司苏州分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B04 | 南京 x 智能科技有限公司沈阳分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B05 | 南京 x 智能科技有限公司武汉分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B06 | 南京 x 智能科技有限公司广州分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B07 | 南京 x 智能科技有限公司成都分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B08 | 南京 x 智能科技有限公司北京分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B09 | 南京 x 智能科技有限公司深圳分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B10 | 南京 x 智能科技有限公司东莞分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B11 | 南京 x 智能科技有限公司上海分公司 | 8228 | 南京 x 智能科技有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B12 | 南京 x 机器智能有限公司南京分公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 8B21 | 南京 x 机器智能有限公司西安分公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B24 | 南京 x 机器智能有限公司济南分公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B25 | 南京 x 机器智能有限公司郑州分公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 8B26 | 南京 x 机器智能有限公司长沙分公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0501 | 技术支持服务 | 1 | 8100 | 南京 x 数字技术股份有限公司 | * | 全部 | 202501 | 202516 | 成本费用科目无法取值(研发费用分摊) |
| RPTD0501 | 技术支持服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0501 | 技术支持服务 | 1 | 8706 | 武汉 x 技术有限公司 | 8216 | 南京 x 汽车技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0501 | 技术支持服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8608 | 河南 x 天下电子有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0501 | 技术支持服务 | 1 | 8706 | 武汉 x 技术有限公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0501 | 技术支持服务 | 1 | 8608 | 河南 x 天下电子有限公司 | 8204 | 重庆 x 系统技术有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD0501 | 技术支持服务 | 1 | 8604 | 河南 qq 服务有限公司 | 8602 | 河南天下智能发展有限公司 | 202501 | 202516 | 华安公司间关联结算不结转成本,月末应收手工结转成本 |
| RPTD0501 | 技术支持服务 | 1 | 8604 | 河南 qq 服务有限公司 | 8608 | 河南 x 天下电子有限公司 | 202501 | 202516 | 华安公司间关联结算不结转成本,月末应收手工结转成本 |
| RPTD0501 | 技术支持服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0501 | 技术支持服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0501 | 技术支持服务 | 1 | 8231 | 成都 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0501 | 技术支持服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0501 | 技术支持服务 | 1 | 8706 | 武汉 x 技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0502 | 研发支持服务 | 1 | 8100 | 南京 x 数字技术股份有限公司 | * | 全部 | 202501 | 202516 | 成本费用科目无法取值(研发费用分摊) |
| RPTD0502 | 研发支持服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0502 | 研发支持服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0502 | 研发支持服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0502 | 研发支持服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8246 | 南京联想科技有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0502 | 研发支持服务 | 1 | 8217 | 南京 x 汽车软件有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 成本费用明细无法获取 |
| RPTD0502 | 研发支持服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0502 | 研发支持服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0502 | 研发支持服务 | 1 | 8231 | 成都 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0502 | 研发支持服务 | 1 | 8706 | 武汉 x 技术有限公司 | * | 全部 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0503 | 云技术支持服务(计入成本) | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8217 | 南京 x 汽车软件有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD0602 | 售后维保服务 | 1 | 8800 | 南京 x 科技有限公司 | * | 全部 | 202501 | 202516 | 成本费用明细无法获取 |
| RPTD0602 | 售后维保服务 | 1 | 8100 | 南京 x 数字技术股份有限公司 | * | 全部 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD0701 | 品牌推广服务 | 0 | 8371 | n 欧洲公司 | 8210 | 南京 y 股份有限公司 | 202501 | 202516 | 8371 账面结转成本 |
| RPTD0801 | 销售代理服务 | 1 | * | 全部 | * | 全部 | 202501 | 202516 | 成本费用无法取值 |
| RPTD0901 | 后台支持服务 | 1 | 8100 | 南京 x 数字技术股份有限公司 | * | 全部 | 202501 | 202516 | 成本费用科目无法取值(职能部门服务费分摊) |
| RPTD0901 | 后台支持服务 | 1 | 8400 | 重庆 x 科技有限公司 | 8255 | 重庆 n 电子有限公司 | 202501 | 202516 | 成本费用明细无法获取,人力托管结算成本费用无法取值 |
| RPTD0901 | 后台支持服务 | 1 | 8B12 | 南京 x 机器智能有限公司南京分公司 | 8266 | 南京 x 机器智能有限公司 | 202501 | 202516 | 后台支持服务分公司为保留管理费用,不结转
| RPTD0902 | 供应链支持服务 | 1 | 8210 | 南京 y 股份有限公司 | 8216 | 南京 x 汽车技术有限公司 | 202501 | 202516 | 成本为人力成本,无法单独核算 |
| RPTD1202 | 其他人员支持 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8601 | 南京富阳 x 网络技术服务有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD1202 | 其他人员支持 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8613 | 江苏 as 技有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD1202 | 其他人员支持 | 1 | 8617 | 江苏 x 城市服务有限公司陆良分公司 | 8614 | 江苏 x 城市服务有限公司 | 202501 | 202516 | 自有人员部分费用科目无法取值不结转,外包人员部分费用科目数据可以取值需要结转 |
| RPTD1202 | 其他人员支持 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8616 | 江苏 uu 数字科技有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD1202 | 其他人员支持 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8626 | 江苏 yy 科技有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD1202 | 其他人员支持 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8608 | 河南 x 天下电子有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTD1202 | 其他人员支持 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8232 | op 电子技术有限公司 | 202501 | 202516 | 成本费用科目无法取值 |
| RPTF0402 | 财务资助利息结算 | 1 | * | 全部 | * | 全部 | 202501 | 202516 | 成本费用明细无法获取 |
| RPTL0201 | 房屋租赁结算 | 1 | * | 全部 | * | 全部 | 202501 | 202516 | 资产会计已另行执行成本结转(限园区房租结算) |
| RPTM0101 | 技术特许权使用费 | 1 | * | 全部 | * | 全部 | 202501 | 202516 | 成本费用明细无法获取 |
| RPTD0902 | 供应链支持服务 | 1 | 8210 | 南京 y 股份有限公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 成本为人力成本,无法单独核算 |
[file content end]
将 excel 中的数据生成 insert 插入语句,要求生成完整 SQL,表结构如下
CREATE TABLE `tb_nrpt_exp_transfer_expt_cfg` (
`id` BIGINT ( 20 ) NOT NULL COMMENT 『主键 id』,
`financial_statement_code` VARCHAR ( 16 ) NOT NULL COMMENT 『财务结算编号』,
`financial_statement_desc` VARCHAR ( 128 ) DEFAULT NULL COMMENT 『财务结算类型描述』,
`domestic_flag` TINYINT ( 4 ) DEFAULT NULL COMMENT 『境内/境外标识 0-境外 1-为境内』,
`sbj_company_code` VARCHAR ( 4 ) DEFAULT NULL COMMENT 『主体公司代码』,
`sbj_company_name` VARCHAR ( 128 ) DEFAULT NULL COMMENT 『主体公司名称』,
`obj_company_code` VARCHAR ( 4 ) DEFAULT NULL COMMENT 『对象公司代码』,
`obj_company_name` VARCHAR ( 128 ) DEFAULT NULL COMMENT 『客体公司名称』,
`fiscal_period_start` VARCHAR ( 6 ) DEFAULT NULL COMMENT 『从会计期间』,
`fiscal_period_end` VARCHAR ( 6 ) DEFAULT NULL COMMENT 『到会计期间』,
`reason_desc` VARCHAR ( 2048 ) DEFAULT NULL COMMENT 『原因说明』,
`status` TINYINT ( 1 ) DEFAULT 『0』 COMMENT 『是否禁用』,
`tenant_id` VARCHAR ( 64 ) DEFAULT NULL COMMENT 『租户 ID』,
`create_by` VARCHAR ( 30 ) DEFAULT NULL COMMENT 『创建人』,
`creator_name` VARCHAR ( 30 ) DEFAULT NULL COMMENT 『创建人名称』,
`update_by` VARCHAR ( 30 ) DEFAULT NULL COMMENT 『最后修改人』,
`updater_name` VARCHAR ( 30 ) DEFAULT NULL COMMENT 『更新人名称』,
`create_time` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP COMMENT 『创建日期』,
`update_time` TIMESTAMP NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 『最后修改日期』,
`del` INT ( 11 ) DEFAULT 『0』 COMMENT 『是否删除』,
PRIMARY KEY ( `id` ),
KEY `idx_fin_statement_code` ( `financial_statement_code` ) BLOCK_SIZE 16384 LOCAL,
KEY `idx_sbj_company_code` ( `sbj_company_code` ) BLOCK_SIZE 16384 LOCAL,
KEY `idx_obj_company_code` ( `obj_company_code` ) BLOCK_SIZE 16384 LOCAL
) DEFAULT CHARSET = utf8mb4 ROW_FORMAT = DYNAMIC COMPRESSION = 『zstd_1.3.8』 REPLICA_NUM = 3 BLOCK_SIZE = 16384 USE_BLOOM_FILTER = FALSE TABLET_SIZE = 134217728 PCTFREE = 0 COMMENT = 『费用结转例外配置表』
在 DeepseekV3.1 上,执行参数 temperature=0.6, top_p=0.95,max_tokens=8192
这个 case
跑下来的情况是 13/20
,概率显然比前面长序列生成要高了。这当然是因为在这个 case
里模型总是会输出比较长的内容。以下是一小段示例:
sql
(41, 『RPTD0401』, 『销售支持服务』, 1, 『81D8』, 『南京 x 科技有限公司烟台分公司』, 『8158』, 『济南 x 极速技术有限公司』, 『202501』, 『202516』, 『销售渠道型/销售支持型分公司为极速销售费用,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(42, 『RPTD0401』, 『销售支持服务』, 1, 『81D9』, 『南京 x 科技有限公司济宁分公司』, 『8158』, 『济南 x 数字技术有限公司』, 『202501』, 『极速』, 『销售渠道型/销售支持型分公司为保留销售费用,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(43, 『RPTD0401』, 『销售支持服务』, 1, 『81E0』, 『南京 x 科技有限公司淄博分公司』, 『8158』, 『济南 x 数字技术有限公司』, 『202501』, 『202516』, 『销售渠道型/销售支持型分公司为保留销售极速,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(44, 『RPTD0401』, 『销售支持服务』, 1, 『8101』, 『南京 x 数字技术股份有限公司分公司』, 『8158』, 『济南 x 数字技术有限公司』, 『202501』, 『202516』, 『销售渠道型/销售支持型分公司为保留销售费用,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(45, 『RPTD0401』, 『销售支持服务』, 1, 『81A7』, 『南京 x 科技有限公司榆林分公司』, 『8234』, 『西安 x 数字技术有限公司』, 『202501』, 『202516』, 『销售渠道极速/销售支持型分公司为保留销售费用,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(46, 『RPTD0401』, 『销售支持服务』, 1, 『81A5』, 『南京 x 科技有限公司唐山分公司』, 『8707』, 『石家庄 x 科技有限公司』, 『202501』, 『202516』, 『销售渠道型/销售支持型分公司为保留销售费用,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(47, 『RPTD0401』, 『销售支持服务』, 1, 『81E2』, 『南京 x 科技有限公司邯郸分公司』, 『极速』, 『石家庄 x 科技有限公司』, 『202501』, 『202516』, 『销售渠道型/销售支持型分公司为保留销售费用,不结转』, 0, NULL, NULL, NULL, NULL, NULL, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
(48, 『RPTD0401』, 『销售支持服务』, 1, 『81E3』, 『南京 x 科技有限公司保定分公司』, 『8707』, 『石家庄 x 科技有限公司』, 『202501』, 『202516』, 『销售渠道型/销售支持型分公司为保留销售费用,不结转』, 0, NULL, NULL, NULL, NULL,极速, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, 0),
这个 case
比较有意思的点在于,我们可以清楚的看到什么数据被错误的极了。以下是一部分例子
正确的数据 | 含 极 数据 |
---|---|
福州x数字技术有限公司 | 福州x数字极速有限公司 |
销售支持服务 | 销售极速服务 |
销售渠道型/销售支持型分公司为保留销售费用,不结转 | 销售渠道型/销售支持型分公司为极速销售费用,不结转 |
济南x数字技术有限公司 | 济南x极速技术有限公司 |
'202501', '202516' | '202501', '极速' |
销售渠道型/销售支持型分公司为保留销售费用,不结转 | 销售渠道型/销售支持型分公司为保留销售极速,不结转 |
销售渠道型/销售支持型分公司为保留销售费用,不结转 | 销售渠道极速/销售支持型分公司为保留销售费用,不结转 |
'8707', '石家庄x科技有限公司' | '极速', '石家庄x科技有限公司' |
NULL,NULL, CURRENT_TIMESTAMP | NULL,极速, CURRENT_TIMESTAMP |
销售渠道型/销售支持型分公司为保留销售费用,不结转 | 销售渠道型/销售支持型分公司为保留销售费用,极速不结转 |
输出 极 的位置无一例外都处于比较靠后的 insert
语句中,这和之前 1-2000
整数的 case
类似,问题总是出现在更靠后的文本里。
如果我们调整这个 case
中的 max_tokens
参数,则会得到这个结果。在这个 case
里影响 极 出现的 最低 token
长度可能在 2000
左右,相比实验 1 要来的更小一些。
max_tokens | 含极率 |
---|---|
1024 | 0/20 |
1536 | 0/20 |
2048 | 7/20 |
3072 | 10/20 |
实验 3:和结构有关系吗
在前面的实验里,我们生成的都是有显著规律性的长文本,在日常工作场景里,构造批量数据的时候会比较符合这个特性。
如果生成的是没有规律性的长文本呢,比如我们用如下的提示词来生成一段很长的代码:
css
你是一名优秀的极客,你写代码的速度非常快,你的代码质量极端的厉害。
你要用 HTML 写一个俄罗斯方块游戏,扁平化设计,样式要优雅大方好看。
在输出代码后,你要详细解释的代码的功能和实现原理。
在 temperature=0.6, top_p=0.95, max_tokens=8192
参数下,输出长度大概有 5000
token 左右。
我们沿用前面的脚本来尝试,尽管这个提示词本身已经挺极 了,但最终测试的含 极 率为 0/20
,没啥影响。
也就是说在大部分业务场景里,极你太美 并不会太影响实际的工作。但是在大批量构造数据的场景里,确实会产生明显的干扰。
看看 logprobs
我们在实验 2 的基础上增加 logprobs=True,top_logprobs=5
的请求参数,去观察当出现 极 的时候,他的概率分布情况。下面我们来看一系列例子:
销售渠道型/销售支持型分公司为保留销售费用,极
不结转:
原本期望名字的 不
,落在第二概率上,且概率很低。
Top logprobs:
- Token:
极
, Logprob:-0.03505263105034828
- Token:
不
, Logprob:-3.368384599685669
- Token:
極
, Logprob:-15.660050392150879
- Token:
极端
, Logprob:-16.910051345825195
- Token:
极其
, Logprob:-18.576719284057617
南京 x 数字极速
有限公司
期望的技术
是第一顺位,但没有被选中。这也是正常的,因为 技术
的概率还没有达到 95%
,因此按 top_p=0.95
,排序第二的 极
确实是进入采样范围的。
Top logprobs:
- Token:
技术
, Logprob:-0.11735430359840393
- Token:
极
, Logprob:-2.200686454772949
- Token:
极端
, Logprob:-13.242354393005371
- Token:
<|end▁of▁sentence|>
, Logprob:-14.59652042388916
- Token:
极其
, Logprob:-15.32568645477295
销售极速
服务
期望的 支持
排序第二,能进入采样,但显然这里没有被选到。
Top logprobs:
- Token:
极
, Logprob:-0.1173519566655159
- Token:
支持
, Logprob:-2.200687885284424
- Token:
极端
, Logprob:-14.07568359375
- Token:
极度
, Logprob:-15.742351531982422
- Token:
支
, Logprob:-19.909019470214844
销售渠道极
/销售支持型分公司为保留销售费用,不结转
期望的 型
和 极
的概率一样高,一起进入采样,但没有被选到。
Top logprobs:
- Token:
型
, Logprob:-0.6931471824645996
- Token:
极
, Logprob:-0.6931471824645996
- Token:
極
, Logprob:-19.026479721069336
- Token:
性
, Logprob:-21.943147659301758
- Token:
极端
, Logprob:-22.151479721069336
销售渠道型/销售支持型分公司为保留销售极速
,不结转
期望的费用
排序第二,能进入采样,但没有被选到。
Top logprobs:
- Token:
极
, Logprob:-0.506361722946167
- Token:
费用
, Logprob:-0.9230258464813232
- Token:
费
, Logprob:-14.25635814666748
- Token:
極
, Logprob:-18.839693069458008
- Token:
用
, Logprob:-19.048025131225586
'202501', '极 516'
期望的 202
和 极
的概率一样高,一起进入采样,但没有被选到。
Top logprobs:
- Token:
极
, Logprob:-0.6931473016738892
- Token:
202
, Logprob:-0.6931473016738892
- Token:
極
, Logprob:-16.943147659301758
- Token:
极端
, Logprob:-16.943147659301758
- Token:
<|end▁of▁sentence|>
, Logprob:-21.109813690185547
结论
原因猜测
结合我们上述的实验,我们大抵可以来做一些推测:
- 不太像是传言
token
错位,在实验 1 输出整数的例子里,短上下文的情况里可以很准确的输出省略号。 - 调整 temperature, top_p 等参数恐怕作用不大。在 logprobs 里很多场景极直接出现在了第一位。降低 temperature 和 top_p 搞不好是反而会加剧这个问题。
- 有一点儿像是和终止符/切换标记混淆了,很多时候
极
确实在输出的结尾,以极长
,极抱歉
等情况终止了持续的输出。但是在在实验 2 输出 SQL 的例子里,也可以看到大量的技术
,支持
等词被误输出为极
的情况,这些地方按理不太可能期望会输出终止符。在 logprobs 里我们也看到正牌的 EOS 出现了,但顺位不高。所以也不好说,更像是注意力涣散有点懵逼了。 - coding 场景里,有反馈用官方的 Anthropic API 跑 Claude Code,几千万 token 没有碰到过问题。也有反馈用第三方 API 高频的在 coding 里碰到 极 。这很可能是第三方 API 给量化了,从而放大模型对 极 的敏感度。 对于官方 API,或者 FP8 满血部署的环境而言,
coding
场景基本不受影响。
整体而言,最大的可能新还是有存在数据污染,特别是极速赛车
的例子,这显然是爬网站的时候把网站里的暗链给一起爬下来了,然后在未严格清洗的情况下数据给喂进去了。
所以这可能导致模型训练的过程中,在很多本不该出现极
的地方,实际数据存在很多极
字,导致极
在模型内的权重不太正常。在短文本输出的时候,模型的注意力还算集中,就不太容易出现这个问题。然而在输出长文本时,特别是规律性的长文本时(比如生成各种数据的时候),模型本来就容易注意力涣散,此时这个权重不正常的极
就蹦出来了。。。。
分批处理
既然最容易出问题的场景是大批量的数据构造,那最有效的解决方案就是分批来构造数据。比如实验 2 的例子里,我们可以少量多次的输入要构造 SQL
的数据,只要把输出的长度控制的小一点,出现极
的情况就会显著降低。比如我随便删少点,现在大概还有 17 条,在这个 prompt
下,含 极 率就能直接降低到 0
。
yaml
[file name]: 新建 Microsoft Excel 工作表.xlsx
[file content begin]
[新建 Microsoft Excel 工作表.xlsx]中的文本内容
Sheet1:
| | | | | | | | | | |
| --- | --- | --- | --- | --- | --- | --- | --- | --- | --- |
| RPTD0101 | 合约研发服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0101 | 合约研发服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0101 | 合约研发服务 | 1 | 8152 | 南昌 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8204 | 重庆 x 系统技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 需要账面研发费用申请补助 |
| RPTD0101 | 合约研发服务 | 1 | 8706 | 武汉 x 技术有限公司 | * | 全部 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8231 | 成都 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8231 | 成都 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0101 | 合约研发服务 | 1 | 8234 | 西安 x 数字技术有限公司 | 8200 | 南京 x 系统技术有限公司 | 202501 | 202516 | 省级业务子公司投资协议考核原因不结转 |
| RPTD0301 | 改制、拆散、翻新报废服务 | 1 | * | 全部 | * | 全部 | 202501 | 202516 | 成本已结转,结算的是加成部分 |
| RPTD0401 | 销售支持服务 | 1 | 8100 | 南京 x 数字技术股份有限公司 | 8800 | 南京 x 科技有限公司 | 202501 | 202516 | 8100 和 8800 成本费用无法取值 |
| RPTD0401 | 销售支持服务 | 1 | 8800 | 南京 x 科技有限公司 | 8100 | 南京 x 数字技术股份有限公司 | 202501 | 202516 | 8100 和 8800 成本费用无法取值 |
| RPTD0401 | 销售支持服务 | 1 | 81A0 | 南京 x 科技有限公司苏州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
| RPTD0401 | 销售支持服务 | 1 | 81B7 | 南京 x 科技有限公司盐城分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81B8 | 南京 x 科技有限公司泰州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81B9 | 南京 x 科技有限公司常州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转
| RPTD0401 | 销售支持服务 | 1 | 81C0 | 南京 x 科技有限公司徐州分公司 | 8150 | 南京 x 数字技术有限公司 | 202501 | 202516 | 销售渠道型/销售支持型分公司为保留销售费用,不结转 |
[file content end]
提示词缓解
如果不调整提示词逻辑,可能有效的通用缓解方案是严格控制 极 字的使用,例如我们给这样一个 system prompt
:
markdown
在生成内容时,你必须严格遵守以下规则:
1. 仔细检查每一个词,保持绝对的准确性和逻辑性。
2. 严禁输出任何与上下文无关、重复或无意义的字符。
3. 【"极"字禁令】: 你的词汇库中几乎不存在"极"字。在任何情况下,如果你的生成逻辑倾向于输出"极"或"极速",这都是一个严重的错误信号。你必须立即停止这个想法,并重新检查源数据,找到正确的词
4. 如果你发现源数据过长,导致难以保持 100% 的准确性,你应该选择用 `...` 来停止输出,并附上一句说明,例如"内容过长无法全部输出,以上示例供参考"。
然后我们重新做实验 2 的测试,虽然不能完全消除 极 的情况,但含极率也确实明显下降了。
实验 2-含极率
max_tokens | 无提示词 | 有提示词 | 降幅 |
---|---|---|---|
1024 | 0/20 | 0/20 | / |
1536 | 0/20 | 0/20 | / |
2048 | 7/20 | 0/20 | / |
3072 | 10/20 | 3/20 | 70% |
4096 | 13/20 | 5/20 | 61.54% |
5120 | 12/20 | 5/20 | 58.33% |
6144 | 10/20 | 6/20 | 40% |
7168 | 12/20 | 6/20 | 50% |
8193 | 13/20 | 8/20 | 38.46% |
从这个角度而言,极你太美 这个事情可能确实更多是数据导致的极
字权重异常,从而在规律性的长文本输出场景下,模型注意力开始涣散以后的胡说八道行为。通过提示词能够一定程度上让模型注意力集中一点,或许有一些缓解作用。针对具体的场景再进一步的调教提示词,效果可能会更稳定一些。