LLM输出方式（generate）详解

https://www.bilibili.com/video/BV16g411L7FG/?spm_id_from=333.1387.collection.video_card.click&vd_source=132c74f7a893f6ef64b723d9600c40b7https://www.bilibili.com/video/BV16g411L7FG/?spm_id_from=333.1387.collection.video_card.click&vd_source=132c74f7a893f6ef64b723d9600c40b7

在next token prediction中用的是贪心搜索。

https://www.bilibili.com/video/BV1B44y1C7m1/?spm_id_from=333.337.search-card.all.click&vd_source=132c74f7a893f6ef64b723d9600c40b7https://www.bilibili.com/video/BV1B44y1C7m1/?spm_id_from=333.337.search-card.all.click&vd_source=132c74f7a893f6ef64b723d9600c40b7但是如果不按贪心，可能出现更好的选项使得最终的概率乘积更大

束搜索就是保存topk个概率最大的结果

beam search中，句子越长概率相乘得到的概率积会更小，所以要加上一个调整项