[COLM 2024] V-STaR: Training Verifiers for Self-Taught Reasoners读完STaR后，最直观的想法，1）数据利用率不够，合理化依然没有利用好剩下的数据，而剩下的数据对提高模型性能可能很重要（硬骨头），此外，模型没有一次性答对的样本也没有用上（即剩下的样本），这些一次没答对的数据中，可能部分步骤是有益的，能否利用上？或者错误的步骤能否也利用上？ 2）由于LLM有随机性，应该让它多次输出，然后选最好的答案。如何选最好，比起用分类任务来做，不如用排序任务来做。因此可能需要QA模型多次输出，然后让一个模型来对答案排序。