prompt tuning

橙子小哥的代码世界

PET,Prompt Tuning,P Tuning,Lora,Qlora 大模型微调的简介到2025年，虽然PET（Pattern-Exploiting Training）和Prompt Tuning在学术界仍有探讨，但在工业和生产环境中它们已基本被LoRA/QLoRA等参数高效微调（PEFT）方法取代。LoRA因其实现简单、推理零开销，并能在大规模模型上以极少量参数达到与全量微调相当的效果，已成为最受欢迎的PEFT技术。QLoRA在此基础上再结合4-bit量化，使得即便是65B级模型也能在单块48 GB GPU上完成微调，内存占用降低近3倍，性能几乎无损。

visual prompt tuning和visual instruction tuningvisual prompt tuning：作为一种微调手段，其目的是节省参数量，训练时需要优化的参数量小。

Espresso Macchiato

文献阅读：Chain-of-Thought Prompting Elicits Reasoning in Large Language Models这篇文章还是一篇关于大模型的prompt调优的文章。这里，主体的思路是使用Chain of Thought，也就是说把CoT的思路加入到prompt调优当中。和finetune当中使用的CoT方式相似，前者是将答案推导的推理链给出然后交给模型进行finetune，而这里，不在用于finetune，而是将其给出到few-shot learning当中，作为例子来指导模型进行生成推理，从而优化推理过程。

Espresso Macchiato

文献阅读：AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators这一篇文章是我司的另一篇关于GPT模型的Prompt工程调优的文章，不过这篇文章的方法挺有启发意义的，而且这篇文章的工作本身也和我最近在做的工作比较契合，因此打算在这里对这篇文章进行一下整理。

Espresso Macchiato

文献阅读：MathPrompter: Mathematical Reasoning using Large Language Models这篇文章是今年3月份的时候微软提出的一篇工作，其核心的问题是优化了GPT模型在数学问题上的回答准确性。