P-Tuning: 在输入的embedding层前,将prompt转换为可学习的额外一层embedding层.
- P-Tuning,仅对大模型的Embedding加入新的参数。
- P-Tuning-V2,将大模型的Embedding和每一层前都加上新的参数。
- 当prefix_projection为True时,为P-Tuning-V2方法,在大模型的Embedding和每一层前都加上新的参数;为False时,为P-Tuning方法,仅在大模型的Embedding上新的参数。
P-Tuning: 在输入的embedding层前,将prompt转换为可学习的额外一层embedding层.