NLP实践——Llama-2 多轮对话prompt构建

NLP实践------Llama-2 多轮对话prompt构建

  • [1. 问题提出](#1. 问题提出)
  • [2. prompt的正确形式](#2. prompt的正确形式)
  • [3. 效果测试](#3. 效果测试)
  • [4. 结尾](#4. 结尾)

1. 问题提出

最近,META开源了Llama-2模型,受到了广泛的关注和好评,然而,在官方给的使用说明中,并没有对使用方法进行特别细节的介绍,尤其是对于对话任务,这就给我们在使用时带来了很多困扰。

以ChatGLM为例,在执行多轮对话时,需要将历史信息拼接到输入中,以供模型在生成时计算历史token与当前query之间的交互(self-attn):

python3 复制代码
# ChatGLM中对话prompt的产生:
	prompt = ""
	for i, (old_query, response) in enumerate(history_input):
	    prompt += "[Round {}]\n问:{}\n答:{}\n".format(i, old_query, response)
	prompt += "[Round {}]\n问:{}\n答:".format(len(history_input), query_input)

所以可以很自然的想到,如果使用Llama-2模型进行对话,应该也有这样一套模板,与训练过程中的对话形式相匹配。

于是经过简单的搜索后,在reddit论坛找到了Llama-2官方所提供的说明:

https://www.reddit.com/r/LocalLLaMA/comments/155po2p/get_llama_2_prompt_format_right/

2. prompt的正确形式

根据官方账号给出的说明,在对话时,用户所提供的prompt应当满足以下形式:

复制代码
<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>

{{ user_message }} [/INST]

其中,<s><\s><<SYS>><</SYS>>[INST],以及[/INST]是特殊token,标记着prompt中各个部分的构成。

{``{ system_prompt }}部分是整个对话中的通用前缀,一般用来给模型提供一个身份,作为对话的大背景。
{``{ user_message }}部分是用户所提供的信息,可以理解为多轮对话中其中一轮对话的内容。

并且,其给出了一个样例:

复制代码
<s>[INST] <<SYS>>
You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature.

If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
<</SYS>>

There's a llama in my garden 😱 What should I do? [/INST]

然而,这个简单的样例并不能很好的反映多轮对话的场景,因为它只描述了用户怎样提供第一轮输入,对于几个特殊token如何使用,也没有很好的说明。

幸运的是,在评论区有用户@Evening_Ad6637给出了更加完整的样例以供我们参考:

假设输入是以下形式的对话:

复制代码
<s>[INST] <<SYS>>

You are are a helpful... bla bla.. assistant

<</SYS>>

Hi there! [/INST] Hello! How can I help you today? </s><s>[INST] What is a neutron star? [/INST] A neutron star is a ... </s><s> [INST] Okay cool, thank you! [/INST]

那么当这个整体作为prompt输入给模型去进行generate时,模型的输出应该是类似于You're welcome! 之类的话。

更详细的解释一下:

    1. 每一组<s></s>之间是一个相对完整的单元,可以理解为一个对话轮次(如果直接给一个文本作为输入,也可以看到模型的输入结果分别是以这两个BOS和EOS token作为结尾的)。
    1. [INST][/INST]用于区分在当前这一轮的对话(历史)中,用户输入的部分与模型返回的部分。位于[INST]之后,/[INST]之前的文本,是用户在这一轮次对话中所输入的query,而/[INST]之后的文本,是模型针对这一query所作出的回答。
    1. 在对话中的第一组单元,可以提供整个对话的背景信息,并以<<SYS>><</SYS>>作为特殊标记,位于它们之间的,是对话的背景信息。
    1. 需要额外注意,有些特殊标记与文本之间是有空格的,容易遗漏。

3. 效果测试

为了验证prompt是否有效,我们做一个简单的实验,场景是询问动物相关的问题。

(1)首先假设Llama-2模型是一个动物学家,以此作为背景:

复制代码
You are a zoologist, you will answer my questions about animals.

(2)然后提供一轮对话历史:

复制代码
- What is an elephant?
- Ah, an excellent question! Elephants are fascinating creatures, and I'm happy to share my knowledge with you.\nAn elephant is a large, intelligent, and social mammal that belongs to the family Elephantidae.

(3)接下来,提供新一轮对话的query

复制代码
How much does it weigh?

注意,在这里我回避了使用elephant这个词,而是直接用it进行指代。

(4)完整的prompt

根据前文所述的prompt格式,可以将当前轮次输入给模型进行generate的完整prompt构造如下:

python3 复制代码
text = """<s>[INST] <<SYS>>
You are a zoologist, you will answer my questions about animals. 
<</SYS>>

What is an elephant? [/INST] Ah, an excellent question! Elephants are fascinating creatures, and I'm happy to share my knowledge with you.\nAn elephant is a large, intelligent, and social mammal that belongs to the family Elephantidae.</s><s>[INST] How much does it weigh? [/INST]"""

(5)返回结果

经过generate(生成参数为:{"max_length": 4096, "num_beams": 3, "temperature": 0.9})并解码之后,模型生成结果为:

复制代码
"<s><s> [INST] <<SYS>>\nYou are a zoologist, you will answer my questions about animals. \n<</SYS>>\n\nWhat is an elephant? [/INST] Ah, an excellent question! Elephants are fascinating creatures, and I'm happy to share my knowledge with you.\nAn elephant is a large, intelligent, and social mammal that belongs to the family Elephantidae.</s><s> [INST] How much does it weigh? [/INST]  Great question! The weight of an elephant can vary depending on the species and the individual animal. Here are the average weights for the two main species of elephants:\n* African elephants: Males typically weigh between 5,000 to 14,000 pounds (2,268 to 6,350 kilograms), while females weigh between 4,000 to 9,000 pounds (1,814 to 4,082 kilograms).\n* Asian elephants: Males typically weigh between 3,000 to 6,000 pounds (1,361 to 2,722 kilograms), while females weigh between 2,000 to 3,000 pounds (907 to 1,361 kilograms).\nIt's worth noting that these are just averages, and individual elephants can vary significantly in weight depending on various factors such as age, sex, and nutrition.</s>"

可以看到对话的效果还是不错的,可以比较好的回答出当前轮次关于大象体重的问题。

4. 结尾

本文介绍了如何构建Llama多轮对话的prompt,以适应模型的训练过程中的结构。如果需要搭建一个对话工具,还需要进行一些其他额外的工作,例如对模型生成结果进行截断、对中间kv进行缓存等。

chat与stream_chat的实现可以参考chatGLM的写法:
https://huggingface.co/THUDM/chatglm2-6b/blob/main/modeling_chatglm.py

如何在对话过程中进行显存控制,可以参考我之前的这一篇博客:
https://blog.csdn.net/weixin_44826203/article/details/130401177

此外,还有关于特殊token的一点小疑问,我实验过程中所使用的Llama-2-7b-chat-hf模型,只将<s><\s>列为了特殊token,而<<SYS>><</SYS>>[INST],以及[/INST]都只是普通字符,在tokenize的时候会被切分开,不知道是我用错了模型还是什么其他的原因,希望官方在后续能够提供更加详细的说明介绍。

如果本文对你的学习和工作有所帮助的话,记得点一个免费的赞。转载请注明出处。

相关推荐
onceco7 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
陈敬雷-充电了么-CEO兼CTO14 小时前
大模型技术原理 - 基于Transformer的预训练语言模型
人工智能·深度学习·语言模型·自然语言处理·chatgpt·aigc·transformer
AI让世界更懂你19 小时前
【ACL系列论文写作指北15-如何进行reveiw】-公平、公正、公开
人工智能·自然语言处理
**梯度已爆炸**21 小时前
自然语言处理入门
人工智能·自然语言处理
羊小猪~~1 天前
【NLP入门系列五】中文文本分类案例
人工智能·深度学习·考研·机器学习·自然语言处理·分类·数据挖掘
xwz小王子1 天前
从LLM到WM:大语言模型如何进化成具身世界模型?
人工智能·语言模型·自然语言处理
静心问道1 天前
FLAN-T5:规模化指令微调的语言模型
人工智能·语言模型·自然语言处理
李师兄说大模型1 天前
KDD 2025 | 地理定位中的群体智能:一个多智能体大型视觉语言模型协同框架
人工智能·深度学习·机器学习·语言模型·自然语言处理·大模型·deepseek
静心问道1 天前
SqueezeBERT:计算机视觉能为自然语言处理在高效神经网络方面带来哪些启示?
人工智能·计算机视觉·自然语言处理
Sherlock Ma1 天前
百度开源文心一言4.5:论文解读和使用入门
人工智能·百度·自然语言处理·开源·大模型·文心一言·多模态