Llama2-Chinese项目：2.3-预训练使用QA还是Text数据集？Llama2-Chinese项目给出pretrain的data为QA数据格式，可能会有疑问pretrain不应该是Text数据格式吗？而在Chinese-LLaMA-Alpaca-2和open-llama2预训练使用的LoRA技术，给出pretrain的data为Text数据格式。所以推测应该pretrain时QA和Text数据格式都应该支持。然后马上就会有一个疑问，两者有什么区别呢？再回答这个问题之前，先来看看Llama2-Chinese和open-llama2是如何处理QA和Text数据的。