本项目主要用于验证模型在不同知识注入机制下的表现
代码模块说明:
data(数据模块)
raw(未处理的数据)
processed(处理过的数据)
prompts(提示词)
models(模型模块)
src(源代码模块)
download(下载模块)
inference(推理模块)
evaluate(量化评估模块[F1参数等])
run_experiments(测试模块)
results(输出模块)
keyword_extraction(关键词提取)
summary(摘要)

读博客
https://blog.csdn.net/weixin_29166013/article/details/158185843
https://blog.csdn.net/omonday1234/article/details/147037162
https://zhuanlan.zhihu.com/p/651430181
https://zhuanlan.zhihu.com/p/48982978
遇到的问题
OOM,目前认为是没有进行内存碎片管理,或者需要调整batch和epoch。