大模型微调

AI_小站16 天前
人工智能·大语言模型·ai大模型·计算机技术·rag·大模型微调·大模型应用
如何手撸一个自有知识库的RAG系统RAG通常指的是"Retrieval-Augmented Generation",即“检索增强的生成”。这是一种结合了检索(Retrieval)和生成(Generation)的机器学习模型,通常用于自然语言处理任务,如文本生成、问答系统等。
汀、人工智能19 天前
大模型·大模型微调
LLM微调方法(Efficient-Tuning)六大主流方法:思路讲解&优缺点对比[P-tuning、Lora、Prefix tuing等]由于LLM参数量都是在亿级以上,少则数十亿,多则数千亿。当我们想在用特定领域的数据微调模型时,如果想要full-tuning所有模型参数,看着是不太实际,一来需要相当多的硬件设备(GPU),二来需要相当长的训练时间。因此,我们可以选择一条捷径,不需要微调LLM的全量参数,而只需要新增少量的参数,通过固定原始模型参数,而只需要微调新增的少量参数,从而达到接近使用全参数full-tuning的效果。本章主要讲述在LLM时代,当下主流的微调方法。
青花锁1 个月前
人工智能·gpt·深度学习·lora·大模型微调
[机器学习]GPT LoRA 大模型微调,生成猫耳娘🌹作者主页:青花锁 🌹简介:Java领域优质创作者🏆、Java微服务架构公号作者😄🌹简历模板、学习资料、面试题库、技术互助
饱学猿2 个月前
人工智能·ai·大模型·大模型微调·大模型微调实战
手把手微调大模型【附:一镜到底视频教程】近期有很多小伙伴来问是否有大模型微调教程,其实目前网上有很多教程,但是据了解,由于网上教程质量参差不齐,导致很多小伙伴尤其是初学者,一坑未出又入一坑,有种从入门到放弃的感觉。于是乎,有了今天的这篇教程,为了最大化发挥这篇教程的作用,也为了能够激发大家的行动力,所以本教程并不是免费的,需要付费9.9元,更重要的是过滤掉那些教程的二手贩子,据了解已经有人在贩卖我之前录制的免费公开的视频了!!
Elwin Wong3 个月前
lora·大模型·llm·sft·大模型微调
LoRA微调论文:LoRA: Low-Rank Adaptation of Large Language Models
博云技术社区5 个月前
人工智能·云计算·大模型微调·中科可控·博云
博云科技与中科可控全面合作,探索前沿金融科技新机遇2024年1月26日,博云科技与中科可控在昆山高新区成功举办合作签约仪式。昆山市委常委、昆山高新区党工委书记孙道寻、中科可控董事长聂华、博云科技董事长花磊等领导出席了本次签约仪式。
luxinfeng6666 个月前
embedding·embedding微调·大模型微调·llama_index·自定义微调
基于llama-index对embedding模型进行微调QA对话目前是大语言模型的一大应用场景,在QA对话中,由于大语言模型信息的滞后性以及不包含业务知识的特点,我们经常需要外挂知识库来协助大模型解决一些问题。在外挂知识库的过程中,embedding模型的召回效果直接影响到大模型的回答效果,因此,在许多场景下,我们都需要微调我们的embedding模型来提高我们的召回效果。下面,我们就基于llama-index对BAAI/bge-base-zh-v1.5模型进行微调,关于该模型的介绍,可以参考https://huggingface.co/BAAI/bge-ba