llm训练

Soari9 天前
github·llm训练·从零训练大模型
从零训练 LLM:解析 GitHub 开源项目 train-llm-from-scratch在大型语言模型(LLM)技术蓬勃发展的今天,许多开发者希望从零开始构建属于自己的 LLM,而不是仅仅依赖现有预训练模型。GitHub 上由 FareedKhan-dev 发布的开源项目train-llm-from-scratch 正是一个面向学习和实验用的端到端 LLM 训练管道,它实现了从数据下载、预处理、模型搭建、训练、评估到文本生成的完整流程。该项目使用 PyTorch 实现了 Transformer 语言模型,允许开发者在单 GPU 上训练百万级到十亿级参数规模的 LLM。
爱分享的飘哥10 个月前
人工智能·自动化·prompt·aigc·数据集·llm训练·数据工程
第六十六篇:AI模型的“口才”教练:Prompt构造策略与自动化实践在《训练链路与采集系统》的旅程中,我们已经学会了如何采集原始数据,并将其精加工成AI模型可消化的“食材”(如标注图像、抽帧视频、提取字幕)。
Alex_StarSky3 年前
chatgpt·大模型·chatglm2·p-tuning训练·本地化训练·llm训练·训练代码解读
GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型,到底做了什么?(二)本文试图分析程序结构和代码,解释序列转换生成模型的微调训练。为了篇幅不要过长,分两篇文章解读,本文解读训练代码。框架概述请看前篇文章:GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型,到底做了什么?(一)
我是有底线的