llama

Unity2019 本地推理通义千问0.5-1.5B微调导入使用工具Uniy 2019python3.8python一堆环境cmakeVisual Studio 2022

ACP大模型认证刷题工具开源，助力高效备考大家好！我最近成功考下了ACP大模型认证，并且在考试时遇到了原题！这个经历让我深刻体会到备考的重要性，也让我认识到在备考过程中，一款高效的刷题工具能为我们节省很多时间，帮助我们更好地通过考试。为了帮助更多的朋友顺利通过ACP大模型认证，我决定将自己开发的刷题应用开源，供大家免费下载、使用。（审核不通过，打了一下码）

迷之程序员

llama-cpp-python用法，模型加载gpu踩坑全记录llama-cpp-python的主分支貌似很久不更新了，直接pip install用有问题，因为安装时候他会自动编译最新版的llama-cpp，但是这个llama-cpp接口变了的话而llama-cpp-python没及时更新就会报错。因此我用的领一个分支：https://github.com/JamePeng/llama-cpp-python

Ollama 底层的 llama.cpp 和 GGUFGGUF = 大模型权重的「通用压缩格式」（类似视频的 MP4，适配所有播放器） llama.cpp = 跑 GGUF 格式模型的「轻量级推理引擎」（类似视频播放器，能在低配电脑上流畅播 MP4）两者配合：GGUF 让模型体积变小、适配性强，llama.cpp 让模型能在 CPU / 低配 GPU 上快速跑这也是 Ollama 能做到 “一键本地运行” 的底层原因

4.1 Megatron-LM：千卡级集群预训练的“硬核”框架Megatron-LM 是一个基于 PyTorch 的分布式训练框架，专门面向 Transformer 大语言模型（尤其是 GPT/LLaMA 类 decoder-only 架构）的超大规模训练。它在工程上追求“极致吞吐”，在千卡级甚至万卡级训练中，往往能取得非常强的性能与可扩展性。

重生之我要成为代码大佬

AI框架设计与选型写在前面：本博客全部基于知乎的大模型课程所做的笔记和整以及和在实操过程中遇到的问题和处理方法，（老师们讲的都很好，解答的也很细致）博主也正在学习中，如果有错误的地方期待和我沟通。大多代码都来自于上课的资料，加入了一些注释和梳理，或者对我没有跑通的代码做了一些修改让他符合我的需求。第一节链接：langchain多任务应用开发

4.1 LLaMA 系列：从 LLaMA-1 到 LLaMA-3本节围绕 LLaMA 系列的三条主线展开：（1）基础架构与训练配方的关键选择；（2）从 LLaMA-2 开始成体系的后训练（SFT / 拒绝采样 / RLHF / DPO）；（3）面向代码与长上下文的扩展（Code Llama、LLaMA-3/3.1）。讨论默认以论文与技术报告中的描述为准，并配合必要的直观案例帮助理解。

DeepSeek总结的llama.cpp使用说明原文地址：https://github.com/ggml-org/llama.cpp许可证： MIT 协议 | 发布服务器

爱跑步的程序员~

SpringBoot集成SpringAI与Ollama本地大模型作者：CSDN爱跑步的程序员本文手把手带你从零搭建一个基于 Spring Boot 3、Spring AI 与 Ollama 的本地 AI 对话服务，包含环境准备、项目创建、依赖配置、接口开发与联调测试的完整步骤。

向量引擎小橙

视觉艺术的“奇点”：深度拆解 Gemini-3-Pro-Image-Preview 绘画模型，看这只“香蕉”如何重塑 AI 创作逻辑！各位开发者、设计师、极客朋友们，大家好。在 AI 绘画领域，我们经历过从“随机抽卡”到“精准控制”的漫长进化。而最近，谷歌发布的 Gemini-3-Pro-Image-Preview（以下简称“香蕉模型”）再次刷新了我们对“视觉生成”的认知。

正宗咸豆花

开源大模型涨价策略分析：Llama 3.5 与 GLM-5 的商业化博弈2026年2月12日，智谱AI宣布GLM Coding Plan套餐涨价30%起，同期Meta Llama 3.5的商业授权也在悄然提价。这场看似突然的涨价潮，实则是AI产业从技术狂热转向价值理性的历史性转折。当开发者习惯了"补贴式"廉价API后，涨价公告如同警钟，宣告开源大模型商业化博弈进入深水区。

使用 LLaMA-Factory 微调 Qwen2.5 模型，并转换为 GGUF 格式部署在开源大模型领域，Qwen 系列凭借强大的中文能力和友好的协议受到广泛欢迎。然而，直接使用基座模型往往无法满足特定业务场景的需求，需要通过微调来注入领域知识。微调后的模型如何高效部署？GGUF 格式是目前 llama.cpp 等推理后端广泛支持的格式，具有跨平台、内存映射等优点。本文将完整记录使用 LLaMA-Factory 微调 Qwen2.5-7B-Instruct 模型，并通过 llama.cpp 将微调后的模型转换为 GGUF 格式的全过程，并分享在转换过程中遇到的经典错误及其解决方案。

Mac基于LLaMA Factory微调模型导入Ollama踩坑记录遇到问题1：ERROR: Package 'llamafactory' requires a different Python: 3.9.6 not in '>=3.11.0'。然后升级到python最高版本3.14解决（不建议选最新版本，后面使用数据集遇到新的问题）问题2：

大语言模型调试框架 Hugging Face vs LLaMA-Factory详细对比Hugging Face vs LLaMA-Factory：详细对比这两者定位不同，但存在重叠领域。让我从多个维度为你详细对比：

大语言模型 llama-factory 通常不推荐只用 LoRA 做新词库预热 embedding可以，但通常不推荐只用 LoRA 做新词库预热，原因如下：修改命令（只训嵌入层）：如果必须用 LoRA，需要手动初始化新 token 嵌入：

木卫二号Coding

第八十篇-E5-2680V4+V100-32G+llama-cpp运行+Qwen3-Next-80B-UD-Q2_K_XL.GGUF参考：第七十九篇-E5-2680V4+V100-32G+llama-cpp编译运行+Qwen3-Next-80B-CSDN博客

大模型微调 PEFT vs LLaMA-Factory在 LLM（大语言模型）微调的圈子里，开发者通常会接触到两种截然不同的流派：一种是原生代码流，即直接使用 HuggingFace Transformers 和 PEFT 库编写 Python 代码；另一种是框架工具流，以 LLaMA-Factory 为代表的集成化工具。

打工小熊猫

langSmith接入说明LangSmith 是一个用于构建生产级 LLM 应用程序的平台。它允许使用者调试、测试、评估和监控基于任何 LLM 框架构建的链和智能代理，并无缝集成 LangChain（用于构建 LLM 的首选开源框架）。

沐曦MCX500安装llama factory应该是01-locale-fix.sh 、 conda.sh这两个文件导致的，首先用cat conda.sh

记录一些安装llama并使用cuda遇到的坑在Microsoft Visual C++ Build Tools下载vs_buildtools.exe，安装时选择C++ build tools(C++桌面开发)，勾选以下组件：