llama

在Windows下编译出llama_cpp_python的DLL后，在虚拟环境中使用方法在VS2022编译完成后，在构建目录（如build/Release或build/Debug）中寻找以下关键文件：

LLaMA-Factory - 批量推理（inference）的脚本scripts/vllm_infer.py 是 LLaMA-Factory 团队用于批量推理（inference）的脚本，基于 vLLM 引擎，支持高效的并行推理。它可以对一个数据集批量生成模型输出，并保存为 JSONL 文件，适合大规模评测和自动化测试。

【agent开发】部署LLM（一）本周基本就是在踩坑，没什么实质性的进展推荐一个网站，可以简单计算下模型推理需要多大显存：https://apxml.com/tools/vram-calculator 我的显卡是RTX 4070，有12GB的显存，部署一个1.7B的Qwen3应该问题不大。有之前使用LLM Studio的经验，这次我打算直接使用VLLM运行模型，用Openapi的接口调用。

阿牛大牛中

LLaDa——基于 Diffusion 的大语言模型打平 LLama 3这里分享一篇文章《Large Language Diffusion Models》，来自人民大学高领人工智能学院，一篇尝试改变传统自回归范（预测下一个token） LLM 架构，探索扩散模型在 LLM 上的作用，通过随机掩码-预测逆向思维，让模型学会全局思考。

Lilith的AI学习日记

【AI面试秘籍】| 第25期：RAG的关键痛点及解决方案深度解析今天我们来聊聊大模型领域一个非常火热的技术——RAG（Retrieval Augmented Generation）。RAG通过引入外部知识库，有效地缓解了大型语言模型（LLM）在处理知识密集型任务时可能出现的幻觉、知识过时等问题。然而，在实际应用中，RAG并非完美无缺，它也面临着一些关键的痛点。作为面试中的高频考点，深入理解这些痛点及其解决方案至关重要。

【大模型微调】魔搭社区GPU进行LLaMA-Factory微调大模型自我认知文章概要：本文是一篇详细的技术教程，介绍如何使用魔搭社区（ModelScope）的GPU资源来进行LLaMA-Factory的模型微调。文章分为11个主要步骤，从环境准备到最终的模型测试，系统地介绍了整个微调流程。主要内容包括：

Fine-tuning：微调技术，训练方式，LLaMA-Factory，ms-swiftFull-tuning（全参数微调）：对模型的全部参数进行微调。训练过程中，所有层的权重都会被更新。加载预训练模型；

装不满的克莱因瓶

【小白AI教程】大模型知识扫盲通识目录一、究竟什么是大模型二、大模型的两大分支2.1 在线大模型2.2 开源大模型2.3 大模型的应用利用行业知识重新训练AI大模型

英伟达破局1000 Token/秒！Llama 4以光速重塑AI推理边界当用户还在惊叹AI生成文字的速度时，英伟达已用一场“秒速千token”的技术突破，将行业推向新维度。Llama 4 Maverick模型在单节点（8颗Blackwell GPU）上实现每秒1000 token的生成速度，这一数字不仅超越了前代Blackwell的基线表现，更让单台服务器（72颗GPU）的吞吐量飙升至72,000 TPS。这个速度意味着，若将每秒1000 token换算为文字，相当于每秒输出约200字——足够在1分钟内生成《蒙娜丽莎》全篇描述，或是实时处理数百个用户的对话请求。

天天爱吃肉8218

【大模型技术驱动智能网联汽车革命：关键技术解析与未来趋势】关键词总结：2024年，智能网联汽车市场渗透率突破35%（数据来源：中国汽车工业协会），大模型技术已成为车企争夺的“技术制高点”。从ChatGPT到华为盘古，大模型凭借千亿级参数规模和多模态推理能力，正在重构汽车智能化的技术栈。本文将深度解析大模型在感知、决策、交互等场景的落地逻辑，并揭示未来技术演进方向。

Lilith的AI学习日记

【AI面试秘籍】| 第17期：MoE并行策略面试全攻略：从理论到调参的降维打击指南面试官推了推眼镜："你在简历里提到做过MoE模型训练，说说TP和EP该怎么选型？" ——别慌！这套应答模板直接帮你Hold住全场！

RAGFlow 本地部署后如何连接本地模型我上一篇文章详细讲述了如何将 RAGFlow 部署到本地，有兴趣的铁子也可以去看一下：RAGFlow Windows环境下本地部署全攻略，但部署到本地之后又产生了一个问题，如何将本地模型配置到 RAGFlow，虽然没官方文档也有介绍，但是基本上是一笔带过，不是很详细，我也根据网上的方法做了一些尝试，但都没有达到想要的效果，于是就有了这篇文章，想详细记录一下部署过程，避免大家走弯路。

AI能源危机：人工智能发展与环境可持续性的矛盾与解决之道AI对能源的渴求正在演变成一个巨大的挑战。这不仅仅关乎电费支出，其环境影响也十分严重，包括消耗宝贵的水资源、产生大量电子垃圾，以及增加温室气体排放。

LLaMA-Factory：了解webUI参数选型建议：资源受限优先选择lora，需要最高精度且资源充足用ful，快速适配相似领域用freeze。上面说的full、freeze、lora属于参数更新策略，决定微调哪些参数。

AI360labs_atyun

谷歌前CEO TED演讲解析：AI 红利的三年窗口期与行业重构谷歌前CEO埃里克·施密特在2025年TED演讲中提出的"AI红利仅剩3年窗口期"观点，揭示了AI技术从算力、需求到监管的全局性变革。以下是基于演讲内容及关联数据的深度分析：

KangkangLoveNLP

Llama:开源的急先锋Llama1使用了完全开源的数据，性能媲美GPT-3，可以在社区研究开源使用，只是不能商用。业内普遍认为如果要达到同一个性能指标，训练更大大模型会更划算，因为训练的成本会降低，较大的模型会更快的收敛，但是llama不这么认为，llama认为虽然训练成本会降低，但是推理的成本会提高，推理代价会比训练代价更加重要。

LLaMA-Factory：环境准备注意: RTX 4090 笔记本 GPU 的 16GB VRAM 限制了可运行的模型大小。建议使用 4-bit 或 8-bit 量化模型（如 LLaMA 3.1 8B 或 13B）以适应 VRAM 限制。

ChatGPT到Claude全适配：跨模型Prompt高级设计规范与迁移技巧本文较长，建议点赞收藏，以免遗失。更多AI大模型应用开发学习内容，尽在聚客AI学院。代码示例：自动化评估反馈

使用GpuGeek高效完成LLaMA大模型微调：实践与心得分享🌟嗨，我是LucianaiB！🌍 总有人间一两风，填我十万八千梦。🚀 路漫漫其修远兮，吾将上下而求索。

为啥全要学

LLaMA-Factory 微调 Qwen2-7B-Instruct将训练数据放在 LLaMA-Factory/data/fintech.json 并且修改数据注册文件：LLaMA-Factory/data/dataset_info.json