llama

LLaMA-Adapter V2 Parameter-Efficient Visual Instruction ModelAuthors: Peng Gao, Jiaming Han, Renrui Zhang, Ziyi Lin, Shijie Geng, Aojun Zhou, Wei Zhang, Pan Lu, Conghui He, Xiangyu Yue, Hongsheng Li, Yu Qiao

三千院本院

LlaMA_Factory实战微调VL大模型VL微调数据格式文件样例如下一：微调数据集准备 1、制作微调数据集首先找到data文件夹下方的mllm_demo.json，确认微调VL模型时的数据格式模板，然后按照模板，制作对应的指令微调数据集。 2、确认微调模型认知

爱分享的飘哥

第四十六章：AI的“瞬时记忆”与“高效聚焦”：llama.cpp的KV Cache与Attention机制我们已经亲身体验了LLaMA.cpp在CPU上运行大语言模型的神奇速度。一个7B参数的模型，在你的普通电脑上，也能做到几乎“秒回”，这在几年前是难以想象的。

LLaMA Factory 角色扮演模型微调实践记录注：本人之前从未接触过模型微调，这篇文章更多是记录微调流程，方便自己后续参考。有问题欢迎勘误，或者如果有更好的微调思路也还请不吝赐教

mac测试ollama llamaindexLlamaIndexs 将大语言模型和外部数据连接在一起的工具。大模型prompt有一个长度限制，当外部知识的内容超过这个长度，无法同时将有效信息传递给大模型，因此就诞生了 LlamaIndex。

茫茫人海一粒沙

使用 LLaMA 3 8B 微调一个 Reward Model：从入门到实践本文将介绍如何基于 Meta 的 LLaMA 3 8B 模型构建并微调一个 Reward Model，它是构建 RLHF（基于人类反馈的强化学习）系统中的关键一环。我们将使用 Hugging Face 的 transformers、trl 和 peft 等库，通过参数高效微调（LoRA）实现高质量 Reward Model 的训练。

mac llama_index agent算术式子计算示例本文通过简单数学计算，示例llama_index使用agent解决复杂任务过程。假设mac本地llama_index环境已安装，过程参考

许愿与你永世安宁

RAG（检索增强生成）里的文档管理RAG（检索增强生成）是结合检索与生成式 AI 的技术框架。核心逻辑是先从外部知识库精准检索相关信息，再将其作为上下文输入大模型生成回答。技术上依赖检索引擎（如向量数据库、BM25）、大语言模型（如 GPT、LLaMA）及数据预处理技术。通过检索增强，解决大模型知识滞后、幻觉问题，提升回答准确性。应用广泛，涵盖智能客服、医疗问答、法律检索、教育辅导等场景，能基于特定领域知识提供精准、可控的生成内容。

许愿与你永世安宁

基于Llama的RAG 3种模型配置方法目录方法一：使用Llama-index为智谱构建的专门的包安装六个包环境变量读取APIkey配置对话模型

本地部署 Kimi K2 全指南（llama.cpp、vLLM、Docker 三法）Kimi K2 是 Moonshot AI 于2025年7月11日发布的高性能多专家语言模型（MoE），支持最大 128K 上下文，激活参数规模为 32B，具备极强的推理、代码生成与多轮对话能力。自从其权重以多种格式开源以来，许多开发者希望将其部署在本地，以获得更高的私密性和灵活性。

安装 llama-cpp-python 的CPU和GPU方法关于Langchain、LlamaCpp一些执行错误。需要同时满足两个条件： 1.NVIDIA显卡驱动（通过nvidia-smi验证） 2.CUDA Toolkit（通过nvcc --version验证）

学不会就看

llama-factory快速开始这是GitHub中文介绍文档，里面的教程更加详细，本人记录是方便本人看，对于我已经熟练的部分，教程中可能不会细说甚至跳过。

NullPointerExpection

LLM大语言模型不适合统计算数，可以让大模型根据数据自己建表、插入数据、编写查询sql统计例如有如下数据：表示的是某班级学生各科目的分数，假如我们想让大模型统计该班各科目成绩的总分，最能想到的方法就是编写如下的提示词扔给大模型：

Llama系列：Llama1, Llama2，Llama3内容概述参考视频：大模型修炼之道(三): Llama系列讲解 Llama1，Llama2, Llama3_哔哩哔哩_bilibili

语言模型玩转3D生成：LLaMA-Mesh开源项目LLaMA-Mesh 是一个创新项目，旨在利用大型语言模型（LLM）的能力，实现文本描述到 3D 网格模型的统一生成。该项目将自然语言处理与 3D 几何建模相结合，其核心功能和特点如下：

大模型最新论文速读

指令微调时，也要考虑提示损失大模型在预训练之后往往需要经过指令微调，以更好地遵循人类指令。常规做法是在自回归流程中，只对回答部分计算损失而忽略提示部分的误差。但这样的设计是否最优，一直缺乏深入研究

在mac m1基于llama.cpp运行deepseeklama.cpp是一个高效的机器学习推理库，目标是在各种硬件上实现LLM推断，保持最小设置和最先进性能。llama.cpp支持1.5位、2位、3位、4位、5位、6位和8位整数量化，通过ARM NEON、Accelerate和Metal支持Apple芯片，使得在MAC M1处理器上运行Deepseek大模型成为可能。

Meta AI 推出 Multi - SpatialMLLM：借助多模态大语言模型实现多帧空间理解多模态大语言模型（MLLM）作为多功能 AI 助手，在处理各类视觉任务方面取得了巨大进步。然而，它们作为独立数字实体部署，限制了其潜在影响。随着将 MLLM 整合到像机器人技术和自动驾驶汽车这类现实应用中的需求不断增长，这些应用需要复杂的空间理解能力。当前的 MLLM 存在基本的空间推理缺陷，常常连左右区分这类基础任务都难以完成。以往研究将这些局限归因于缺乏专门的训练数据，并通过在训练期间纳入空间数据来解决，但这些方法侧重于单图像场景，从而使模型的感知局限于静态视场分析，缺少动态信息。

安装llama-cpp-python踩坑记安装报错，分析如下：这个错误是因为 LLAMA_CUBLAS 选项已经被弃用，建议使用 GGML_CUDA 替代。你需要修改安装命令中的 CMake 参数。

西西弗Sisyphus

LLaMA-Factory 单卡后训练微调Qwen3完整脚本flyfish将下面代码保存为 train_single_gpu.sh修改脚本中的以下参数： MODEL_PATH：模型路径 DS_CONFIG_PATH：DeepSpeed配置文件路径 OUTPUT_PATH：输出目录路径 --dataset erfen：替换为实际数据集名称这里是erfen