大语言模型

llamafactory使用8张昇腾910b算力卡lora微调训练qwen2-72b大模型我需要在昇腾服务器上对Qwen2-72B大模型进行lora微调，改变其自我认知。我的环境下是8张910B1卡。显存约512GB。

MCANet: 基于多模态字幕感知的大语言模型训练无关视频异常检测ICPR’24 - 印度卡利卡特国立理工学院 MCANet: Multimodal Caption Aware Training-Free Video Anomaly Detection via Large Language Model

Ollama私有化部署大语言模型LLM（上）目录一、Ollama介绍二、安装Ollama1、标准安装2、国内加速三、升级Ollama版本四、使用Ollama

程序员正茂

Win10本地部署大语言模型ChatGLM2-6B鸣谢《ChatGLM2-6B｜开源本地化语言模型》作者PhiltreX作者显卡为英伟达4060打开CMD命令行，在D盘新建目录openai.wiki

CV-MLLM经典论文解读| Link-Context Learning for Multimodal LLMs面向多模态大型语言模型的链接上下文学习Link-Context Learning for Multimodal LLMs面向多模态大型语言模型的链接上下文学习

老A的AI实验室

赛博周刊·2024年度工具精选（图片资源类）emoji表情包查找工具。微软开源的Fluent Emoji表情包。一个开源的emoji库，目前拥有4000+个emoji表情。

SCOPE：面向大语言模型长序列生成的双阶段KV缓存优化框架Key-Value (KV)缓存已成为大语言模型(LLM)长文本处理的关键性能瓶颈。当前研究尚未充分关注解码阶段的优化，这一阶段具有同等重要性，因为：

mindie推理大语言模型问题及解决方法汇总使用功能mindie 1.0 RC2推理大语言模型，遇到不少问题，记录下解决思路。我的硬件是910B4。

Binoculars——分析证实大语言模型生成文本的检测和引用量按学科和国家明确显示了使用偏差的多样性和对内容类型的影响论文地址：https://www.biorxiv.org/content/10.1101/2024.03.25.586710v2.full.pdf 人工智能技术的进步正在改变数字内容生产和消费的格局。尤其值得注意的是生成式人工智能的快速发展，包括大规模语言模型，如 ChatGPT，它出现于 2022 年，是基于 GPT-3 的大规模语言模型，能够生成质量非常接近人类文本的文本。这些模型可以自由生成考虑到用法、语气和上下文的文本，因此被广泛应用于内容创作。

小任同学Alex

Lagent：从零搭建你的 Multi-Agent环境配置开发机选择 30% A100，镜像选择为 Cuda12.2-conda。首先来为 Lagent 配置一个可用的环境

图灵追慕者

大语言模型学习工具及资源总结和落地应用当前，随着人工智能技术的迅猛发展，大语言模型（Large Language Models, LLMs）在各个领域的应用日益广泛。以下是国内外常见的大语言模型工具、已经落地部署的应用以及学习相关的网站和资源的详细介绍。

LEC: 基于Transformer中间层隐藏状态的高效特征提取与内容安全分类方法随着语言模型（LMs）应用范围的扩大，对用户输入和模型输出中不当内容的检测变得日益重要。每当主要模型供应商发布新模型时，研究人员首先会尝试寻找绕过模型安全限制的方法，使其产生不符合预期的响应。通过Google的搜索可以发现，已有多种方法可以绕过模型的对齐调整，导致模型对不当请求作出响应。另外多家公司已将基于生成式AI的对话系统应用于客户服务等场景，这些系统经常面临提示注入攻击，导致其响应不当请求或超出预定范围的任务。对企业而言，能够检测和分类这些实例至关重要，这可以防止系统被用户轻易操控，特别是在公开部署

WebSocket vs SSE：实时通信技术的对比与选择Hello，欢迎来到流穿的AI探索之路系列专栏,作为一名AI应用工程师，我会在这儿更新一些前沿技术，欢迎关注哦。

基于LLaMA-Factory微调Llama3本文简要介绍下基于LLaMA-Factory的llama3 8B模型的微调过程升级到24.0版本这里以微调中文为例：

基于大语言模型的多代理下一代制造系统能灵活动态管理制造资源的高效调度方法论文地址：https://arxiv.org/pdf/2405.16887 随着生产率的提高，客户对多品种、小批量生产的需求也在不断增加，这反过来又对制造系统提出了更高的要求。由于这种需求，当生产任务频繁变化时，传统的制造系统往往无法做出快速反应。为解决这一问题，作者提出了一种多代理制造系统。然而，由于技术上的限制，这种系统中的代理之间的协商是根据预先确定的启发式规则实现的，不够智能，无法应对多品种小批量生产。

MSciNLI—— 针对科学自然语言推理任务提出的多样化数据集用于训练语言模型和大规模语言模型建立基线论文地址：https://arxiv.org/pdf/2404.08066 源码地址：https://github.com/msadat3/mscinli 自然语言推理（NLI）是一项识别两个句子之间语义关系的任务。第一个句子称为 “前提”，第二个句子称为 “假设”。传统的自然语言推理数据集包括 SNLI、MNLI、SICK 和 ANLI，它们将假设分为三类：暗示、与前提相矛盾或与前提中立。这些数据集不仅被用作自然语言理解（NLU）的基准，还被用于事实检查和假新闻检测等下游任务。它们还促进了表征学习、迁移

LAVE——基于大语言模型的新型代理辅助视频编辑工具允许用户根据自己的编辑风格进行调整论文地址：https://arxiv.org/abs/2402.10294 视频是一种非常强大的交流和讲述故事的媒介。随着社交媒体和视频共享平台的出现，视频的受欢迎程度直线上升，许多人都在制作和分享自己的内容。然而，对于初学者来说，视频编辑可能很难，也可能是一大障碍。对于那些不习惯在规划阶段就构思视频的人来说，这是一项特别困难的任务。此外，剪辑过程需要大量细致的工作，如选择片段、修剪和创建序列，除此之外，还需要各种技能来创建一个想象中连贯的故事。此外，要完成这些任务，不仅需要学习如何使用多功能、复杂的剪辑

少喝冰美式

docker-compose本地部署FastGPT与简单使用本文主要对如何在本地部署FastGPT进行记录与说明，因为笔者暂时不是专门从事AI与大模型研究工作且目前理解不够，所以还不能对其中配置细节与原理阐述清楚，有待后续发掘。

网络研究院

OpenAI 发布 o1 LLM，推出 ChatGPT ProOpenAI正式发布了专为复杂推理而构建的 OpenAI o1大型语言模型(LLM)。该公司还推出了 ChatGPT Pro，这是一项每月 200 美元的套餐，包括无限制访问 OpenAI o1、o1-mini、GPT-4o 和高级语音对话。

Octo—— 基于80万个机器人轨迹的预训练数据集用于训练通用机器人，可在零次拍摄中解决各种任务论文地址：https://arxiv.org/abs/2405.12213 在机器人学中，通常使用针对特定机器人或任务收集的数据集来学习策略。然而，这种方法需要为每项任务收集大量数据，由此产生的策略只能实现有限的泛化性能。利用其他机器人和任务的经验可以获得更广泛的泛化性能，并在下游任务中获得更好的性能，但这需要考虑其他机器人的形态、传感器配置、任务规格和环境，因此建立一个能做到这一点的"通用机器人模型 "被认为是非常困难的任务。是一项非常艰巨的任务。