大语言模型

LEC: 基于Transformer中间层隐藏状态的高效特征提取与内容安全分类方法随着语言模型（LMs）应用范围的扩大，对用户输入和模型输出中不当内容的检测变得日益重要。每当主要模型供应商发布新模型时，研究人员首先会尝试寻找绕过模型安全限制的方法，使其产生不符合预期的响应。通过Google的搜索可以发现，已有多种方法可以绕过模型的对齐调整，导致模型对不当请求作出响应。另外多家公司已将基于生成式AI的对话系统应用于客户服务等场景，这些系统经常面临提示注入攻击，导致其响应不当请求或超出预定范围的任务。对企业而言，能够检测和分类这些实例至关重要，这可以防止系统被用户轻易操控，特别是在公开部署

WebSocket vs SSE：实时通信技术的对比与选择Hello，欢迎来到流穿的AI探索之路系列专栏,作为一名AI应用工程师，我会在这儿更新一些前沿技术，欢迎关注哦。

基于LLaMA-Factory微调Llama3本文简要介绍下基于LLaMA-Factory的llama3 8B模型的微调过程升级到24.0版本这里以微调中文为例：

基于大语言模型的多代理下一代制造系统能灵活动态管理制造资源的高效调度方法论文地址：https://arxiv.org/pdf/2405.16887 随着生产率的提高，客户对多品种、小批量生产的需求也在不断增加，这反过来又对制造系统提出了更高的要求。由于这种需求，当生产任务频繁变化时，传统的制造系统往往无法做出快速反应。为解决这一问题，作者提出了一种多代理制造系统。然而，由于技术上的限制，这种系统中的代理之间的协商是根据预先确定的启发式规则实现的，不够智能，无法应对多品种小批量生产。

MSciNLI—— 针对科学自然语言推理任务提出的多样化数据集用于训练语言模型和大规模语言模型建立基线论文地址：https://arxiv.org/pdf/2404.08066 源码地址：https://github.com/msadat3/mscinli 自然语言推理（NLI）是一项识别两个句子之间语义关系的任务。第一个句子称为 “前提”，第二个句子称为 “假设”。传统的自然语言推理数据集包括 SNLI、MNLI、SICK 和 ANLI，它们将假设分为三类：暗示、与前提相矛盾或与前提中立。这些数据集不仅被用作自然语言理解（NLU）的基准，还被用于事实检查和假新闻检测等下游任务。它们还促进了表征学习、迁移

LAVE——基于大语言模型的新型代理辅助视频编辑工具允许用户根据自己的编辑风格进行调整论文地址：https://arxiv.org/abs/2402.10294 视频是一种非常强大的交流和讲述故事的媒介。随着社交媒体和视频共享平台的出现，视频的受欢迎程度直线上升，许多人都在制作和分享自己的内容。然而，对于初学者来说，视频编辑可能很难，也可能是一大障碍。对于那些不习惯在规划阶段就构思视频的人来说，这是一项特别困难的任务。此外，剪辑过程需要大量细致的工作，如选择片段、修剪和创建序列，除此之外，还需要各种技能来创建一个想象中连贯的故事。此外，要完成这些任务，不仅需要学习如何使用多功能、复杂的剪辑

少喝冰美式

docker-compose本地部署FastGPT与简单使用本文主要对如何在本地部署FastGPT进行记录与说明，因为笔者暂时不是专门从事AI与大模型研究工作且目前理解不够，所以还不能对其中配置细节与原理阐述清楚，有待后续发掘。

网络研究院

OpenAI 发布 o1 LLM，推出 ChatGPT ProOpenAI正式发布了专为复杂推理而构建的 OpenAI o1大型语言模型(LLM)。该公司还推出了 ChatGPT Pro，这是一项每月 200 美元的套餐，包括无限制访问 OpenAI o1、o1-mini、GPT-4o 和高级语音对话。

Octo—— 基于80万个机器人轨迹的预训练数据集用于训练通用机器人，可在零次拍摄中解决各种任务论文地址：https://arxiv.org/abs/2405.12213 在机器人学中，通常使用针对特定机器人或任务收集的数据集来学习策略。然而，这种方法需要为每项任务收集大量数据，由此产生的策略只能实现有限的泛化性能。利用其他机器人和任务的经验可以获得更广泛的泛化性能，并在下游任务中获得更好的性能，但这需要考虑其他机器人的形态、传感器配置、任务规格和环境，因此建立一个能做到这一点的"通用机器人模型 "被认为是非常困难的任务。是一项非常艰巨的任务。

评估大语言模型(LLM)在分子预测任务能够理解分子几何形状性能论文地址：https://arxiv.org/pdf/2403.05075 近年来，机器学习模型在各个领域越来越受欢迎。学术界和工业界都投入了大量精力来提高机器学习的效率，以期实现人工通用智能（AGI）。其中，大规模语言模型（LLM）等生成模型的巨大进步彻底改变了自然语言处理（NLP）领域。大规模语言模型在理解和生成类人文本方面表现出了非凡的能力，已成为机器翻译、常识推理和编码任务等各种自然语言处理任务中不可或缺的工具。

实践教程｜Transformer Decoder-Only 模型批量生成 Trick导读本文给出了一个用单Transformer decoder（ GPT）模型进行批量生成时的解决方法。

计算机的错误计算（一百七十六）摘要利用某一大语言模型计算的值，输出为 0 .例1. 在某一大语言模型下，计算的值。其中sin中值取弧度。结果保留16位有效数字。

少喝冰美式

从零开始用Pytorch构建大型语言模型（LLM）生成式模型是目前人工智能领域最令人着迷的方向之一，尤其是那些基于用户提示生成文本的文本生成模型。一个著名的例子是 OpenAI 的 ChatGPT，它是一个助手模型，可以回答用户在多个主题上的问题。

SciAssess——评估大语言模型在科学文献处理中关于模型的记忆、理解和分析能力的基准大规模语言模型（如 Llama、Gemini 和 GPT-4）的最新进展因其卓越的自然语言理解和生成能力而备受关注。对这些模型进行评估对于确定其局限性和潜力以及促进进一步的技术进步非常重要。为此，人们提出了一些特定的基准来评估大规模语言模型的各种技能。这样可以完成更复杂的任务。

斯坦福李飞飞《AI Agent：多模态交互前沿调查》论文多模态AI系统很可能会在我们的日常生活中无处不在。将这些系统具身化为物理和虚拟环境中的代理是一种有前途的方式，以使其更加互动化。目前，这些系统利用现有的基础模型作为构建具身代理的基本构件。将代理嵌入这样的环境中，有助于模型处理和解释视觉和上下文数据的能力，这是创建更复杂且具备上下文感知的AI系统的关键。例如，一个能够感知用户动作、人类行为、环境对象、音频表达以及场景整体情绪的系统，可以用于指导代理在特定环境中的响应行为。翻译而来供参考，*亦可加入知识星球*阅读英文原版、中文译本（见文末）。

ChemReasoner——基于量子化学与大语言模型（LLM）发现最佳催化剂的框架并提高催化剂发现的效率论文地址：https://arxiv.org/abs/2402.10980 源码地址：https://github.com/pnnl/chemreasoner

RiceChem——用于评估大语言模型在教育领域自动长答卷评分 (ALAG) 的数据集论文地址:https://arxiv.org/abs/2404.14316 源码地址：https://github.com/luffycodes/automated-long-answer-grading 迄今为止，教育领域的自然语言处理（NLP）主要集中在简答题评分和自由文本作文评分方面。然而，本文从一个新的角度出发，研究了自动长答卷评分（ALAG）这一相对尚未开发的领域。

一个处女座的程序猿

LLMs：LLMs Course大语言模型课程/教程及其相关文本资料/图片资料/视频资料概览(非正式/但持续更新)、资料集合之详细攻略LLMs：LLMs Course大语言模型课程/教程及其相关文本资料/图片资料/视频资料概览(非正式/但持续更新)、资料集合之详细攻略

ChemBench—— 探索大语言模型在化学领域的新基准框架是否胜过化学专家大规模语言模型是一种机器学习模型，通过学习大量文本来生成文本。这些模型的能力正在迅速提高，现在已经可以通过美国国家医学考试。它们还可以与网络搜索和合成规划器等工具结合使用，自主设计化学反应和进行实验。

首次公开用系统审查与评估大语言模型安全性的数据集自大规模语言建模服务推出以来，由于其实用性强，已被许多公司和个人所使用。但与此同时，确保大规模语言模型的安全性已成为模型开发者和监管者面临的重要问题。近年来，研究人员和从业人员发现，迫切需要新的数据集来评估和提高大规模语言模型的安全性。已有许多研究报告。然而，由于安全性是多方面的，并取决于具体情况，因此并没有明确的定义。因此，由于这种复杂性，用于评估安全性的数据集多种多样，发展迅速。