自然语言处理

论文略读：REEF: Representation Encoding Fingerprints for Large Language ModelsICLR 2025 ORAL该方法具有以下优点：无需重新训练模型；不会削弱模型的通用能力；对顺序微调、剪枝、模型融合与参数置换等操作具有良好鲁棒性。

cnblogs.com/qizhou/

综述论文解读：Editing Large Language Models: Problems, Methods, and Opportunities论文为大语言模型知识编辑综述，发表于自然语言处理顶会ACL(原文链接)。由于目前存在广泛的模型编辑技术，但一个统一全面的分析评估方法，所以本文：

论文笔记：Large Language Models for Next Point-of-Interest RecommendationSIGIR 2024当前轨迹块（current trajectory block）当前轨迹块中只包含当前用户的一条轨迹，且不含最后一个签到点

蓦然回首却已人去楼空

Build a Large Language Model (From Scratch) 第二章 Working with text dataThis chapter covers你将学习如何为训练大型语言模型（LLMs）准备输入文本。这包括将文本拆分为单个单词和子词标记，然后将这些标记编码为适合LLM的向量表示。你还将了解高级标记化方案，如字节对编码（BPE）——这是GPT等流行LLM中使用的技术。最后，我们将实现一种采样和数据加载策略，以生成训练LLM所需的输入-输出对。

一个天蝎座白勺程序猿

Python爬虫（54）Python数据治理全攻略：从爬虫清洗到NLP情感分析的实战演进在数字化转型的深水区，企业正面临"数据三重困境"：原始数据质量参差不齐（Garbage In）、分析结果可信度存疑（Garbage Out）、业务决策风险激增。某零售巨头调研显示，63%的数据分析项目因数据质量问题失败，平均每年因此损失超1200万美元。本文将通过构建完整的电商评论分析系统，完美展示如何通过Python技术栈破解这些难题。

图上合成：用于大型语言模型持续预训练的知识合成数据生成大型语言模型（LLM）已经取得了显著的成功，但仍然是数据效率低下，特别是当学习小型，专业语料库与有限的专有数据。现有的用于连续预训练的合成数据生成方法集中于文档内内容，而忽略了跨文档的知识关联，从而限制了内容多样性和深度。我们提出了一个合成图（SoG），一个合成数据生成框架，它结合了跨文档的知识关联，以实现高效的语料库扩展。SoG通过从原始语料库中提取实体和概念，构建上下文图，表示跨文档关联，并采用图遍历策略进行知识关联采样。这增强了合成数据的多样性和一致性，使模型能够学习复杂的知识结构并处理稀有知识。为

机器学习的可解释性可解释机器学习（Explainable Machine Learning, XAI）是人工智能领域的一个重要分支，旨在让机器学习模型的决策过程对人类更透明、更易理解。就像你想知道朋友为什么推荐某部电影，XAI 帮助我们理解模型为何做出特定预测（例如，为什么一张图片被分类为“猫”）。这份笔记基于提供的 PDF 文件（[xai_v4.pdf]）以及在线资源，总结了 XAI 的核心概念、方法、挑战和最新进展，旨在帮助基础一般的学生从初步了解深入掌握这一领域。

zhurui_xiaozhuzaizai

模型训练-关于token【低概率token, 高熵token】Qwen团队新发现：大模型推理能力的提高仅由少数高熵 Token 贡献不要让低概率token主导了LLM的强化学习过程

HyperAI超神经

8k长序列建模，蛋白质语言模型Prot42仅利用目标蛋白序列即可生成高亲和力结合剂蛋白质结合剂（如抗体、抑制肽）在疾病诊断、成像分析及靶向药物递送等关键场景中发挥着不可替代的作用。传统上，高特异性蛋白质结合剂的开发高度依赖噬菌体展示、定向进化等实验技术，但这类方法普遍面临资源消耗巨大、研发周期冗长的挑战，且受限于蛋白质序列组合复杂性的固有瓶颈。

论文笔记：LANGUAGE MODELS REPRESENT SPACE AND TIMEICLR 2024如果你预测纽约市的位置，结果偏差了500公里，那你就错得很严重（可能预测到了加拿大或者美国中部）。

阿部多瑞 ABU

# 主流大语言模型安全性测试（二）：英文越狱提示词下的表现与分析在上一篇文章中，我们对多个主流大语言模型（LLM）进行了中文诱导性提示词的越狱测试，评估其是否能够在面对非法、有害或危险内容请求时有效识别并拒绝生成。本文将在此基础上，进一步探讨这些模型在英文越狱提示词下的行为表现，尤其是那些在中文测试中“中招”的模型是否能通过语言隔离机制抵御攻击。

【大模型】解耦大语言模型中的记忆与推理能力当前提升大语言模型（LLM）推理能力的研究方法主要可划分为两类：（1）基于记忆增强的方法。该方法聚焦于优化模型对外部世界知识的检索与利用机制，尤其针对未内化于模型参数的知识体系，例如检索增强生成（Retrieval-Augmented Generation, RAG），通过动态接入外部知识库强化信息召回能力。

Mac M4 芯片运行大模型指南，包括模型微调与推理在国补、教育优惠、京东会员500优惠券等众多优惠之下。我拿下了Macmini M4 16G 内存万兆网卡。在机器到手的第一时间，马上开始折腾如何炼丹。

CVPR 2025 MIMO: 支持视觉指代和像素grounding 的医学视觉语言模型近年来，医学视觉语言模型（MVLMs）在医学图像问答等任务中展现出巨大潜力。然而，现有模型大多只能处理文本指令，缺乏对图像中具体视觉区域的直接理解，输出也仅限于文本，难以与图像中的关键区域建立精准联系。

多模态大语言模型arxiv论文略读（113）➡️ 论文标题：Grounded Multi-Hop VideoQA in Long-Form Egocentric Videos ➡️ 论文作者：Qirui Chen, Shangzhe Di, Weidi Xie ➡️ 研究机构: Shanghai Jiao Tong University ➡️ 问题背景：当前的视频问答（VideoQA）系统在处理长形式的自拍视频时，面临多跳推理和时间定位的挑战。这些系统通常只能基于单一时间点的视觉线索回答问题，而无法处理需要跨多个时间间隔的信息整合和推理的任务。此外

算法岗面试经验分享-大模型篇（1）资源（2）Attention机制计算过程（3）要点（1）资源：（2）待解决问题（1）资源（2）要点

自然语言处理——Transformer虽然循环神经网络可以对具有序列特性的数据非常有效，它能挖掘数据中的时序信息以及语义信息，但是它有一个很大的缺陷——很难并行化。

系统掌握PyTorch：图解张量、Autograd、DataLoader、nn.Module与实战模型本文较长，建议点赞收藏，以免遗失。更多AI大模型应用开发学习视频及资料，尽在聚客AI学院。本文通过代码驱动的方式，系统讲解PyTorch核心概念和实战技巧，涵盖张量操作、自动微分、数据加载、模型构建和训练全流程，并实现线性回归与多层感知机模型。

词法分析和词性标注自然语言处理目录一. 概述1 不同语言的词法分析2 英语的形态分析英语单词的形态还原（和正常英语的词法变化一样）1.有规律变化单词的形态还原

【NLP】 38. Agent一个 Agent 就是能够理解、思考，并且进行世界交互的模型系统，并不是纯粹的 prompt 返回器。