自然语言处理

【第十八周】自然语言处理的学习笔记03本周主要对Transformer架构进行学习。Transformer主要层主要由Encoder与Decoder组成。Encoder主要层分为两个块：多头注意力机制，前馈全连接网络。多头注意力中注意力为每个位置对其他位置的关注程度，多头为多角度表达注意力信息。Decoder的块结构较Encoder多了一个masked多头注意力块，补充了mask的作用。并且通过阅读Transformer实现代码加深对其理解。在学习过程中发现对RNN中梯度消失/爆炸理解的有偏差，通过对数学公式的解析对该部分内容进行补充理解。

对图片进行解释的大语言模型这类模型可以分为两大类：闭源/商业API和开源/可自部署。这些模型通常性能强大，但需要联网、按调用次数付费，且数据需要发送到厂商的服务器。

深入浅出Transformer：使用Hugging Face库快速上手NLP『宝藏代码胶囊开张啦！』—— 我的 CodeCapsule 来咯！✨ 写代码不再头疼！我的新站点 CodeCapsule 主打一个 “白菜价”+“量身定制”！无论是卡脖子的毕设/课设/文献复现，需要灵光一现的算法改进，还是想给项目加个“外挂”，这里都有便宜又好用的代码方案等你发现！低成本，高适配，助你轻松通关！速来围观 👉 CodeCapsule官网

可触的未来，发芽的智生

触摸未来2025-10-18：生成文字的小宇宙矩阵溯源喜蛋生文本生成系统雏形 - 生成文字的小宇宙矩阵溯源篇夏末的余热尚未完全散去，实验室的空调发出持续的低频嗡鸣。与后来专注于生成结果和动态流程分析不同，此刻的我们，正深陷于系统最底层、也是最基础的构建阶段——试图让“喜蛋生”真正“理解”语言的结构。这是一段埋头于海量语料和冰冷数字的时期，远没有生成第一个完整句子时那般激动人心，却是一切可能性的地基。

JoyAgent问数多表关联Bug修复我们测试了JoyAgent单表问数表现，整体问数效果高于预期，能够自动加工复杂的数据场景。例如：我们导入员工信息表，包含身份证号码和出生日期等字段，我们通过问数“获取身份证号码中的出生日期和登记的出生日期有差异的员工”，系统先从身份证号码中提取出生日期，并做日期格式转换，再判断是否相同，可以很好的反馈正确数据。

大型语言模型（LLM）文本中提取结构化信息：LangExtract（一）LangExtract 通过几项解决现实世界挑战的关键创新，在众多文本提取工具中脱颖而出：github地址： https://github.com/google/langextract

Day32_【 NLP _2.RNN及其变体 _(3) GRU】门控循环单元（GRU, Gated Recurrent Unit），它是循环神经网络（RNN）的一种重要变体，旨在解决传统RNN的长期依赖问题

教程上新｜重新定义下一代 OCR：IBM 最新开源 Granite-docling-258M，实现端到端的「结构+内容」统一理解一直以来，将格式各异的数字文档准确转换为机器可读的结构化数据是一个技术核心挑战。文档布局的复杂多样性、以及其中包含的表格、图片等视觉元素，往往导致传统 OCR 系统的识别准确性难以满足实际需求。现有技术通常依赖于复杂的集成系统，将任务拆解为多个独立子模块，虽在一定程度上有效，但存在优化困难、难以泛化处理各类文档的局限性。

艾醒(AiXing-w)

探索大语言模型（LLM）：大模型应用与对应的硬件选型一览表不同系列的显卡，适合的人群和做的事不一样，看下面的表就清楚啦。推理就是大模型部署后回答问题的过程，不同大小、精度的模型，对显存和显卡要求不同，看表：

人机与认知实验室

触摸大语言模型的边界维特根斯坦在《逻辑哲学论》中提出的“语言边界论”，深刻揭示了人类认知与表达的根本限制。这一哲学洞见不仅适用于理解人类语言的本质，也为我们审视大语言模型（LLM）的能力边界提供了关键视角。大语言模型作为“语言的产物”，其本质是对人类语言模式的统计性模拟，因此必然继承并放大了语言本身的局限性——它的边界，正是人类语言的边界；它无法触及的“不可说”，恰是维特根斯坦所说的“世界之外的意义”。

一份关于语言模型对齐的技术论述：从基于PPO的RLHF到直接偏好优化本部分旨在为大型语言模型（LLM）的对齐工作奠定概念基础，阐述其必要性，并概述构成后续更高级技术基础的经典三阶段流程。

Lumina-DiMOO：用于多模态生成与理解的全扩散大语言模型我们推出Lumina-DiMOO——一个实现无缝多模态生成与理解的全能基础模型。Lumina-DiMOO凭借四大创新突破脱颖而出：

浅谈目前主流的LLM软件技术栈：Kubernetes + Ray + PyTorch + vLLM 的协同架构近年来，随着大语言模型（LLM）、多模态模型和生成式 AI 技术的快速演进，AI 工程体系正经历从“单点模型”向“端到端智能系统”的深刻转型。这一转型不仅带来了算法层面的突破，更对底层软件基础设施提出了前所未有的挑战：如何在保障高吞吐、低延迟的同时，支持快速迭代、弹性伸缩与多租户共享？如何让算法工程师专注于模型创新，而无需深陷资源调度与运维泥潭？

Bert：从“读不懂上下文”的AI，到真正理解语言你有没有遇到过这种情况：朋友发来一句：“他走了。” 你一脸懵：走了？是出门了？还是分手了？还是……去世了？

基于大语言模型（LLM）的城市时间、空间与情感交织分析：面向智能城市的情感动态预测与空间优化“基于大语言模型（LLM）的城市时间、空间与情感交织分析：面向智能城市的情感动态预测与空间优化”城市不仅是物理空间的集合，也承载着丰富的时间维度和情感维度。随着智能城市的发展，我们越来越依赖人工智能（AI）技术，尤其是大语言模型（LLM）和其他机器学习技术，来识别、解析和预测城市中发生的复杂现象。然而，时间、空间与情感三者之间存在着深刻的交织关系，这些关系如何影响城市的发展与更新，尤其是在居民的情感需求、空间布局与时间变化的交互作用方面，仍是一个尚待探索的科学问题。

自然语言处理笔记

只是懒得想了

使用 Gensim 进行主题建模（LDA）与词向量训练（Word2Vec）的完整指南在自然语言处理（NLP）中，主题建模和词向量表示是理解文本语义结构的两大基石。gensim 是一个功能强大且高效的 Python 库，专为大规模无监督语言建模设计，尤其擅长实现 Latent Dirichlet Allocation (LDA) 和 Word2Vec 模型。

论文阅读《LIMA:Less Is More for Alignment》你有没有想过：一个像ChatGPT这样聪明的AI助手，它到底是在什么时候“学会知识”的？是训练时读了整个互联网？还是后来被人类一条条“手把手教学”，才变得听话好用？