自然语言处理

TW-NLP1 小时前
自然语言处理
开源最强中文纠错大模型,超越华为17个点!项目地址:GitHub - TW-NLP/ChineseErrorCorrector: 中文拼写错误和语法错误纠正
神秘的土鸡2 小时前
人工智能·机器学习·自然语言处理·数据分析·llama·wps
如何在WPS中接入DeepSeek并使用OfficeAI助手(超细!成功版本)目录第一步:下载并安装OfficeAI助手第二步:申请API Key第三步:两种方式导入WPS第一种:本地大模型Ollama
金智维科技官方15 小时前
人工智能·自然语言处理·ocr
如何结合NLP(自然语言处理)技术提升OCR系统的语义理解和上下文感知能力?光学字符识别(OCR)技术能够快速从文档、图像中提取文本信息,目前已经广泛应用于金融、教育、医疗、物流等领域。然而,传统OCR技术的功能主要集中在字符提取和简单的结构化输出上,难以处理复杂场景中涉及的语义理解与上下文感知问题。而通过将自然语言处理(NLP)技术与OCR相结合,可以极大提升系统对文本的语义理解能力,为多场景应用赋予更高的智能化水平。
Dann Hiroaki19 小时前
数据库·机器学习·自然语言处理·nlp
文献分享: ConstBERT固定数目向量编码文档😂图放这了,大道至简的 idea \text{idea} idea不愧是 ECIR \text{ECIR} ECIR
梦想是成为算法高手1 天前
pytorch·python·深度学习·自然语言处理·transformer·位置编码·自注意力机制
带你从入门到精通——自然语言处理(五. Transformer中的自注意力机制和输入部分)建议先阅读我之前的博客,掌握一定的自然语言处理前置知识后再阅读本文,链接如下:带你从入门到精通——自然语言处理(一. 文本的基本预处理方法和张量表示)-CSDN博客
运维开发王义杰1 天前
人工智能·语言模型·自然语言处理
MCP与RAG:增强大型语言模型的两种路径近年来,大型语言模型(LLM)在自然语言处理任务中展现了令人印象深刻的能力。然而,这些模型的局限性,如知识过时、生成幻觉(hallucination)等问题,促使研究人员开发了多种增强技术。其中,模型上下文协议(MCP)和检索增强生成(RAG)是两个重要的概念,特别是在当前的AI研究和应用中。接下来将详细解释MCP和RAG,比较它们的相似点和差异,并讨论它们的实际应用和潜在优势。
mask哥2 天前
pytorch·python·自然语言处理·大模型·huggingface
huggingface NLP主要知识点以及超级详解使用1.安装huggingface依赖库pip install transformers pip install datasets pip install pytorch
k layc2 天前
人工智能·深度学习·语言模型·自然语言处理·rag·推理
【论文解读】人大发表《Search-o1 — Agentic Search-Enhanced Large Reasoning Models》近年来,大规模推理模型(Large Reasoning Models, LRMs)如 OpenAI-o1 展现出长链式思考(chain-of-thought)能力,能够通过分步推理解决复杂问题。然而,这些模型在长链推理过程中常常因知识不足而产生不确定性和错误,尤其是在遇到专业领域知识空缺时。为此,论文提出了 Search-o1 框架,其核心思想是:
梦丶晓羽2 天前
人工智能·python·自然语言处理·逻辑斯谛回归
自然语言处理:逻辑斯谛回归大家好,博主又来给大家分享知识了。上回给大家详细讲解了朴素贝叶斯算法,不知道大家在学习和理解的过程中收获如何呢?相信经过那次分享,大家对朴素贝叶斯算法已经有了比较清晰的认识,说不定在实际应用中也开始尝试运用了呢。
AI趋势预见2 天前
人工智能·神经网络·语言模型·自然语言处理·金融
实时金融信息搜索的新突破:基于大型语言模型的智能代理框架“An Agent Framework for Real-Time Financial Information Searching with Large Language Models”
Steve lu2 天前
人工智能·pytorch·深度学习·机器学习·自然语言处理·tensorflow·ensor
[自然语言处理]pytorch概述--什么是张量(Tensor)和基本操作PyTorch 是⼀个开源的深度学习框架,由 Facebook 的⼈⼯智能研究团队开发和维护,于2017年在GitHub上开源,在学术界和⼯业界都得到了⼴泛应⽤
ZHOU_WUYI2 天前
人工智能·自然语言处理
Measuring short-form factuality in large language models (SimpleQA) 论文简介在人工智能领域,训练能够生成事实正确回答的语言模型一直是一个开放性问题。当前的前沿模型有时会产生虚假输出或未经证实的答案,这种现象被称为“幻觉”(hallucinations)。幻觉是阻碍大语言模型(LLMs)广泛采用的主要障碍之一。为了应对这一挑战,OpenAI的研究团队提出了一个基准——SimpleQA,旨在评估语言模型回答简短、事实性问题的能力。
码上飞扬2 天前
人工智能·语言模型·自然语言处理
大语言模型的逻辑:从“鹦鹉学舌”到“举一反三”近年来,大语言模型(LLM)在自然语言处理领域取得了突破性进展,其强大的文本生成和理解能力令人惊叹。然而,随着应用的深入,人们也开始关注LLM的“逻辑”问题:它究竟是机械地模仿人类语言,还是真正理解了语言背后的逻辑?本文将探讨大语言模型的逻辑能力,分析其优势和局限,并展望未来发展方向。
Tolalal2 天前
人工智能·语言模型·自然语言处理·知识蒸馏
DDK:Distilling Domain Knowledge for Efficient Large Language Models速览方法论不太了解知识蒸馏的可以看这篇文章【KD开山之作】本文的动机是“降低学生模型在各领域和老师模型的差异”。
造夢先森3 天前
自然语言处理
Dify - 自部署的应用构建开源解决方案‌Dify是一个开源的大语言模型(LLM)应用开发平台‌,旨在简化和加速生成式AI应用的创建和部署。它融合了后端即服务(Backend as Service)和LLMOps的理念,提供从Agent构建到AI workflow编排、RAG检索、模型管理等能力,帮助开发者轻松构建和运营生成式AI原生应用‌
花千树-0103 天前
人工智能·pytorch·自然语言处理·nlp·aigc
MOE(Mixture of Experts)门控网络的实现与优化MOE(Mixture of Experts,混合专家)是一种强大的深度学习架构,它通过多个“专家”模型来处理输入数据,并使用一个门控网络(Gating Network)动态选择或加权组合各个专家的输出,从而提升模型的计算效率和任务适应能力。本文将详细介绍 MOE 门控系统的实现方式,并提供完整的代码示例。
Jelena157795857923 天前
爬虫·自然语言处理·word
爬虫结合 t_nlp_word 文本语言词法分析接口:开启数据挖掘与分析的新篇章在当今数字化时代,自然语言处理(NLP)技术正迅速改变我们处理和分析文本数据的方式。其中,文本语言词法分析是理解文本内容的基础,而 t_nlp_word 接口凭借其强大的分词、词性标注和命名实体识别功能,成为了开发者手中的利器。
东临碣石823 天前
人工智能·语言模型·自然语言处理
【AI论文】MedVLM-R1:通过强化学习激励视觉语言模型(VLMs)的医疗推理能力摘要:推理是推进医学影像分析的关键前沿领域,其中透明度和可信度对于赢得临床医生信任和获得监管批准起着核心作用。尽管医学视觉语言模型(VLMs)在放射学任务中展现出巨大潜力,但大多数现有VLM仅给出最终答案,而不揭示其背后的推理过程。为了填补这一空白,我们推出了MedVLM-R1,这是一种能够明确生成自然语言推理的医学VLM,以增强透明度和可信度。MedVLM-R1没有采用常因过拟合训练数据分布而无法培养真正推理能力的监督微调(SFT)方法,而是采用了一种强化学习框架,激励模型在不使用任何推理参考的情况下发
ssxueyi3 天前
python·自然语言处理·snownlp
Python中文自然语言处理库SnowNLPSnowNLP 是一个基于 Python 的中文自然语言处理库,专为处理中文文本而设计。它受到 TextBlob 的启发,但与 TextBlob 不同的是,SnowNLP 没有使用 NLTK,所有的算法都是自己实现的,并且自带了一些训练好的字典。SnowNLP 的主要功能包括分词、词性标注、情感分析、文本转换(简繁转换)、关键词提取、摘要生成、短语提取以及文本中词语之间的依存关系分析等。
RedefineLim.3 天前
人工智能·自然语言处理
Kneser-Ney平滑在自然语言处理中的应用在自然语言处理(NLP)领域,语言模型是预测词序列概率的核心工具。其中,n-gram模型因其简单性和有效性而被广泛应用。n-gram模型通过分析词序列中前n-1个词来预测下一个词的出现概率。然而,由于训练语料的有限性,许多n-gram在训练集中未曾出现,导致数据稀疏问题。这使得直接使用最大似然估计(MLE)计算的概率不可靠,因为未出现的n-gram会被赋予零概率。为了解决这一问题,平滑技术被引入,旨在调整n-gram的概率估计,使未见的n-gram也能获得一定的概率值。