nlp

m沐沐1 天前
人工智能·python·机器学习·自然语言处理·nlp·中文分词·tf-idf
【机器学习】NLP---用 Python+TF-IDF 给《红楼梦》自动提取关键词在信息爆炸的时代,快速从文本中抓取核心信息的能力非常重要。TF-IDF 是 NLP 领域最经典、也最容易上手的关键词提取算法之一。本文将带你从零开始,完成从文本读取、分词、去停用词,到使用 TF-IDF 提取每一回关键词的全过程,代码清晰易懂,有需要可直接运行。
「維他檸檬茶」1 天前
学习·算法·大模型·nlp
大模型算法学习2026.6.1主播是双非本211硕研0,计科本软工硕,之前了解过简单的机器学习和深度学习,目前打算冲大模型算法,同时准备agent应用开发作为planB。暂时打算是学cs224n、cs336和之前准备复试买的一个深度学习课,学完后做2个项目投小厂的算法实习,以后会不定期更新学习内容。
yuanyuan2o22 天前
算法·ai·语言模型·自然语言处理·nlp·深度优先
模型预训练:Hugging Face Transformers 基础0. 环境安装1. Pipeline2. Tokenizer3. Model4. Config5. Datasets
极光代码工作室5 天前
python·深度学习·自然语言处理·nlp
基于NLP的招聘信息关键词分析系统随着数字经济快速发展与就业市场结构持续演化,海量招聘文本数据呈爆发式增长。据智联招聘《2023中国雇主需求与白领人才供给报告》显示,仅主流平台日均新增职位信息超120万条,其中非结构化文本占比达98.7%。传统人工筛选与关键词粗筛已难以支撑企业HR高效识别核心能力画像、高校就业指导中心精准匹配岗位趋势、求职者个性化能力诊断等多元需求。本研究聚焦“招聘信息关键词提取与语义分析”这一关键问题,设计并实现了一套融合规则驱动与深度学习的混合式NLP分析系统。系统以中文招聘文本为处理对象,集成Jieba分词、TF-
YUDAMENGNIUBI8 天前
nlp
day30_fasttext分类任务FastText主要用于训练词向量和文本分类,其最大优势在于:保持较高精度的情况下,实现快速的训练和预测。 FastText速度快的原因主要有三点:
Lyn_Li9 天前
nlp·bert·词向量·sif·句子向量
给句子做个“语义审计”:从词向量到句子向量的方法论上一篇从独热向量到词向量:彻底搞懂 AI 如何理解语言我们理解了:词向量是给每个词拍一张“证件照”。但现实中的任务,往往是处理一整句话。一句话里有一叠“证件照”,怎么看出这句话到底代表什么?这就是本文要解决的问题。 这篇笔记不是冰冷的技术罗列,而是一次用审计思维对“语义融合”进行的阐述,本文将像分析公司一样分析句子,看看如何将词向量合并,得到代表整句话的句子向量。
AI技术控11 天前
人工智能·语言模型·自然语言处理·langchain·nlp
NeuroH-TGL 论文解读:面向脑疾病诊断的神经异质性引导时序图学习方法论文标题:《NeuroH-TGL: Neuro-Heterogeneity Guided Temporal Graph Learning Strategy for Brain Disease Diagnosis》 会议:NeurIPS 2025 研究方向:动态功能脑网络、时序图学习、图神经网络、脑疾病诊断、fMRI 分析 本文基于上传论文原文整理。:contentReference[oaicite:0]{index=0}
kcuwu.11 天前
自然语言处理·nlp
FastText技术博客:从原理到实战在自然语言处理(NLP)领域,词向量和文本分类是两个最基础也最重要的任务。从 2013 年 Word2Vec 横空出世,到 2016 年 Facebook AI Research(FAIR)推出 FastText,这个看似简单的模型却在工业界获得了空前成功。
AI技术控12 天前
人工智能·语言模型·自然语言处理·langchain·nlp
LangChain 是什么?从零开始学会 LangChain 的工程实践指南在大模型应用开发中,很多人第一次接触 LangChain,是因为想快速做一个“基于大模型的应用”:例如知识库问答、RAG 检索增强生成、智能客服、Agent 工具调用、文档总结、SQL 问答、企业内部助手等。
AI技术控14 天前
人工智能·语言模型·自然语言处理·oracle·nlp
RAG 怎么做 Query 改写?从工程实践看检索增强生成的第一道关键关卡在 RAG(Retrieval-Augmented Generation,检索增强生成)系统中,很多人一开始会把重点放在向量数据库、Embedding 模型、文档切分、召回算法、重排序模型和大模型生成上,但真正落地以后会发现:用户输入的 Query 质量,往往直接决定整个 RAG 系统的上限。
AI技术控16 天前
人工智能·python·语言模型·自然语言处理·nlp
ReAct 论文解读:大模型 Agent 如何通过“推理 + 行动”完成复杂任务《ReAct: Synergizing Reasoning and Acting in Language Models》是 ICLR 2023 的一篇经典论文,也是理解大模型 Agent、工具调用、RAG 和外部环境交互时绕不开的一篇工作。
王_teacher19 天前
人工智能·gru·llm·nlp
GRU (Gated Recurrent Unit,门控循环单元) 原理详解 并且手写GRU模型GRU (Gated Recurrent Unit,门控循环单元) 是一种改进的循环神经网络(RNN),旨在解决传统 RNN 的梯度消失问题,并简化 LSTM 的复杂结构。
王_teacher19 天前
人工智能·llm·nlp·lstm
LSTM 原理详解手动编写LSTM模型代码b站手把手编写lstm模型普通 RNN 有长依赖遗忘问题: 序列很长时,梯度反向传播会梯度消失/梯度爆炸,RNN 记不住很早之前的信息,就像鱼的记忆只有7秒。 LSTM(长短期记忆网络) 就是为了解决:长序列记忆、梯度消失 问题,就像添加一个日记本,将记忆写到本子上。
Resistance丶未来20 天前
人工智能·ai·语言模型·自然语言处理·nlp·多模态大模型·ai工具
从零构建大语言模型:核心原理与实战落地在动手构建大语言模型之前,很多开发者往往被庞大的参数量和复杂的架构图劝退,觉得这必须是顶级实验室才能触碰的领域。但实际上,剥离掉工业级的工程外壳,大模型的核心骨架其实由几个清晰且优雅的数学模块组成。当你真正尝试从零开始,用几百行代码复现一个微型模型时,那种对“智能”如何从数据中涌现的理解,远比直接调用 API 来得深刻。
Jmayday20 天前
人工智能·rnn·深度学习·nlp
RNN案例之:人名分类器目录一、需求分析二、整体步骤三、代码实现四、模型预测五、总结1、背景关于人名分类问题:以一个人名为输入, 使用模型帮助我们判断它最有可能是来自哪一个国家的人名, 这在某些国际化公司的业务中具有重要意义, 在用户注册过程中, 会根据用户填写的名字直接给他分配可能的国家或地区选项, 以及该国家或地区的国旗, 限制手机号码位数等等.
Jmayday21 天前
人工智能·自然语言处理·nlp
NLP第三章:注意力机制目录一、注意力机制的由来以及解决的问题二、什么是注意力机制三、自注意力机制四、注意力机制规则五、什么是深度学习注意力机制
极光代码工作室24 天前
python·深度学习·自然语言处理·nlp
基于NLP的智能问答系统设计随着人工智能技术的快速发展,自然语言处理(NLP)在人机交互领域展现出巨大潜力。智能问答系统作为NLP的核心应用场景之一,正逐步从传统基于规则和检索的方法向深度学习驱动的端到端理解与生成范式演进。本文围绕“基于NLP的智能问答系统设计”这一主题,构建了一个融合语义匹配、意图识别与答案生成能力的轻量级企业知识库问答系统。系统采用BERT微调实现问题分类与语义相似度计算,结合BiLSTM-CRF完成实体识别,并基于T5模型实现结构化答案生成;前端采用Vue3+Element Plus构建响应式Web界面,后端
Resistance丶未来1 个月前
python·大模型·nlp·github·copilot·claude·gemini
Agency-Agents 多智能体协作系统落地指南在实际的企业开发场景中,我们常常遇到这样的困境:一个复杂的业务需求摆在那里,单靠一个大模型往往顾此失彼,要么逻辑链条断裂,要么在处理长上下文时丢失关键信息。比如处理一个跨部门的客户投诉,既需要查询订单历史,又要核对库存状态,还得生成安抚话术并触发退款流程。传统的单体智能体架构在这种多线程、高并发且逻辑耦合度极高的任务面前,显得力不从心。这正是多智能体协作系统(Multi-Agent Systems)大显身手的时刻。通过将宏大的目标拆解为多个具备特定技能的“角色”,让它们像一支训练有素的特种部队一样协同作战
极光代码工作室1 个月前
人工智能·深度学习·神经网络·nlp·情感分析
基于深度学习的微博情感分析系统随着社交媒体的迅猛发展,微博已成为中国最具影响力的公共舆论场之一,日均产生超5亿条文本数据。海量用户评论、热搜话题、突发事件讨论中蕴含丰富的情感倾向信息,对舆情监控、品牌口碑管理、政府决策支持及金融情绪预测具有重要价值。传统基于词典或机器学习的情感分析方法在处理微博短文本、网络新词、表情符号、反讽与隐喻等复杂语言现象时泛化能力弱、准确率低。本文设计并实现了一套端到端的微博情感分析系统,融合BERT预训练语言模型与BiLSTM-CRF序列建模能力,提出一种面向中文微博场景的双通道特征增强机制(语义通道+句法
小敬爱吃饭1 个月前
人工智能·python·目标检测·自然语言处理·flask·nlp·知识图谱
知识图谱实战第一章:知识图谱全景解析其定义、技术演进与十大应用场景知识图谱(Knowledge Graph)是人工智能的重要分支技术,它在2012年由谷歌提出,成为建立大规模知识的杀手锏应用,在搜索、自然语言处理、智能助手、电子商务等领域发挥着重要作用。知识图谱与大数据、深度学习,这三大“秘密武器”已经成为推动互联网和人工智能发展的核心驱动力之一。