自然语言处理

阿杰学AI5 小时前
人工智能·ai·语言模型·自然语言处理·aigc·rlvr·基于可验证奖励的强化学习
AI核心知识64——大语言模型之RLVR (简洁且通俗易懂版)RLVR 是 Reinforcement Learning via Verifiable Rewards(基于可验证奖励的强化学习)的缩写。
代码洲学长8 小时前
python·自然语言处理·数据分析
文本数据分析的基础知识**** : 放到形参位置就是接收可变键值对元素到字典中 放到实参位置就类似字典拆包**字符串.split(分隔符): 把字符串根据指定分隔符依次分隔,分隔后元素放到列表中
软件测试小仙女9 小时前
软件测试·人工智能·测试工具·ai·语言模型·自然语言处理·llm
认真测试大语言模型(LLM)生成式人工智能(GenAI)明显且天生地测试不足。有很多原因,但有一个理由就足够了:以合理且负责任的方式测试 GenAI 的成本非常高。而且,当你发现问题时,可能根本无法在不破坏大型语言模型强大功能的前提下修复它。即使某个问题被修复了,也会带来一个巨大且无限制的回归测试问题。
斯外戈的小白9 小时前
人工智能·自然语言处理·transformer
【NLP】深入浅出Transform(上)原理部分本章图包含了Transformer的背景和目的、Transformer架构图、其主要组成部分Attention机制的主要思想+代码、残差连接+简要代码、Positional Encoder正余弦位置编码主要思想、teacher forcing介绍、两种Mask(Padding Mask/ Look-ahead Mask)。漏掉了Encoder-Decoder Attention。 注:Transformer囊括了两个重要的组成部分(encoder和decoder两种),encoder和decoder可以分
_codemonster9 小时前
人工智能·自然语言处理
自然语言处理容易混淆知识点(七)模型架构 vs 使用方式一个模型基座可能有多种用法 embedding_model = SentenceTransformer('/workspace/huggingface_cache/models/bert-base-uncased') cross_encoder = CrossEncoder('/workspace/huggingface_cache/models/bert-base-uncased', num_labels=2)
HUT_Tyne2659 小时前
人工智能·语言模型·自然语言处理
第2章 语言模型基础Transformer模型是深度学习,尤其是自然语言处理(NLP)领域的一次重大突破。 从概念上看,Transformer模型可以被视为一个“黑盒子”,以机器翻译任务为例,它能够接收某种语言的输入文本,并输出对应语言的翻译版本。 从内部结构来看,Transformer由编码器(encoder)和解码器 (decoder)两大部分构成。
熬夜敲代码的小N9 小时前
人工智能·自然语言处理·transformer
自然语言处理与Transformer模型自然语言处理(Natural Language Processing, NLP)是人工智能领域中关注计算机与人类语言交互的分支。随着深度学习技术的发展,特别是Transformer架构的出现,NLP领域取得了革命性进展。本文将介绍NLP的基本概念,重点讲解Transformer模型的原理与应用,并通过代码示例展示如何使用Transformers库进行文本分类任务。
2401_841495641 天前
人工智能·自然语言处理·知识图谱·语义网络·状态空间·知识工程·自然语言理解
知识工程:人工智能从通用求解到知识驱动的演进基石目录一、引言二、知识工程的内涵界定:从概念提出到核心价值(一)知识的多元内涵:从传统认知到工程化定义1.知识的本质与传统认知
_codemonster1 天前
人工智能·自然语言处理
自然语言处理容易混淆知识点(六)SentenceTransformer的训练参数Hugging Face Transformers库中SentenceTransformer的训练参数。
阿杰学AI1 天前
人工智能·ai·语言模型·自然语言处理·aigc·prm·过程奖励模型
AI核心知识62——大语言模型之PRM (简洁且通俗易懂版)PRM 是 Process Reward Model(过程奖励模型)的缩写。它是为了解决 AI 在处理复杂推理任务(如奥数题、长代码)时,“只看结果、不看过程”导致学习效率低下的问题而诞生的技术。
老鱼说AI1 天前
人工智能·分布式·深度学习·神经网络·自然语言处理·nlp·transformer
经典论文精读第一期:DeepSeek-R1-Zero ——RL奇迹论文地址:https://arxiv.org/pdf/2501.12948通常我们训练 LLM 的范式流程是:Pretrain -> SFT (教会格式/指令) -> RLHF (对齐人类偏好)。
小北方城市网1 天前
大数据·前端·人工智能·ai·自然语言处理
第 5 课:Vue 3 HTTP 请求与 UI 库实战 —— 从本地数据到前后端交互应用在前 4 课中,我们已经完成了多页面结构搭建(Vue Router)和全局数据管理(Pinia),但项目的数据仍存储在本地 —— 实际开发中,应用的数据需要从后端服务器获取(比如从数据库读取待办、提交表单到服务器),且界面需要符合企业级美观标准。本节课将聚焦Axios(HTTP 请求工具) 和Element Plus(UI 组件库) 两大核心工具,解决 “前后端数据交互” 和 “快速搭建高质量界面” 的问题,让项目从 “本地演示应用” 升级为 “能对接真实后端的生产级应用”。
小陈phd1 天前
人工智能·语言模型·自然语言处理
大语言模型实战(三)——词编码技术演进:从 “机器识字符” 到 “AI 懂语义”大家好,今天我们聊聊自然语言处理(NLP)的“地基”——词编码技术。从让机器“区分单词”到“理解语义”,这背后是四代技术的迭代,正好对应四张经典示意图。
骚戴1 天前
人工智能·语言模型·自然语言处理·大模型·llm·api
在科研与项目开发中:如何高效调用大语言模型(LLM)API2023年被誉为生成式AI的元年,而2024年则是大模型应用落地的爆发期。无论是学术界的科研工作者,还是工业界的项目开发者,大家的起跑线似乎都是一样的:一行简单的 import openai,接着是 client.chat.completions.create(...),短短几行代码,从屏幕上跃出的文字仿佛魔法一般,宣告着智能时代的到来。
小苑同学1 天前
人工智能·语言模型·自然语言处理
判断大语言模型(LLMs)是否被“越狱成功“的四类方法这四个方法的核心用途是 判断大语言模型(LLMs)是否被“越狱成功”——简单说,就是评估模型在受到越狱攻击后,生成的响应是否真的违反安全规则、产生了有害内容(比如教人犯罪、宣扬暴力)。
Francek Chen1 天前
人工智能·pytorch·深度学习·神经网络·自然语言处理·cnn
【自然语言处理】应用03:情感分析:使用卷积神经网络【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈PyTorch深度学习 ⌋ ⌋ ⌋ 深度学习 (DL, Deep Learning) 特指基于深层神经网络模型和方法的机器学习。它是在统计机器学习、人工神经网络等算法模型基础上,结合当代大数据和大算力的发展而发展出来的。深度学习最重要的技术特征是具有自动提取特征的能力。神经网络算法、算力和数据是开展深度学习的三要素。深度学习在计算机视觉、自然语言处理、多模态数据分析、科学探索等领域都取得了很多成果。本专栏介绍基于PyTorch的深度学习算法实现
Rabbit_QL2 天前
人工智能·语言模型·自然语言处理
【LLM评价指标】从概率到直觉:理解语言模型的困惑度“如果你想知道一个语言模型到底有多聪明,它在写下一个词时心里有多少个备选答案,就得看看困惑度了。”无论是 n-gram 语言模型(unigram、bigram、trigram)还是理论上可以记忆无限上下文的 递归神经网络语言模型(RNN LM),一个核心问题始终存在:如何评价语言模型的好坏?
C嘎嘎嵌入式开发2 天前
人工智能·python·自然语言处理·nlp
NLP 入门:从原理到实战的个人经验总结自然语言处理(NLP)这两年因为 ChatGPT 火得一塌糊涂,但抛开热度,它本质上就做两件事:教计算机听懂人话,以及让计算机像人一样说话。
阿杰学AI2 天前
人工智能·机器学习·ai·语言模型·自然语言处理·embedding·词向量
AI核心知识61——大语言模型之Embedding (简洁且通俗易懂版)Embedding (词向量) 是大语言模型把“人类语言”翻译成“计算机能懂的数学语言” 的那个关键步骤。
渡我白衣2 天前
人工智能·深度学习·神经网络·目标检测·microsoft·机器学习·自然语言处理
导论:什么是机器学习?——破除迷思,建立全景地图“如果你不知道你要去哪,任何路都能带你到达。” ——但机器学习不是魔法,它是一套严谨的方法论。而你,即将掌握它。