自然语言处理

鹿角片ljp1 小时前
python·自然语言处理·nlp
Engram 论文精读:用条件记忆模块重塑稀疏大模型当 MoE 通过条件计算扩展模型容量时,Transformer 却缺少原生的知识查找原语。Engram 提出 条件记忆 作为稀疏性的新轴,让模型以 O(1) 的时间直接检索静态知识,而非通过计算模拟检索。
ldccorpora2 小时前
人工智能·深度学习·算法·机器学习·自然语言处理
GALE Phase 1 Chinese Broadcast News Parallel Text - Part 1数据集介绍,官网编号LDC2007T23GALE Phase 1 Chinese Broadcast News Parallel Text - Part 1(LDC2007T23)是 LDC 于 2007 年面向 DARPA GALE 项目发布的中 - 英平行文本语料,核心为中文广播新闻转写文本及其人工英译对,适配机器翻译(MT)训练与评测,是 GALE Phase 1 中文广播新闻平行文本的首期子库。以下是详细介绍:
renhongxia17 小时前
人工智能·深度学习·学习·机器学习·语言模型·自然语言处理
大型语言模型性能预测器:学习何时在混合人机-人工智能管理系统中升级随着大语言模型日益融入人在回路的内容审核系统,核心挑战在于如何判断何时可以信赖其输出,又何时需要提请人工复审。
摸鱼仙人~12 小时前
人工智能·语言模型·自然语言处理
针对大语言模型文本审核逻辑鲁棒性与精细化规则编排的深度研究报告在大语言模型(LLM)的快速演进中,文本审核作为确保人工智能系统安全与合规的关键技术,正面临着从简单的模式识别向复杂逻辑推演的范式转移。传统的审核系统通常依赖于关键词过滤或浅层的统计分类器,但在处理具有深层语境、多步逻辑谬误或极其精细的业务规则时,这些方法表现出了显著的局限性。随着企业对内容合规性的要求日益严苛,大语言模型虽然具备强大的语义理解能力,却在处理复杂的逻辑一致性、规则冲突解决以及精细化规则的实时动态调整方面存在脆弱性 1。本报告旨在探讨提升大模型文本审核逻辑能力的技术路径,分析如何通过神经符号
杜子不疼.12 小时前
人工智能·深度学习·自然语言处理
自然语言处理(NLP)实战指南:从传统方法到深度学习本文将系统介绍自然语言处理的核心技术,从传统的文本处理方法到现代的预训练模型,配合实战代码带你快速入门NLP。
GitCode官方12 小时前
人工智能·自然语言处理·机器翻译
1.8B 体积、33 种语言互译|腾讯混元 HY-MT1.5-1.8B 多语言机器翻译模型上线在跨语言交流日益频繁的今天,阅读外语菜单、处理多语言邮件、与不同语言背景的人沟通,已经成为很多人日常工作与生活的一部分。过去,这类需求往往依赖联网翻译工具,而如今,在端侧完成多语言互译正在成为可行选项 —— 一部设备即可支持多达 33 种语言的相互翻译。
狮子座明仔12 小时前
人工智能·深度学习·语言模型·自然语言处理·开源
O-Researcher:多智能体蒸馏与强化学习打造开源深度研究新标杆一句话总结:OPPO提出O-Researcher框架,通过多智能体协作自动合成高质量研究数据,结合监督微调与GRPO强化学习,让72B开源模型在深度研究任务上超越GPT-5和OpenAI O3等商业巨头。
路多辛13 小时前
人工智能·语言模型·自然语言处理
为大语言模型而生的节省成本数据格式 TOON 详解用过 LLM API 的朋友一定深有体会:Token 就是真金白银。每次把结构化数据塞进 Prompt,看着重复的字段名、冗余的引号和括号占掉大半 Token 额度,心里都在滴血——明明核心内容没多少,却要为格式“买单”。
ldccorpora13 小时前
人工智能·深度学习·算法·机器学习·自然语言处理·语音识别
GALE Phase 1 Distillation Training数据集介绍,官网编号LDC2007T20GALE Phase 1 Distillation Training(LDC2007T20)是 LDC 为 DARPA GALE 计划构建、2007 年发布的信息提炼(Distillation)任务训练数据集,核心用于训练多语言文本 / 语音的信息抽取与知识整合模型,以人工标注的查询 - 事实(nugget)映射为核心特色LDC。以下是详细介绍:
大模型任我行13 小时前
人工智能·语言模型·自然语言处理·论文笔记
腾讯:动态树强化学习框架DART📖标题:Discovery and Reinforcement of Tool-Integrated Reasoning Chains via Rollout Trees 🌐来源:arXiv, 2601.08274v1
nju_spy14 小时前
深度学习·自然语言处理·预训练模型·word2vec·glove·词嵌入·文本表示学习
动手学深度学习 - NLP 词嵌入全解析:从 Word2Vec/GloVe 到 FastText/BPE 与 BERT本文系统梳理 NLP 核心的词嵌入技术全体系,从基础静态词嵌入到进阶动态上下文嵌入完整讲解。首先详解 Word2Vec 的 Skip-Gram 与 CBOW 模型原理、近似训练策略及三国演义中文实战;
狮子座明仔14 小时前
人工智能·深度学习·语言模型·自然语言处理
AI-Researcher:让 AI 自主完成从文献调研到论文发表的全流程科研一句话总结:香港大学团队开源了 AI-Researcher——一个能够自主完成文献综述、假设生成、算法实现到论文撰写全流程的多智能体科研系统,在基准测试中展现出接近人类研究者的科研能力。
aopstudio1 天前
人工智能·自然语言处理·llm·huggingface
HuggingFace Tokenizer 的进化:从分词器到智能对话引擎如果你用过 Hugging Face 的 Transformers 库,一定对 tokenizer 不陌生。它负责把"人话"变成"机器话"——也就是将文本转换成模型能理解的 token ID 序列。随着大模型从"单轮问答"走向"多轮对话",再到"调用外部工具完成任务",tokenizer 的角色早已超越了简单的分词器,正在成为构建可靠 AI Agent 的核心基础设施。
之之为知知1 天前
人工智能·深度学习·机器学习·自然语言处理·大模型
NLP进化史:一场「打补丁」的技术接力赛每一项新技术的诞生,都是因为旧技术"满足不了当下人类的欲望"。大家好,今天我们来聊聊**自然语言处理(NLP)**这个领域是怎么一步步走到今天ChatGPT时代的。
Francek Chen1 天前
人工智能·自然语言处理·nlp·easyui
【自然语言处理】初探自然语言处理【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈自然语言处理 ⌋ ⌋ ⌋ 自然语言处理 (Natural Language Processing, NLP) 是人工智能领域的重要研究方向,是一门集计算机科学、人工智能和语言学于一体的交叉学科,通过语法分析、语义理解等技术,实现机器翻译、智能问答、情感分析等功能。它包含自然语言理解和自然语言生成两个主要方面,研究内容包括字、词、短语、句子、段落和篇章等多种层次,是机器语言和人类语言之间沟通的桥梁。 【GitCode】专栏资源保存在我的GitCo
sunxunyong1 天前
人工智能·自然语言处理
CC-Ralph实测1、启动 Claude Code 以跳过权限检查模式启动(用于自动化循环) claude --dangerously-skip-permissions 2、安装插件 从 Marketplace 添加并安装 Ralph Wiggum 插件
huazi-J2 天前
人工智能·自然语言处理·大模型·llm·datawhale
Datawhale Happy-LLM 课程 task 1和2:NLP基础概念此博客为Datawhale 组队学习打卡笔记[1] https://github.com/datawhalechina/happy-llm
Sherry Wangs2 天前
人工智能·语言模型·自然语言处理
【ML】语言模型 & GPUs假设我们要在一台服务器上对一个采用多头注意力(MHA)的 Transformer 模型进行推理。模型参数如下:隐藏层维度 d = 4096 d=4096 d=4096,层数 L = 32 L=32 L=32,注意力头数 h = 32 h=32 h=32,采用 FP16 半精度存储(每个元素占 2 Bytes)。
道可云2 天前
人工智能·语言模型·自然语言处理
道可云人工智能每日资讯|南京农业大学发布国内首个农业开源大语言模型“司农”道可云人工智能&元宇宙每日简报(2026年1月15日)讯, 今日人工智能&元宇宙新鲜事有:工信部印发《推动工业互联网平台高质量发展行动方案(2026—2028年)》:加快培育流程自动化助手、智慧巡检数字人、具身智能装备
CCPC不拿奖不改名2 天前
人工智能·python·学习·语言模型·自然语言处理·面向对象·智能体
大语言模型的基础:大语言模型基础认知人工智能的发展经历了多个阶段,从早期的符号主义到现代的深度学习。20世纪50年代,图灵测试和逻辑推理机奠定了理论基础。80年代专家系统兴起,但受限于计算能力和数据量。90年代机器学习逐渐成熟,支持向量机等算法广泛应用。2010年后,深度学习在图像识别、自然语言处理领域取得突破,GPU算力提升和大数据加速了这一进程。