自然语言处理

pen-ai11 小时前
人工智能·自然语言处理
【NLP】37. NLP中的众包当我们谈论构建大语言模型时,脑海中浮现的往往是服务器、GPU 和Transformer,而很少想到成千上万的普通人也在默默贡献力量。
小oo呆12 小时前
人工智能·自然语言处理·milvus
【自然语言处理与大模型】向量数据库:Milvus使用指南Milvus 是一个开源的向量数据库,Milvus Lite 是 Milvus 向量数据库的轻量级版本,能为 AI 应用提供向量相似性搜索功能。它非常适合用于快速原型开发、资源有限的环境。
pen-ai18 小时前
人工智能·自然语言处理
【NLP】34. 数据专题:如何打造高质量训练数据集在大语言模型(LLM)如 GPT、BERT、T5 爆发式发展的背后,我们常常关注模型架构的演化,却忽视了一个更基础也更关键的问题:训练数据从哪里来?这些数据是如何清洗、筛选和标注的?
yzx99101319 小时前
人工智能·自然语言处理
自然语言处理词向量是自然语言处理中用于将语言符号(词语)转化为连续稠密向量的技术,其核心思想是通过数学空间中的向量表示,捕捉词语的语义和语法信息,解决传统离散表示(如 one-hot 编码)的 “维数灾难” 和 “语义鸿沟” 问题。
小oo呆20 小时前
人工智能·自然语言处理
【自然语言处理与大模型】大模型(LLM)基础知识④微调目前最主要用在定制模型的自我认知和改变模型对话风格。模型能力的适配与强化只是辅助。比如:qwen的模型默认回答“我是qwen”,微调过后让其回答“我是小呆(自定义的名字)”,再比如:你问模型“你有什么能力?”,模型默认回答“我会生成文本、写作、编写代码等等”。但如果你做的是医疗领域的微调,模型就可以输出“我可以帮助用户分析应该吃什么药”。再比如:微调前模型什么问题都回答,微调后只回答医疗问题,其他的问题拒绝回答。
一点.点1 天前
人工智能·语言模型·自然语言处理·自动驾驶
DRIVEGPT4: 通过大语言模型实现可解释的端到端自动驾驶《DriveGPT4: Interpretable End-to-End Autonomous Driving via Large Language Model》
lihuayong1 天前
人工智能·语言模型·自然语言处理·nlp·金融问答
金融问答系统:如何用大语言模型打造高精度合规的金融知识引擎假如我现在向大模型提问,我的问题是:请查询在2021年度,68**38股票涨停天数? 或者我问:湖南*****科股份有限公司变更设立时作为发起人的法人有哪些? 大模型巴拉巴拉给我一个答案,那怎么让我信任大模型的输出是准确的呢?而不是大模型编造的内容?
纪伊路上盛名在2 天前
字符编码·人工智能·语言模型·自然语言处理·token·文本处理
LLM大语言模型系列1-token一,什么是token1,什么是token: 参考:https://en.wikipedia.org/wiki/Token
FF-Studio2 天前
人工智能·深度学习·学习·机器学习·自然语言处理·微积分·高等数学
【硬核数学】2. AI如何“学习”?微积分揭秘模型优化的奥秘《从零构建机器学习、深度学习到LLM的数学认知》在上一篇中,我们探索了线性代数如何帮助AI表示数据(向量、矩阵)和变换数据(矩阵乘法)。但AI的魅力远不止于此,它最核心的能力是“学习”——从数据中自动调整自身,以做出越来越准确的预测或决策。这个“学习”过程的背后功臣,就是我们今天要深入探讨的微积分 (Calculus)。
是店小二呀2 天前
人工智能·语言模型·自然语言处理·gpugeek平台
GPUGeek云平台实战:DeepSeek-R1-70B大语言模型一站式部署随着人工智能技术的迅猛发展,特别是在自然语言处理领域,大型语言模型如DeepSeek-R1-70B的出现,推动了各行各业的变革。为了应对这些庞大模型的计算需求,云计算平台的普及成为了关键,特别是基于GPU加速的云平台,能够提供高效、灵活的计算资源。
Jamence2 天前
论文阅读·人工智能·语言模型·自然语言处理·论文笔记
多模态大语言模型arxiv论文略读(八十)## MMWorld: Towards Multi-discipline Multi-faceted World Model Evaluation in Videos ➡️ 论文标题:MMWorld: Towards Multi-discipline Multi-faceted World Model Evaluation in Videos ➡️ 论文作者:Xuehai He, Weixi Feng, Kaizhi Zheng, Yujie Lu, Wanrong Zhu, Jiachen Li, Yu
love530love2 天前
人工智能·windows·python·语言模型·自然语言处理·pycharm
Windows避坑部署CosyVoice多语言大语言模型#工作记录在实际部署与应用过程中,项目的运行环境适配性对其稳定性与功能性的发挥至关重要。CosyVoice 项目虽具备强大的语音处理能力,但受限于开发与测试环境的侧重方向,其对运行环境存在特定要求。
想要成为计算机高手3 天前
人工智能·深度学习·计算机视觉·自然语言处理·机器人·开源·vla
半成品的开源双系统VLA模型,OpenHelix-发表于2025.5.6https://openhelix-robot.github.io/随着OpenVLA的开源,VLA如何部署到真实的机器人上获得了越来越多的关注,各界人士也都开始尝试解决OpenVLA的效率问题,双系统方案是其中一个非常热门的方案,但是双系统的方案有很多,比如Helix,理想汽车MindVLA等,但是缺乏相关开源工作,难以继续研究。
Jamence3 天前
人工智能·语言模型·自然语言处理
多模态大语言模型arxiv论文略读(七十六)➡️ 论文标题:Recognizing Everything from All Modalities at Once: Grounded Multimodal Universal Information Extraction ➡️ 论文作者:Meishan Zhang, Hao Fei, Bin Wang, Shengqiong Wu, Yixin Cao, Fei Li, Min Zhang ➡️ 研究机构: Harbin Institute of Technology (Shenzhen)、Natio
KangkangLoveNLP3 天前
人工智能·深度学习·神经网络·算法·机器学习·自然语言处理·llama
Llama:开源的急先锋Llama1使用了完全开源的数据,性能媲美GPT-3,可以在社区研究开源使用,只是不能商用。业内普遍认为如果要达到同一个性能指标,训练更大大模型会更划算,因为训练的成本会降低,较大的模型会更快的收敛,但是llama不这么认为,llama认为虽然训练成本会降低,但是推理的成本会提高,推理代价会比训练代价更加重要。
小oo呆3 天前
数据库·人工智能·自然语言处理
【自然语言处理与大模型】向量数据库技术向量数据库,是专门为向量检索设计的中间件!高效存储、快速检索和管理高纬度向量数据的系统称为向量数据库向量数据库是一种专门用于高效存储和检索高维向量数据的系统。它通过嵌入模型将各类非结构化数据(包括文本、图像、音频等)转化为向量表示,并借助优化的索引结构和搜索算法实现快速查询。该数据库的核心功能在于执行相似性搜索:通过计算向量间的距离度量(如欧几里得距离或余弦相似度),精准定位与目标向量最相似的数据点。这种特性使其在处理非结构化数据方面表现出色,广泛应用于语义搜索、内容推荐等需要深度理解数据语义的场景。
水花花花花花3 天前
人工智能·自然语言处理
NLP基础目录一、NLP 概述和应用(一)NLP 的定义与演进历程(二)NLP 的多元应用领域二、文本预处理技术
Tiny番茄3 天前
人工智能·自然语言处理·bert
Text models —— BERT,RoBERTa, BERTweet,LLamaBERT,全称Bidirectional Encoder Representations from Transformers,BERT是基于Transformer的Encoder(编码器)结构得来的,因此核心与Transformer一致,都是注意力机制。这种机制使得模型能够捕捉到句子中词语之间远距离的依赖关系,这是传统RNN/LSTM难以高效实现的能力。
聚客AI3 天前
人工智能·机器学习·语言模型·自然语言处理·langchain·transformer·llama
ChatGPT到Claude全适配:跨模型Prompt高级设计规范与迁移技巧本文较长,建议点赞收藏,以免遗失。更多AI大模型应用开发学习内容,尽在聚客AI学院。代码示例:自动化评估反馈
zm-v-159304339863 天前
人工智能·语言模型·自然语言处理
AI 赋能 Copula 建模:大语言模型驱动的相关性分析革新前言综述在数据科学领域,变量间相关性分析始终是核心议题。传统相关系数在刻画非线性、非对称依赖关系时存在显著局限,而 Copula 理论通过分离边缘分布与依赖结构,为复杂相关性建模提供了全新框架。从二元 Copula 到高维 Vine Copula,从时间序列分析到结构方程模型,Copula 技术正逐步渗透至水文、金融、工程等多领域。结合 AI 大模型的自动化优势,通过提示词优化与代码生成,可显著提升 Copula 建模效率,推动从理论研究到实际应用的跨越。本次前沿综述聚焦 Copula 核心技术、高维扩展