nlp

uncle_ll1 天前
服务器·python·gpt·llm·nlp
服务器选型、微调范式、训练优化与环境搭建在完成 BERT、GPT-2 等模型的本地微调入门后,真实项目中往往会面临显存不足、训练效率低、环境配置复杂等问题。本文系统梳理从云端服务器选择、三种微调范式对比、训练效率优化到本地环境搭建的全流程实操方案,覆盖从零基础入门到工业级调优的核心要点。
JaydenAI3 天前
ai·nlp·agent·evaluation·maf
[Agent的评估-07]整合MEAI针对自然语言处理相关的评估器Agent的评估-05:MEAI用来评估LLM响应质量的9种评估器介绍了定义在NuGet包Microsoft.Extensions.AI.Evaluation.Quality中与质量相关指标(包括完整性、一致性、相关性和等效性等)的各种评估器。除此之外,在NuGet包Microsoft.Extensions.AI.Evaluation.NLP还包含两个与自然语言处理(NLP)相关的评估器,这篇文章就来聊聊它们都用来评估怎样的指标,以及如何利用Agent的评估-06:如何改进MAF针对MEAI评估系统的适配
不爱记笔记4 天前
人工智能·自然语言处理·nlp·音视频·多模态
多模态AI如何理解视频内容?从视觉、语音到语义的三层技术拆解过去两年,音视频内容的生产速度远超文本。一个B站UP主每月产出几十个小时的视频,一门培训课程动辄上百节录播。面对海量视频,靠人力逐帧观看、手动做笔记已经不现实。多模态AI的出现,让机器理解视频内容从概念变成了可落地的技术方案。
uncle_ll9 天前
llm·nlp·bert·huggingface·hf-mirror·hf
深入探索 Hugging Face核心组件及实践随着大语言模型(LLM)技术的全面爆发,自然语言处理正式迈入工业化落地阶段。无论是企业垂直场景的智能问答、情感舆情分析,还是个人开发者的AI创意应用开发,几乎所有大模型落地项目都绕不开一个核心平台——Hugging Face。
迷途呀15 天前
开发语言·笔记·python·langchain·nlp
Python:函数中的参数类型Python 函数参数类型(尤其是 * 和 / 的作用) ,重点解释二者的不同和使用。Python 函数参数分为五种类型,按定义顺序排列:
Tbisnic15 天前
gpt·自然语言处理·大模型·nlp·bert·预训练模型
28.NLP 三大预训练模型 ELMo/BERT/GPT + HuggingFace Transformers从词向量到双向上下文,从特征提取到微调,一篇文章理清现代 NLP 的基石如果你刚接触自然语言处理(NLP),一定会在 ELMo、BERT、GPT 这三个名字前感到困惑:它们都是预训练模型,为什么 BERT 在阅读理解上封神,GPT 成了写作利器,而 ELMo 却渐渐淡出大众视野?它们的训练方式、底层架构、适用场景到底差在哪里?
All The Way North-18 天前
随机森林·机器学习·nlp·tf-idf·文本分类·sklearn·保姆级教程
【NLP文本分类实战】随机森林 + TF-IDF 完整流程,准确率82.5%(数据分析/分词/模型训练)数据分析代码位置:首先导入工具包:主要包含以下内容:读取文本文件中的数据,分析了数据的基本信息,包括显示前10行数据、输出总样本数量以及每个类别的样本数量。使用了 pandas 库来处理数据,并使用 Counter 进行样本类别的计数
Tp_jh22 天前
图像处理·人工智能·自然语言处理·chatgpt·nlp
ChatGPT(原Codex)如何接入本地模型?实现token自由(2026 最新版)减少云端 Token 消耗,让工作数据完全在本地运行——只需 Herdsman + Token Router,全程免填 API / Key。
xin(n_n)b25 天前
nlp
优化器Adam偏差校正:初始时刻,⼀阶矩和⼆阶矩的值偏⼩,因为它们是加权平均,beta1和beta2很⼤,⽽且所有梯度都被初始化为0,通过偏差校正,可以将⼀阶矩和⼆阶矩的值放⼤,并且随着迭代次数的增加,校正因⼦会逐渐趋向于1,偏差校正的影响会逐渐减⼩。
promising_xxx1 个月前
人工智能·python·深度学习·计算机视觉·ai·语言模型·nlp
深度学习个人开源知识库 深度筑基 | DeepBase自学深度学习的过程中,我长期面临各类学习资料分散杂乱的问题。Python、PyTorch、神经网络、CV、NLP、Transformer、Agent、强化学习相关教程散落各处,新手很难搭建连贯完整的知识框架。为方便自己复盘,同时给刚入门深度学习的同学提供一条清晰学习路径,我整理搭建了这套开源学习站点——深度筑基 | DeepBase。
All The Way North-1 个月前
机器学习·自然语言处理·nlp·api·文本分类·fasttext·多标签分类
FastText核心API train_supervised 完全指南:参数详解、学习率衰减、预测评估与中英文数据避坑FastText 核心 API:train_supervised 详解fasttext.train_supervised是 FastText 库中最核心、最常用的 API,专门用于解决有监督的文本分类问题(例如:情感分析、垃圾邮件识别、新闻分类、话题归类)。
yLDeveloper1 个月前
llm·nlp
从矩阵乘法到多模态大模型 - LLM 篇这篇是关于植入 CLIP-ViT Encoder 训练多模态视觉前对 Text-Only 基座从零开始的训练,包含 分词器、预训练、SFT,不包含多模态部分。
叫我:松哥2 个月前
人工智能·深度学习·机器学习·自然语言处理·flask·nlp·bootstrap
基于机器学习的中文文本抑郁症风险检测系统,包括NLP与传统机器学习的抑郁症识别,准确率92%第一章 绪论1.1 研究背景及意义1.1.1 抑郁症检测背景抑郁症是一种常见的精神障碍,以持续的情绪低落、兴趣丧失、精力减退为主要特征,严重时可能导致自残、自杀等极端行为。据世界卫生组织统计,全球有超过3亿人受抑郁症困扰,占全球人口的4%以上,预计到2030年,抑郁症将成为全球疾病负担的首要原因。在中国,抑郁症的终身患病率约为6.8%,但就诊率却不足10%,大量患者未能得到及时有效的诊断和治疗。
troubles maker2 个月前
llm·nlp·llama·多模态
LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model论文链接:https://arxiv.org/pdf/2304.15010大语言模型(Large Language Model,LLM)的落地应用中,轻量化微调是平衡性能、算力与部署成本的核心技术路线。相较于全参数微调、低秩自适应(Low-rank adaptation,LoRA)[1] 等主流方案,Adapter 架构以模块化、高兼容性的特点,被广泛应用于 LLaMA[2] 等开源大模型的下游迁移任务。
装不满的克莱因瓶2 个月前
人工智能·python·深度学习·ai·自然语言处理·nlp
自然语言处理中的词嵌入——从离散符号到语义向量空间目录一、前言二、什么是词嵌入(一)基本定义(二)一句话理解(三)示例三、词嵌入的核心思想(一)分布式假设
To_OC2 个月前
人工智能·nlp·deepseek
用 ESM 模块化搭建 DeepSeek LLM 调用,顺带用 Prompt 实现轻量 NLP 任务最刚开始上手对接 DeepSeek 接口的时候,我图赶速度,把 API 密钥、OpenAI 实例、对话请求逻辑、业务 Prompt 全部揉在一个 JS 文件里。跑通第一条返回时还美滋滋,觉得单文件写起来省事。结果第二天要换模型、调整 API 地址,整段代码翻来覆去改;想复制到另一个新项目,还要手动剪切拆分代码,维护起来一团糟。
极光代码工作室2 个月前
python·深度学习·自然语言处理·nlp
基于NLP的论文关键词提取系统随着学术文献数量呈指数级增长,科研人员面临信息过载与知识发现效率低下的双重挑战。关键词作为论文内容的高度凝练,是文献检索、知识图谱构建、学术推荐及跨学科研究的核心元数据。传统人工标引方式成本高、一致性差、时效性弱;而现有自动化方法(如TF-IDF、TextRank)在专业领域语义理解不足,难以捕捉学科术语层级关系与上下文依赖特征。本文设计并实现了一套融合规则驱动与深度学习的混合式论文关键词提取系统。系统以中文计算机领域学术论文为对象,集成预处理、词性过滤、候选词生成、多模型融合排序与后处理四大模块,创新性
不好听6132 个月前
设计模式·node.js·nlp
Prompt 驱动 NLP:用大语言模型重新定义自然语言处理开发范式探讨如何利用 Prompt Engineering 构建 NLP 系统,深入分析情感分析、信息提取、主题推断、文本摘要等典型任务的 Prompt 设计思路。
Goodbye2 个月前
nlp
基于 Prompt 工程的 NLP 系统开发实践 —— 以 DeepSeek 大模型为例摘要:传统自然语言处理(NLP)任务的开发往往需要机器学习专家耗费数天甚至数周的时间。如今,借助大语言模型(LLM)和精心设计的 Prompt,开发者仅需几分钟即可构建出功能强大的 NLP 系统。本文以 nlp-demo 项目为例,深入剖析如何通过模块化架构、Prompt 工程技巧与 DeepSeek 大模型,快速实现情感分析、信息提取、主题推断与文本总结等核心 NLP 能力。