1-4 NLP发展历史与我的工作感悟

1-4 NLP发展历史与我的工作感悟

主目录点这里

第一个重要节点:word2vec词嵌入

能够将无限的词句表示为有限的词向量空间,而且运算比较快,使得文本与文本间的运算有了可能。

第二个重要节点:Transformer和bert

为预训练语言模型发展奠定坚实基础

我的工作感悟

随着拖布式工作流的workspace发展,开发一个对话机器人更加的便利。另外实体抽取,数据标注的工具做的也是越来越便利,这让对话系统对信息的理解与提取更上一层楼。我这里向大家推荐的有GitHub的dify、阿里云的unit、label studio等等,我用着挺方便的。

虽然有些事情便利了,但还是有很多很多的问题要解决,比如对于企业如何实时追踪与用户对话的数据信息,如何进一步提高机器人对用户话语分类的准确性,如何解决对话系统高并发的问题,如何提高系统的可维护性和可拓展性,如何兼容外语理解(因为有可能有外国人使用该系统,我自己就碰到过哈哈哈哈,叽里呱啦看不懂),prompt的设计减少大模型的已读乱回行为,如何提高对话系统的反应能力(我现在只做到了平均0.7s),如何减少大模型使用到的token等等一系列棘手的企业落地问题,对我们这些NLP算法工程师任重而道远!

相关推荐
ssshooter11 分钟前
MCP 服务 Streamable HTTP 和 SSE 的区别
人工智能·面试·程序员
rengang6626 分钟前
软件工程新纪元:AI协同编程架构师的修养与使命
人工智能·软件工程·ai编程·ai协同编程架构师
IT_陈寒38 分钟前
Python+AI实战:用LangChain构建智能问答系统的5个核心技巧
前端·人工智能·后端
亚马逊云开发者1 小时前
Amazon Bedrock AgentCore Memory:亚马逊云科技的托管记忆解决方案
人工智能
言之。1 小时前
Chroma 开源的 AI 应用搜索与检索数据库(即向量数据库)
数据库·人工智能·开源
tomlone1 小时前
《AI的未来:从“召唤幽灵”到学会反思》
人工智能
编码浪子1 小时前
对LlamaFactory的一点见解
人工智能·机器学习·数据挖掘
长桥夜波1 小时前
【第十八周】机器学习笔记07
人工智能·笔记·机器学习
luoganttcc2 小时前
是凯恩斯主义主导 西方的经济决策吗
大数据·人工智能·金融·哲学
好奇龙猫2 小时前
AI学习:SPIN -win-安装SPIN-工具过程 SPIN win 电脑安装=accoda 环境-第五篇:代码修复]
人工智能·学习