1-4 NLP发展历史与我的工作感悟
第一个重要节点:word2vec词嵌入
能够将无限的词句表示为有限的词向量空间,而且运算比较快,使得文本与文本间的运算有了可能。
第二个重要节点:Transformer和bert
为预训练语言模型发展奠定坚实基础
我的工作感悟
随着拖布式工作流的workspace发展,开发一个对话机器人更加的便利。另外实体抽取,数据标注的工具做的也是越来越便利,这让对话系统对信息的理解与提取更上一层楼。我这里向大家推荐的有GitHub的dify、阿里云的unit、label studio等等,我用着挺方便的。
虽然有些事情便利了,但还是有很多很多的问题要解决,比如对于企业如何实时追踪与用户对话的数据信息,如何进一步提高机器人对用户话语分类的准确性,如何解决对话系统高并发的问题,如何提高系统的可维护性和可拓展性,如何兼容外语理解(因为有可能有外国人使用该系统,我自己就碰到过哈哈哈哈,叽里呱啦看不懂),prompt的设计减少大模型的已读乱回行为,如何提高对话系统的反应能力(我现在只做到了平均0.7s),如何减少大模型使用到的token等等一系列棘手的企业落地问题,对我们这些NLP算法工程师任重而道远!