人工智能前沿讲座——融合知识的自然语言处理

目录

引言

NLP的发展与现状

发展

机器翻译

机器翻译+知识记忆(高频词汇记录)

现状

我们的尝试

融入外部知识库

融合语言先验知识

融合语篇知识

融合人类行为知识


引言

自然语言处理没有大家都认可的一个定义。

研究人与人交际中以及在人与计算机交际中的语言问题的一门学科。

自然语言的变化是不受人控制。

如basical方言太多,已经消亡了。C语言依然兴旺,有人工控制的作用。

语言处理与人工智能密不可分。

怎么机器可以更像人?1、下棋胜过人 2、用语言与人交流

图灵都预言到了。现在的AlphaGo与CHATGPT就是实证。

NLP的发展与现状

发展

机器翻译

66年ALPAC《语言与机器》对机器翻译采取否定的态度。

报告指出,机器翻译难以克服"语义障碍"。(布尔模型的问题)

The pen was in the box. The box was in the pen.

钢笔在盒子里,盒子在围栏里。查字典式的机器翻译被判死刑。

人工智能陷入十年寒冬。

机器翻译+知识记忆(高频词汇记录)

1、知识记忆一开始是学语言学的整理的,他们负责整理规则。(人工整理)

虽然效果不好,但很好做,容易水论文。

1:知识驱动时代 2、3数据驱动时代(有知识,但人越来越难理解,炼丹)

2、从数据当中学知识,人再去标注正确错误。(机器学习)

3、深度学习:自然语言处理系统(知识)

| 微调 ----------------指令

预训练模型 | 标注

| 训练 人类

数据

预训练方法成功的两个关键:自监督学习、transformer

现状

GPT 让GPT做事,要多加限定词,不然知识很难激活,会翻译错意思。

语言跟思维是否等同?若不等同,说明大模型这条路实现不了真正的人工智能。

有些情况不用大模型能否成功?因为大模型需要的资源大部分高校无法提供。

张钹院士,周志华,周明教授都说要在新一代人工智能中加入知识。当时第一个老师有反驳。

这个老师是支持大模型是有知识的,说不承认大模型有知识就是一叶障目不见泰山,但只是它自己的知识,是人不能理解的。

我们的尝试

考虑能不能将知识显化,或者融入几十年间的成果。

融入外部知识库

写一个普法模型 全过程类似搜索引擎的创建

融合语言先验知识

1、生物医学领域命名实体识别

引入辅助任务+多任务学习

2、强化对表情的关注,实现手语翻译功能

方案一:手套(不行)脸部信息

方案二:深度相机(成本太高)

方案三:普通相机或者手机

手语是主宾谓,而且会省略很多词语;

手语中表情很重要。

融合语篇知识

篇章连贯性与篇章连接性

词嵌入:同义词与反义词向量太近

语篇结构指导机器翻译的关联性

基于主-述标注语料

融合人类行为知识

相关推荐
CountingStars61917 分钟前
目标检测常用评估指标(metrics)
人工智能·目标检测·目标跟踪
tangjunjun-owen25 分钟前
第四节:GLM-4v-9b模型的tokenizer源码解读
人工智能·glm-4v-9b·多模态大模型教程
冰蓝蓝29 分钟前
深度学习中的注意力机制:解锁智能模型的新视角
人工智能·深度学习
橙子小哥的代码世界37 分钟前
【计算机视觉基础CV-图像分类】01- 从历史源头到深度时代:一文读懂计算机视觉的进化脉络、核心任务与产业蓝图
人工智能·计算机视觉
新加坡内哥谈技术1 小时前
苏黎世联邦理工学院与加州大学伯克利分校推出MaxInfoRL:平衡内在与外在探索的全新强化学习框架
大数据·人工智能·语言模型
fanstuck2 小时前
Prompt提示工程上手指南(七)Prompt编写实战-基于智能客服问答系统下的Prompt编写
人工智能·数据挖掘·openai
lovelin+v175030409662 小时前
安全性升级:API接口在零信任架构下的安全防护策略
大数据·数据库·人工智能·爬虫·数据分析
唐小旭2 小时前
python3.6搭建pytorch环境
人工智能·pytorch·python
洛阳泰山2 小时前
MaxKB基于大语言模型和 RAG的开源知识库问答系统的快速部署教程
人工智能·语言模型·开源·rag·maxkb
程序猿阿伟3 小时前
《Java 优化秘籍:计算密集型 AI 任务加速指南》
java·开发语言·人工智能