nlp初学者怎么入门?需要学习哪些?

入门姿势简单粗暴:打一些必要的基础就跑步进入Transformer。

大模型时代,传统的算法,像分词、词性标注,被替代得非常厉害,在入门阶段没必要花费太多精力在传统算法上面。

数学和编程基础

数学:

高数、线数、概率统计。大学水平就可以,如果基础差,可以后续边学边补。

Python:

语言推荐python,基本上绕不过去。不用学太深,掌握Python的基本语法、数据类型、控制结构(如循环和条件语句)、函数等就够了

推荐资源:b站小甲鱼

pytorch:

深度学习的主流框架之一。

推荐b站刘二大人《PyTorch深度学习实践》、我是土堆的《pytorch深度学习快速入门教程》

跑步进入Transformer

学习Transformer模型的基本架构和原理,包括自注意力机制、位置编码、多头注意力等等。

推荐资料:

吴恩达的deeplearning系列课程

斯坦福CS224-深度学习自然语言处理

李沐老师的《动手学深度学习》

都是经典,选自己能听得下去的听,完成作业,在这个过程中构建完整的知识体系版图。

Hugging Face Transformers:使用Hugging Face Transformers库来加载、训练、评估模型以及完成下游NLP任务。

预训练大语言模型

最近几年,随着gpt4,llama等带起的百模大战持续火热,预训练大模型这块的研究、应用和发展都受到了广泛的关注。尤其到了现今企业纷纷开始卷应用落地的时候,用人市场现状就是一方面有缺口,另一方面真正有全面项目落地经验的人才太少了。

像预训练大模型整套知识体系,包括常见的预训练模型、模型结构、主要的预训练任务等等,必须要有所侧重地学明白,无论是科研还是就业,都是重中之重。PEFT(Parameter-Efficient Fine-tuning)要学,有机会动手训一个大语言模型可行性比较低,但微调是每个人都可以实践的。另外就是要回langchain进行下游任务的开发。

项目实践

除了参加学校实验室的项目,做开源项目、参加实习都是获得项目实践机会的方法。还有就是参加竞赛。这些竞赛项目一般会提高提供基本的数据集以及要解决的问题,同时也会给出一些baseline代码作为参考,非常有助于入门学习。

1)Kaggle Kaggle大名鼎鼎的竞赛社区,有很多有意思的数据集和任务,可以通过参加Kaggle机器学习比赛来下载相关数据集。

2)天池大赛

阿里云举办的竞赛,完全来自真实业务场景。每场赛事沉淀的课题和数据集,在天池保留和开放。

国内的竞赛还有很多,和鲸,华为云,datafountain等。

大模型时代,考虑到成本和安全,在实际应用中,选择私有化部署一套自己的百亿量级的大模型的情况还是非常多的。因此项目实践中药着重锻炼的不但有编码能力,还有工程能力。

大量阅读经典论文,积累代码经验

阅读论文是获取知识和理解最新进展的重要途径。一个是细分领域的经典论文,包括baseline;另一个是前沿方案。针对论文中提到的陌生知识点,去有意识地学习;还可以通过关注论文的引用和参考文献来扩展阅读范围。

基础倒回来补 传统算法的基础知识对于模型可解释性、模型调试等方面具有重大意义。因此在掌握了Transformer等现代模型后,可以倒回来补充学习这些传统算法的基础知识,以达到更全面地理解NLP技术的本质和应用的目的。

为面试做准备 除了理论知识基础、项目经验、实习经验,按照当前的内卷形式,留出时间来专门准备面试是非常有必要的。可以尽可能多地过一些leetcode,多看一些面经分享。针对AIGC算法工程师方面,建议单做一份简历,真的香。

相关推荐
B站计算机毕业设计超人23 分钟前
计算机毕业设计PySpark+Hadoop中国城市交通分析与预测 Python交通预测 Python交通可视化 客流量预测 交通大数据 机器学习 深度学习
大数据·人工智能·爬虫·python·机器学习·课程设计·数据可视化
学术头条28 分钟前
清华、智谱团队:探索 RLHF 的 scaling laws
人工智能·深度学习·算法·机器学习·语言模型·计算语言学
18号房客32 分钟前
一个简单的机器学习实战例程,使用Scikit-Learn库来完成一个常见的分类任务——**鸢尾花数据集(Iris Dataset)**的分类
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·sklearn
feifeikon35 分钟前
机器学习DAY3 : 线性回归与最小二乘法与sklearn实现 (线性回归完)
人工智能·机器学习·线性回归
游客52037 分钟前
opencv中的常用的100个API
图像处理·人工智能·python·opencv·计算机视觉
古希腊掌管学习的神39 分钟前
[机器学习]sklearn入门指南(2)
人工智能·机器学习·sklearn
凡人的AI工具箱1 小时前
每天40分玩转Django:Django国际化
数据库·人工智能·后端·python·django·sqlite
咸鱼桨2 小时前
《庐山派从入门到...》PWM板载蜂鸣器
人工智能·windows·python·k230·庐山派
强哥之神2 小时前
Nexa AI发布OmniAudio-2.6B:一款快速的音频语言模型,专为边缘部署设计
人工智能·深度学习·机器学习·语言模型·自然语言处理·音视频·openai
yusaisai大鱼2 小时前
tensorflow_probability与tensorflow版本依赖关系
人工智能·python·tensorflow