Datawhale Happy-LLM 课程 task 1和2:NLP基础概念

Datawhale Happy-LLM 课程 task 1和2:NLP基础概念

此博客为Datawhale 组队学习打卡笔记


ELMo

  • Word2Vec 是基于局部上下文的,缺乏整体的词与词之间的关系,无法处理一次多义;静态词向量, 训练完成后,这个表就固定下来了
  • ELMo(Embeddings from Language Models)首先在大型语料库上训练语言模型,得到词向量模型,然后在特定任务上对模型进行微调,得到更适合该任务的词向量;
  • ELMo实现了一词多义、静态词向量到动态词向量的跨越式转变
  • ELMo 缺陷:模型复杂度高、训练时间长、计算资源消耗大

参考

1\]

相关推荐
方向研究6 分钟前
人类的核心能力
人工智能
测试员周周13 分钟前
【Appium 系列】第18节-重试与容错 — 移动端测试的稳定性保障
人工智能·python·功能测试·ui·单元测试·appium·测试用例
l1t34 分钟前
Hy-MT2-1.8B总结的pgvector 0.8.2解决了并行HNSW索引构建漏洞
数据库·人工智能·postgresql
太华35 分钟前
学习AI Agent编程-第二天-LangGraph ReAct模式实现
人工智能
dayuOK630737 分钟前
从“爆款复刻”到“个性化创作”:AI辅助写作的技术挑战与演进方向
人工智能·职场和发展·自动化·新媒体运营·媒体
养肥胖虎40 分钟前
完整学习LLM(二):大模型到底是什么
大模型·llm·学习路线
Raink老师1 小时前
【AI面试临阵磨枪-58】AI 生成内容合规、版权、审核机制设计
人工智能·面试·职场和发展
lizhihai_991 小时前
股市学习心得-与英伟达核心 PCB 相关的八家关联企业
大数据·人工智能·学习
嗝o゚1 小时前
昇腾CANN ops-nn 仓的 Activation 算子:不只是 ReLU
人工智能·cann·ops-nn
thubier(段新建)1 小时前
从需求到上线:需求→业务→架构→功能→实现 全链路落地方法论
人工智能·架构