AI面试问答

自然语言处理常见任务

  • 文本分类
  • 序列标注
  • 文本生成
  • 信息抽取
  • 文本转换

自然语言处理发展历史

  • 规则系统阶段
    • 1954年,乔治城大学和IBM联合开发俄英翻译
    • 1966年,约瑟夫·魏岑鲍姆开发ELIZA心理医生聊天机器人,模仿"倾听式对话",是世界上最早的"聊天机器人"
  • 统计方法阶段
    • N-gram模型(一个词出现的概率,只取决于它前面 N-1 个词)
  • 机器学习阶段(见招拆招)
    • 词袋模型 (词袋+特征向量)+逻辑回归 实现文本分类

    • n-gram(将相邻的 n 个词作为一个整体,这样就能保留一部分的词序信息。)

      "服务很好但味道差劲"分词后 "服务","很","好","但","味道","差劲"
      "味道很好但服务差劲"分词后 "味道","很","好","但","服务","差劲"
      这两条评论在词袋模型 中的特证向量是完全相同的
      使用n-gram 后

      "服务很好","很好但","好但味道","但味道差劲"

      "味道很好","很好但","好但服务","但服务差劲"

      在词袋模型中的特征向量也就区分了

  • 深度学习阶段
    • 传统序列模型(静态输出):RNN、LSTM、GRU
    • 序列到序列(动态输出):Seq2Seq、Attention机制、Transformer(提升训练效率,增强模型对长距离依赖的建模能力)
      • "预训练 + 微调"的时代:BERT、GPT、Qwen

N-gram模型、**词袋模型、**n-gram的区别

  • N-gram模型是统计学习方法:单个词的出现概率,仅依赖前文N-1个词
  • 词袋模型 是机器学习方法,词袋 指无序去重的词汇集合;该模型拆分文本单词,仅统计词频、忽略语序与语法,生成文本特征向量 ,结合逻辑回归 可实现文本分类
  • n-gram通过将相邻n个词作为整体,解决了词袋模型因忽略语序导致不同语义文本特征向量相同的问题。

token

在原始文本中,被切分为若干具有独立语义的最小单元,即token

分词

将原始文本切分为若干具有独立语义的最小单元(即token)的过程

词表

由语料库构建出的、包含模型可识别 token 的集合。词表中每个token都分配有唯一的 ID,并支持 token 与 ID 之间的双向映射。

英文与中文中常见的分词方式、区别

字符级分词、词级分词、子词级分词

英文

  • 词级分词
  • 子词级分词
  • 字符级分词

中文

  • 词级分词
  • 子词级分词
  • 字符级分词

词表示分类

稀疏的词表示:one-hot编码

稠密的词表示:语义化词向量

上下文相关的词表示

Word2Vec原理

Word2Vec(一个词的含义由它周围的词决定)

  • CBOW(Continuous Bag-of-Words)模型(输入一个词的前后若干个词,预测中间的目标词)
  • Skip-gram 模型(输入是一个中心词,预测前后若干个词)

获取Word2Vec词向量方式

  • 直接使用他人公开发布的词向量
  • 在特定语料上自行训练

pip install gensim

from gensim.models import KeyedVectors

上下文相关词表示

上下文相关词表示(Contextual Word Representations)

词语的向量表示会根据它所在的句子上下文动态变化,从而更好地捕捉其语义。

为什么RNN论文公式和实际代码书写形式不一样?

相关推荐
对你无可奈何2 小时前
给 ComfyUI 做了一个手机助手
人工智能
feasibility.4 小时前
英伟达把物理AI的3D模型“应用商店”开放了:2575个SimReady仿真资产,总计约472GB,可让agent装配机器人训练场景
人工智能·3d·机器人·仿真·建模·具身智能·英伟达
智联视频超融合平台4 小时前
消防宣传月过半,“AI+消防“给视频平台换了张考卷
人工智能·边缘计算·视频监控·安防·视频联网
冬奇Lab5 小时前
一天一个开源项目(第262篇):AG-UI —— 把 AI Agent 接进前端的开放协议,和 MCP、A2A 并列的第三块拼图
人工智能·开源
罗西的思考6 小时前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
RobinDevNotes6 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
stormzhangV7 小时前
Coding Agent,通往 AGI 的重要一环
人工智能·agent·ai编程
Bowen_J8 小时前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple
IT_陈寒8 小时前
Redis那个过期删除策略,差点让我线上崩了
前端·人工智能·后端
阿里云大数据AI技术8 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能