DeepSeek大语言模型下几个常用术语

昨天刷B站看到复旦赵斌老师说的一句话"科幻电影里在人脑中植入芯片或许在当下无法实现,但当下可以借助AI人工智能实现人类第二脑"(大概是这个意思)

基本概念

  • AI 人工智能
  • NLP 自然语言处理
  • LLM 大语言模型
  • Hugging Face 一个提供了丰富的预训练模型和工具库的平台网站
  • Ollama 开源的本地大语言模型运行框架,用来在本地部署调用大语言模型,如DeepSeek-R1
  • vLLM 一个专注于高性能LLM推理的工具,也可以调用大语言模型,还可作模型文件转化或量化操作
  • llama.cpp 基于纯C/C++实现的高性能大语言模型推理引擎,专为优化本地及云端部署而设计,上面的Ollama即是在此基础上的封装和优化
  • Chatbox 为大语言模型对话提供人机界面交互功能,当然也可使用纯命令行方式,随个人喜好

量化

一种通过降低模型参数的表示精度来减少模型大小和计算需求的方法

常用的模型文件格式

  • safetensors - 由 Hugging Face 推出的一种新型安全模型存储格式,特别关注模型安全性、隐私保护和快速加载,仅包含张量的文件格式 ,如model-00001-of-000002.safetensors
  • GGUF All-in-one 二进制模型文件 ,如DeepSeek-R1-Distill-Qwen-7B-Q3_K_L.gguf
    • Q(Quantization)量化(压缩),后面的数值表示"单个参数的平均bit数",数值越大越智能
    • K(K Quant)即多个参数组合一Block做压缩,初衷是在同一个压缩级别上再补偿些精度回来
    • S L M 等用于区分混合精度的程度,字母顺序越小越精简
相关推荐
WXX_s16 分钟前
【OpenCV篇】OpenCV——03day.图像预处理(2)
人工智能·python·opencv·学习·计算机视觉
有才不一定有德40 分钟前
深入剖析 MetaGPT 中的提示词工程:WriteCode 动作的提示词设计
人工智能·aigc·提示词工程
花月mmc1 小时前
CanMV-K230 AI学习笔记系列
人工智能·笔记·学习
s1ckrain1 小时前
【论文阅读】ON THE ROLE OF ATTENTION HEADS IN LARGE LANGUAGE MODEL SAFETY
论文阅读·人工智能·语言模型·大模型安全
Jackilina_Stone1 小时前
【论文|复现】YOLOFuse:面向多模态目标检测的双流融合框架
人工智能·python·目标检测·计算机视觉·融合
Java中文社群1 小时前
Coze开源版?别吹了!
人工智能·后端·开源
机器之心2 小时前
硬核「吵」了30分钟:这场大模型圆桌,把AI行业的分歧说透了
人工智能
音视频牛哥2 小时前
RTSP|RTMP播放器 in Unity:开源不够用?从工程视角重新定义播放器选型
人工智能·计算机视觉·直播
不失者2 小时前
关于AI时代的一点思考
人工智能·后端·程序员