DeepSeek大语言模型下几个常用术语

昨天刷B站看到复旦赵斌老师说的一句话"科幻电影里在人脑中植入芯片或许在当下无法实现,但当下可以借助AI人工智能实现人类第二脑"(大概是这个意思)

基本概念

  • AI 人工智能
  • NLP 自然语言处理
  • LLM 大语言模型
  • Hugging Face 一个提供了丰富的预训练模型和工具库的平台网站
  • Ollama 开源的本地大语言模型运行框架,用来在本地部署调用大语言模型,如DeepSeek-R1
  • vLLM 一个专注于高性能LLM推理的工具,也可以调用大语言模型,还可作模型文件转化或量化操作
  • llama.cpp 基于纯C/C++实现的高性能大语言模型推理引擎,专为优化本地及云端部署而设计,上面的Ollama即是在此基础上的封装和优化
  • Chatbox 为大语言模型对话提供人机界面交互功能,当然也可使用纯命令行方式,随个人喜好

量化

一种通过降低模型参数的表示精度来减少模型大小和计算需求的方法

常用的模型文件格式

  • safetensors - 由 Hugging Face 推出的一种新型安全模型存储格式,特别关注模型安全性、隐私保护和快速加载,仅包含张量的文件格式 ,如model-00001-of-000002.safetensors
  • GGUF All-in-one 二进制模型文件 ,如DeepSeek-R1-Distill-Qwen-7B-Q3_K_L.gguf
    • Q(Quantization)量化(压缩),后面的数值表示"单个参数的平均bit数",数值越大越智能
    • K(K Quant)即多个参数组合一Block做压缩,初衷是在同一个压缩级别上再补偿些精度回来
    • S L M 等用于区分混合精度的程度,字母顺序越小越精简
相关推荐
后端小肥肠5 分钟前
躺赚必备!RPA+Coze+豆包:公众号自动发文,AI率0%亲测有效(附AI率0%提示词)
人工智能·aigc·coze
摘星编程17 分钟前
CloudBase AI ToolKit实战:从0到1开发一个智能医疗网站
人工智能·腾讯云·ai代码远征季#h5应用·ai医疗应用·cloudbase开发
锅挤22 分钟前
深度学习5(深层神经网络 + 参数和超参数)
人工智能·深度学习·神经网络
一支烟一朵花26 分钟前
630,百度文心大模型4.5系列开源!真香
人工智能·百度·开源·文心一言
网安INF28 分钟前
深层神经网络:原理与传播机制详解
人工智能·深度学习·神经网络·机器学习
AIbase20241 小时前
国内MCP服务平台推荐!aibase.cn上线MCP服务器集合平台
运维·服务器·人工智能
喜欢吃豆2 小时前
快速手搓一个MCP服务指南(九): FastMCP 服务器组合技术:构建模块化AI应用的终极方案
服务器·人工智能·python·深度学习·大模型·github·fastmcp
星融元asterfusion2 小时前
基于路径质量的AI负载均衡异常路径检测与恢复策略
人工智能·负载均衡·异常路径
zskj_zhyl2 小时前
智慧养老丨从依赖式养老到自主式养老:如何重构晚年生活新范式
大数据·人工智能·物联网