技术栈
mtp
若苗瞬
3 天前
google
·
llama
·
gemma
·
qat
·
mtp
继续提速：Llama.cpp 已经正式支持 Gemma4 MTP
原版的llama.cpp支持的平台很多，功能也很多，所以进度相对比较慢。 就在刚刚，突然发现，am17an的pr合并了。😄 这就意味着原版支持gemma4的MTP模式了，不用再自己编译pr或别的fork。
碳基硅坊
7 天前
人工智能
·
vllm
·
llama.cpp
·
模型加速
·
mtp
MTP在vLLM与llama.cpp上的性能对比：Qwen3.6与Gemma4实测
MTP（Multi-Token Prediction，多Token预测）是一项新兴的大模型推理优化技术。本文基于完整测试数据，对比vLLM和llama.cpp在MTP模式下的性能表现，并提供可操作的部署指南。
虎鲸不是鱼
16 天前
大模型
·
llm
·
qwen
·
lm studio
·
mtp
LM Studio使用MTP的qwen3.6-27B-以7840hs的780M为例
体验了GPU卸载数拉高的好处：https://lizhiyong.blog.csdn.net/article/details/161386515
若苗瞬
25 天前
llm
·
llama
·
cpp
·
gemma
·
mtp
·
ik_llama
·
dflash
记一次失败的本地部署 LLM MTP 模型的过程
先说结论：如果显卡没有24GB+的显存，确实没必要折腾。 显存容量决定体验上限，MTP不是“免费加速”，而是用更多显存换 decode 加速。
木亦汐丫
1 年前
sft
·
rl
·
mtp
·
mla
·
deepseekmoe
·
fp8 混合精度训练
·
dualpipe算法
【大模型系列篇】国产开源大模型DeepSeek-V3技术报告解析
目录DeepSeek-V3技术报告1. 摘要2. 引言3. DeepSeek V3 架构3.1 基础架构
凯文的内存
1 年前
android
·
media
·
mtp
·
mtpserver
android 定制mtp连接外设的设备名称
软件平台：Android11硬件平台：QCS6125需求：同一套代码基线支持多个产品型号，如S2N、S2C、E1等，但是编译的时候model属性字段在build目录就是配置好不可再更改的，如何动态的实现展示不同的mtp设备名称呢？
我是有底线的