技术栈
rtx pro 4000
Ki1381
3 小时前
人工智能
·
llama.cpp
·
rtx pro 4000
N记消费/专业级Blackwell架构GPU，以编译方式安装llama.cpp
搞了块RTX PRO 4000显卡，配置了24G VRAM，做实验发挥的余地又拓展了一些了。Ollama毫无难度的跑了起来，所以还想试试其它更适合生产环境的推理框架。但问了下AI，当前（2026年5月）。一些主流推理框架对英伟达Blackwell架构的GPU（尤其是消费级的）优化仍在进行中，llama.cpp算是比较推荐的一种了（毕竟Ollama也是以它为基础），因此先拿它来折腾。
我是有底线的