一键测算!一款筛选本机可流畅运行的大模型终端工具!

大家好,我是 Java陈序员

在如今的 AI 时代,各种开源大模型层出不穷。当我们想要在本地部署大模型时,既要熟悉模型运行参数,还要了解自己本地机器的硬件参数,普通开发者很难依靠零散的参数表格精准判断模型和硬件的适配性。往往是耗时下载了一个个大模型,结果却与本地机器不适配!

今天,给大家分享一款大模型检测终端工具,在数百种模型与提供商中,通过一条命令找出你的硬件能运行哪些模型!

项目介绍

llmfit ------ 一款根据你系统的 RAM、CPU 和 GPU 为 LLM 模型匹配合适规格的终端工具。支持自动检测硬件,从质量、速度、适配度和上下文四个维度为每个模型打分,告诉你哪些模型能在你的机器上流畅运行。

功能特色

  • 全自动智能探测:依托系统底层接口自动采集整机硬件信息,无需手动填写任何配置参数,打开工具即可完成整机硬件盘点
  • 全平台无缝兼容:Windows、macOS、Linux 三大系统全覆盖,同时支持在 Docker 环境中使用
  • 内置海量模型库:内置持续更新的模型数据库,收录百余家厂商、五百余款主流开源 LLM, 囊括 Qwen、Llama、DeepSeek 等热门模型
  • 多维智能打分:通过模型能力质量、硬件适配程度、推理生成速度、上下文窗口长度等维度自动对所有可用模型打分分级
  • 双交互模式:提供终端可视化面板、 CLI 命令两种模式,还支持 Web 仪表盘查看,既方便小白使用,又方便开发者二开对接使用

快速上手

安装

llmfit 支持通过下载安装包 安装和使用命令安装两种方式。推荐使用命令安装,无需进行额外的配置。

  • Windows

需先安装 Scoop, 如果尚未安装,参考如下方式进行安装。

1、在 Windows 中打开 PowerShell

2、在命令行窗口中,粘贴如下命令并回车运行

bash 复制代码
Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser
Invoke-RestMethod -Uri https://get.scoop.sh | Invoke-Expression

3、安装 llmfit

bash 复制代码
scoop install llmfit
  • Linux

1、从 GitHub 下载最新发布的二进制文件并安装到 /usr/local/bin(如果没有 sudo 则安装到 ~/.local/bin

bash 复制代码
curl -fsSL https://llmfit.axjns.dev/install.sh | sh

2、或者安装到 ~/.local/bin(无需 sudo

bash 复制代码
curl -fsSL https://llmfit.axjns.dev/install.sh | sh -s -- --local
  • macOS / Linux
bash 复制代码
brew install llmfit
  • MacPorts
bash 复制代码
port install llmfit
  • Docker / Podman
bash 复制代码
docker run ghcr.io/alexsjones/llmfit

使用

1、llmfit 安装成功后,在命令行窗口中输入如下命令一键启动交互式终端 UI

bash 复制代码
llmfit

2、交互式终端 UI 界面说明

  • 系统配置(CPU、RAM、GPU 名称、VRAM、后端)显示在顶部
  • 模型按综合评分排序,以可滚动的表格列出
  • 每行显示模型的评分、预估 tok/s、最佳量化方案、运行模式、内存占用和用途分类

3、常用快捷键

功能体验

  • TUI Plan 模式

p 可查看这个模型需要什么硬件配置。

  • 硬件模拟

S 打开硬件模拟弹窗,通过不同的 RAM、VRAM 和 CPU 核心数,查看有哪些适配的大模型。

  • 主题

t 可在 10 种内置颜色主题间切换。

  • Web 仪表盘

当运行 llmfit 时,会自动在后台启动 Web 仪表盘,默认地址:

bash 复制代码
http://localhost:8787

可以说,在如今大模型遍地开花的当下,llmfit 解决了硬件与模型信息不对称的痛点,通过一行命令,即可从上百种模型中快速检测出与机器适配的大模型。无论你是入门新手、本地 AI 爱好者,还是 AI 开发从业者,都可以安装试用,省下大量试错成本。快去安装体验吧~

bash 复制代码
项目地址:https://github.com/AlexsJones/llmfit

最后

推荐的开源项目已经收录到 GitHub 项目,欢迎 Star

bash 复制代码
https://github.com/chenyl8848/great-open-source-project

或者访问网站,进行在线浏览:

bash 复制代码
https://chencoding.top:8090/#/

大家的点赞、收藏和评论都是对作者的支持,如文章对你有帮助还请点赞转发支持下,谢谢!


相关推荐
赵康12 小时前
AI 写代码之后,Code Review 会议怎么开
ai·llm·skill
莫逸风13 小时前
【AgentScope 2.0】 0. 学习指南
java·llm·agent·agentscope
大卫小东(Sheldon)16 小时前
小鹤音形词典:一个用 Rust 写的离线编码查询桌面工具
ai·rust
就业发动机17 小时前
我用 Tauri 做了一个约 1.5 MB 的开源屏幕标注工具:MarkerOn
vue.js·rust
谢白羽18 小时前
vllm源码剖析14-vLLM 分布式推理-专家并行EP
笔记·分布式·llm·论文·vllm
2601_9545267519 小时前
【硬核架构】打破 IT 与 OT 的数据孤岛!基于 Rust 异步协程的工业 IoT 网关重构,兼谈顶级自动化智能仪表厂家选型指南
物联网·架构·rust
white_ant20 小时前
17- 文本统计/处理工具使用指南
rust·个人开发·tauri
独孤留白20 小时前
Rust 类型转换全景指南 —— 从引用转换到序列化
rust
Token炼金师20 小时前
框架的擂台:LangChain、LlamaIndex、Dify、AutoGen 与 LangGraph —— 应用框架选型五局
人工智能·深度学习·llm
独孤留白20 小时前
从C到Rust:Trait TryFrom TryInto 可能失败的类型转换
rust