Jan是什么?

Jan 是一个开源 ChatGPT 替代品，可以在您的计算机上 100% 离线运行。

Jan支持从 PC 到多 GPU 集群的各种类型环境，以下是Jan支持运行环境类型：

下面是它的GitHub star历史，进入2024年，Jan就像坐上了火箭，一下子就起飞了。

为什么用 Jan

对比与同类产品，我们整理了一下Jan具备的特点：

支持广泛：支持各种开源的LLM（GGUF ，TensorRT）
跨平台支持：Windows、Mac、Linux，并通过Llama.cpp使用GPU加速。从本质上讲，Jan 是一个跨平台、本地优先的 AI 原生框架，可用于构建任何东西。在开发中Jan努力遵循 Clean Architecture，努力去构建一个跨平台的应用。

安装包安装：

下载完成，只需要点击安装，就可以安装好了。

源码安装：

源码安装首先要确定2个前提：

复制代码

Node.js 版本： 20.0.0 +
Yarn 版本 1.22.0 +

接下来下载源码：

bash 复制代码

git clone <https://github.com/janhq/jan>
git checkout DESIRED_BRANCH
cd jan

使用yarn来安装依赖：

bash 复制代码

yarn install

# Build core module
yarn build:core

# Packing base plugins
yarn build:plugins

# Packing uikit
yarn build:uikit

最后启动项目：

复制代码

yarn dev

打开Jan之后，我们首先要安装模型。Jan里面自带了hub，可以直接找到各种模型。

我直接安装了推荐的Mistral 7B，最近也很火的。

Jan里面thread就相当于是会话。在右侧区域可以快速新建thread开始使用，还可以配置预设参数，以及切换模型等。

Jan当中支持灵活的编辑，比如想针对thread进行编辑，点三个点，就可以直接到JSON里编辑修改。

对于扩展来说，目前除了安装自带的，我还没看到能安什么，看来要等等。

Jan 附带了一个内置 API 服务器，可以用作 OpenAI API 的直接本地替代品。可以在设置中启用API server，默认会在1337端口。这是文档中说的，我装的stable版本里面没找到。

使用上其他就没有，大家自己试试，可以多交流。