Tabby - 开源的自托管 AI 编码助手

Tabby 是一个开源的自托管 AI 编码助手。使用 Tabby,每个团队都可以轻松设置自己的 LLM 驱动的代码完成服务器。独立式,无需 DBMS 或云服务。OpenAPI 接口,易于与现有基础设施(例如 Cloud IDE)集成。

支持消费级 GPU。

21600 Stars 984 Forks 161 Issues 104 贡献者 Apache License Rust语言

代码 : GitHub - TabbyML/tabby: Self-hosted AI coding assistant

主页: https://tabby.tabbyml.com/

更多AI开源软件AI开源 - 小众AI

主要功能:

  • **开放**:Tabby 是免费的、开源的,并且与主要的编码 LLM(CodeLlama、StarCoder、CodeGen)兼容。事实上,您可以使用和组合您喜欢的模型,而无需自己实现任何内容。

  • **端到端**:虽然大多数编码工具仅将代码完成视为编码 LLM 之上的薄包装器,但在实际场景中,IDE 扩展中的优化可能与编码 LLM 的功能一样重要。 Tabby 优化了整个堆栈:

    • IDE 扩展:Tabby 通过自适应缓存策略实现准确的流式处理和取消,以确保快速完成(不到一秒)。
    • 模型服务:Tabby 将相关代码解析为 Tree Sitter 标签,以提供有效的提示。
  • **用户和开发人员体验**:可持续的开源解决方案的关键是让每个人都能更轻松地为项目做出贡献。 AI 专家应该能够轻松理解和改进建议质量。 EngOps 团队应该发现它易于设置并感觉可以控制数据。 开发人员在编码时应该有一个 "顿悟 "的时刻。 Tabby 优化了这些核心用户的体验,以提高团队的工作效率。

快速开始:

Windows平台:
查找 Windows 版本

下载版本
  • 如果您使用的是纯 CPU 系统,请下载 **tabby_x86_64-windows-msvc.zip**。
  • 如果您使用的是支持 GPU 的系统,请下载**tabby_x86_64-windows-msvc-cuda117.zip**,在此示例中,我们假设您使用的是 CUDA 11.7。

**技巧:**

查找 Windows 可执行文件
  • 解压缩文件 。tabby_x86_64-windows-msvc-cuda117.zip
  • 导航到名为 的解压缩文件夹。tabby_x86_64-windows-msvc-cuda117
  • 在此文件夹中,转到 -> 。disttabby_x86_64-windows-msvc-cuda117
  • 在此目录中,您将找到一个名为 .tabby.exe
运行 Tabby

在上一步) 所在的目录中打开命令提示符或 PowerShell 窗口(来自上一步)。tabby.exe​

运行以下命令:

复制代码
# For CPU-only environments
.\tabby.exe serve --model StarCoder-1B --chat-model Qwen2-1.5B-Instruct

# For CUDA-enabled environments
.\tabby.exe serve --model StarCoder-1B --chat-model Qwen2-1.5B-Instruct --device cuda

您应该会看到一条成功消息,类似于下面屏幕截图中的消息。之后,您可以访问 http://localhost:8080 来访问您的 Tabby 实例。

Linux平台:
查找 Linux 版本

下载版本
  • 如果您使用的是纯 CPU 系统,请下载 **tabby_x86_64-manylinux2014.zip**。
  • 如果您使用的是支持 GPU 的系统,请下载**tabby_x86_64-manylinux2014-cuda117.zip**,在此示例中,我们假设您使用的是 CUDA 11.7。
  • 如果要使用非 nvidia GPU,请下载 **tabby_x86_64-manylinux2014-vulkan.zip**。有关更多信息,请参阅 https://tabby.tabbyml.com/blog/2024/05/01/vulkan-support/

**技巧:**

  • 对于 CUDA 版本,您需要为发行版安装 nvidia-cuda-toolkit。

    • 在 ubuntu 中,这将是 .sudo apt install nvidia-cuda-toolkit
    • CUDA 工具包可直接从 Nvidia 获得:CUDA Toolkit - Free Tools and Training | NVIDIA Developer
    • 确保您已安装 CUDA 版本 11 或更高版本。
    • 通过在终端中运行以下命令来检查您的本地 CUDA 版本:nvcc --version
  • 对于 Vulkan 版本,您需要 Vulkan 库。在 ubuntu 中,这将是 .sudo apt install libvulkan1​

查找 Linux 可执行文件
  • 解压缩您下载的文件。可执行文件将位于 dist 的子目录中。tabby
  • 更改为此子目录或重新定位到您选择的文件夹。tabby
  • 使其可执行:chmod +x tabby llama-server

运行以下命令:

复制代码
# For CPU-only environments
./tabby serve --model StarCoder-1B --chat-model Qwen2-1.5B-Instruct

# For GPU-enabled environments (where DEVICE is cuda or vulkan)
./tabby serve --model StarCoder-1B --chat-model Qwen2-1.5B-Instruct --device $DEVICE

您可以选择不同的模型,如模型注册表中所示

您应该会看到一条成功消息,类似于下面屏幕截图中的消息。之后,您可以访问 http://localhost:8080 来访问您的 Tabby 实例。

相关推荐
阿里云大数据AI技术7 分钟前
数据开发再提速!DataWorks正式接入Qwen3-Coder
大数据·人工智能·数据分析
Xxtaoaooo8 分钟前
MCP协议全景解析:从工业总线到AI智能体的连接革命
大数据·人工智能·mcp协议·mcp解析·工业mcp
空中湖28 分钟前
PyTorch武侠演义 第一卷:初入江湖 第7章:矿洞中的计算禁制
人工智能·pytorch·python
新智元30 分钟前
毕树超入职Meta后首发声:十年前怀疑AGI,如今深信AGI已至!
人工智能·openai
新智元32 分钟前
GPT-5「全家桶」爆出本周上线!惊艳首测秒出网页,编程彻底起飞
人工智能·openai
kingchen36 分钟前
AI编程工具现状深度分析:拥抱未来,掌握核心竞争力
ai编程
qiyue7742 分钟前
如何选择AI IDE?对比Cursor分析功能差异
ai编程·cursor·trae
笔触狂放43 分钟前
【机器学习】第八章 模型评估及改进
人工智能·深度学习·机器学习
AI训练师43 分钟前
基于深度学习的YOLO框架的7种交通场景识别项目系统【附完整源码+数据集】
人工智能
柠檬味拥抱1 小时前
基于YOLOv8的狗狗品种(多达60种常见犬类)品种鉴别识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!
人工智能