Tabby - 开源的自托管 AI 编码助手

Tabby 是一个开源的自托管 AI 编码助手。使用 Tabby,每个团队都可以轻松设置自己的 LLM 驱动的代码完成服务器。独立式,无需 DBMS 或云服务。OpenAPI 接口,易于与现有基础设施(例如 Cloud IDE)集成。

支持消费级 GPU。

21600 Stars 984 Forks 161 Issues 104 贡献者 Apache License Rust语言

代码 : GitHub - TabbyML/tabby: Self-hosted AI coding assistant

主页: https://tabby.tabbyml.com/

更多AI开源软件AI开源 - 小众AI

主要功能:

  • **开放**:Tabby 是免费的、开源的,并且与主要的编码 LLM(CodeLlama、StarCoder、CodeGen)兼容。事实上,您可以使用和组合您喜欢的模型,而无需自己实现任何内容。

  • **端到端**:虽然大多数编码工具仅将代码完成视为编码 LLM 之上的薄包装器,但在实际场景中,IDE 扩展中的优化可能与编码 LLM 的功能一样重要。 Tabby 优化了整个堆栈:

    • IDE 扩展:Tabby 通过自适应缓存策略实现准确的流式处理和取消,以确保快速完成(不到一秒)。
    • 模型服务:Tabby 将相关代码解析为 Tree Sitter 标签,以提供有效的提示。
  • **用户和开发人员体验**:可持续的开源解决方案的关键是让每个人都能更轻松地为项目做出贡献。 AI 专家应该能够轻松理解和改进建议质量。 EngOps 团队应该发现它易于设置并感觉可以控制数据。 开发人员在编码时应该有一个 "顿悟 "的时刻。 Tabby 优化了这些核心用户的体验,以提高团队的工作效率。

快速开始:

Windows平台:
查找 Windows 版本

下载版本
  • 如果您使用的是纯 CPU 系统,请下载 **tabby_x86_64-windows-msvc.zip**。
  • 如果您使用的是支持 GPU 的系统,请下载**tabby_x86_64-windows-msvc-cuda117.zip**,在此示例中,我们假设您使用的是 CUDA 11.7。

**技巧:**

查找 Windows 可执行文件
  • 解压缩文件 。tabby_x86_64-windows-msvc-cuda117.zip
  • 导航到名为 的解压缩文件夹。tabby_x86_64-windows-msvc-cuda117
  • 在此文件夹中,转到 -> 。disttabby_x86_64-windows-msvc-cuda117
  • 在此目录中,您将找到一个名为 .tabby.exe
运行 Tabby

在上一步) 所在的目录中打开命令提示符或 PowerShell 窗口(来自上一步)。tabby.exe​

运行以下命令:

复制代码
# For CPU-only environments
.\tabby.exe serve --model StarCoder-1B --chat-model Qwen2-1.5B-Instruct

# For CUDA-enabled environments
.\tabby.exe serve --model StarCoder-1B --chat-model Qwen2-1.5B-Instruct --device cuda

您应该会看到一条成功消息,类似于下面屏幕截图中的消息。之后,您可以访问 http://localhost:8080 来访问您的 Tabby 实例。

Linux平台:
查找 Linux 版本

下载版本
  • 如果您使用的是纯 CPU 系统,请下载 **tabby_x86_64-manylinux2014.zip**。
  • 如果您使用的是支持 GPU 的系统,请下载**tabby_x86_64-manylinux2014-cuda117.zip**,在此示例中,我们假设您使用的是 CUDA 11.7。
  • 如果要使用非 nvidia GPU,请下载 **tabby_x86_64-manylinux2014-vulkan.zip**。有关更多信息,请参阅 https://tabby.tabbyml.com/blog/2024/05/01/vulkan-support/

**技巧:**

  • 对于 CUDA 版本,您需要为发行版安装 nvidia-cuda-toolkit。

    • 在 ubuntu 中,这将是 .sudo apt install nvidia-cuda-toolkit
    • CUDA 工具包可直接从 Nvidia 获得:CUDA Toolkit - Free Tools and Training | NVIDIA Developer
    • 确保您已安装 CUDA 版本 11 或更高版本。
    • 通过在终端中运行以下命令来检查您的本地 CUDA 版本:nvcc --version
  • 对于 Vulkan 版本,您需要 Vulkan 库。在 ubuntu 中,这将是 .sudo apt install libvulkan1​

查找 Linux 可执行文件
  • 解压缩您下载的文件。可执行文件将位于 dist 的子目录中。tabby
  • 更改为此子目录或重新定位到您选择的文件夹。tabby
  • 使其可执行:chmod +x tabby llama-server

运行以下命令:

复制代码
# For CPU-only environments
./tabby serve --model StarCoder-1B --chat-model Qwen2-1.5B-Instruct

# For GPU-enabled environments (where DEVICE is cuda or vulkan)
./tabby serve --model StarCoder-1B --chat-model Qwen2-1.5B-Instruct --device $DEVICE

您可以选择不同的模型,如模型注册表中所示

您应该会看到一条成功消息,类似于下面屏幕截图中的消息。之后,您可以访问 http://localhost:8080 来访问您的 Tabby 实例。

相关推荐
九年义务漏网鲨鱼1 小时前
【大模型学习 | MINIGPT-4原理】
人工智能·深度学习·学习·语言模型·多模态
元宇宙时间2 小时前
Playfun即将开启大型Web3线上活动,打造沉浸式GameFi体验生态
人工智能·去中心化·区块链
开发者工具分享2 小时前
文本音频违规识别工具排行榜(12选)
人工智能·音视频
xiaolang_8616_wjl2 小时前
c++文字游戏_闯关打怪2.0(开源)
开发语言·c++·开源
产品经理独孤虾2 小时前
人工智能大模型如何助力电商产品经理打造高效的商品工业属性画像
人工智能·机器学习·ai·大模型·产品经理·商品画像·商品工业属性
老任与码2 小时前
Spring AI Alibaba(1)——基本使用
java·人工智能·后端·springaialibaba
小兵张健2 小时前
武汉拿下 23k offer 经历
java·面试·ai编程
蹦蹦跳跳真可爱5892 小时前
Python----OpenCV(图像増强——高通滤波(索贝尔算子、沙尔算子、拉普拉斯算子),图像浮雕与特效处理)
人工智能·python·opencv·计算机视觉
雷羿 LexChien2 小时前
从 Prompt 管理到人格稳定:探索 Cursor AI 编辑器如何赋能 Prompt 工程与人格风格设计(上)
人工智能·python·llm·编辑器·prompt