VS Code 中把「自己部署的 Coder 模型」变成 AI 编程助手

公司内部部署了一个QWen-Coder的7B小模型,这个模型虽然不大,但是验证后发现效果还不错。

所以,希望能够在VS Code中使用这个模型来辅助编写代码,这样就可以避免使用其他付费模型。

1. 安装插件

在 VS Code 的开源 AI 插件中,Continue 这个插件评价还不错,功能也能满足要求:

  • 同时支持「对话」和「Tab 自动补全」两种交互方式
  • 后端可接任何兼容 OpenAI API 格式的模型(本地/云端均可)
  • 完全离线运行,保护源码隐私

因此,决定使用此插件来构建AI编程助手。

插件在:https://marketplace.visualstudio.com/items?itemName=Continue.continue

安装之后,VS Code 的边栏上会多一个图标。

2. 配置本地模型

接下来,我们配置它使用我们自己部署的模型:

依次点击左侧活动栏上 Continue 图标 -->选择Models --> 右上角齿轮。

就可以打开 Continue 的配置文件(yaml格式的),然后参照如上图的配置。

配置文件中,各个元素的含义如下:

  1. 基本信息
yaml 复制代码
name: Local Assistant
version: 1.0.0	
schema: v1
  • name: 配置名称,标识为 "Local Assistant"(本地助手)。
  • version: 配置文件版本(1.0.0)。
  • schema: 使用的配置架构版本(v1)。
  1. 模型配置
yaml 复制代码
models:
  - name: Qwen2.5-Coder-7B-Instruct
    provider: "openai"
    model: "Qwen2.5-Coder-7B-Instruct"
    apiBase: "http://ip:port/v1"
    apiKey: ""
    completion_options:
      temperature: 0.5
      top_p: 0.9
    roles:
      - chat
      - autocomplete
      - edit
      - apply
  • 模型定义:使用 Qwen2.5-Coder-7B-Instruct(一个针对代码任务的7B参数模型)。
    • provider: 设置为 "openai",表示兼容OpenAI API格式(这里根据你的实际情况修改)。
    • apiBase: 模型API的终端地址(http://ip:port/v1),指向一个本地或远程服务。
    • apiKey: 你的模型API密钥。
  • 生成参数:
    • temperature: 0.5(平衡生成结果的创造性和确定性)。
    • top_p: 0.9(核采样,限制生成时仅考虑概率最高的90% token)。
  • 支持的功能 (roles):
    • chat: 对话交互。
    • autocomplete: 代码自动补全。
    • edit: 代码编辑。
    • apply: 可能指应用代码更改。
  1. 上下文集成
yaml 复制代码
context:
  - provider: code
  - provider: docs
  - provider: diff
  - provider: terminal
  - provider: problems
  - provider: folder
  - provider: codebase

配置工具可访问的上下文来源(增强模型对当前任务的理解):

  • code: 当前编辑的代码文件。
  • docs: 项目文档或注释。
  • diff: 代码变更差异(如Git diff)。
  • terminal: 终端输出或命令历史。
  • problems: 错误或警告(如IDE提示)。
  • folder: 当前目录文件结构。
  • codebase: 整个代码库的元信息(如符号定义)。

总得来说,此配置文件定义了一个本地代码助手,通过HTTP API连接到一个 Qwen2.5-Coder 模型,支持代码补全、编辑、聊天等功能,并集成了开发环境的多维度上下文(代码、终端、文档等)。

3. 验证效果

最后,我们来验证下模型的效果。

首先 **@** 一个代码文件,下面的示例中是我的一个工程中的代码:

接下来,我们让AI帮我们生成CreateTask这个函数的代码:

然后,点击生成的代码右上角的 【Apply】按钮,就能将生成的代码填充到文件中。

点击右上角绿色的勾,就能将代码写入文件,如果代码有错误,可以继续通过prompt交互来修改代码,

或者直接修改代码文件也行。

4. 总结

十分钟内,你就能在 VS Code 里用上「完全属于自己」的 AI 编程助手,既省钱又安心。Happy coding!

相关推荐
Jo乔戈里1 小时前
免费本地搜图软件
图像处理·python·搜索引擎·ai
全栈练习生7 小时前
大模型原理之 Softmax
python·ai
唯鹿7 小时前
Jev初体验记录
人工智能·ai·jev
网络毒刘8 小时前
MCP 资源与提示(resources/prompts)实战:不只 tools,把只读上下文结构化喂给 Agent
人工智能·ai·cursor
数商思语行9 小时前
从BA、产品、实施或开发转做FDE,先补哪种能力
人工智能·ai·供应链·商业分析·ontology·本体·fde
我是神69 小时前
俄罗斯恢复软件r.saver汉化版
ai·数据恢复
七夜zippoe9 小时前
多 Agent 协作架构:Pipeline 模式——串行流水线设计与实战
ai·架构·pipeline·agent·串行流水线
Thomas.Sir10 小时前
第26课:工业零部件外观缺陷检测系统:从学术Demo到产线工程的重构实战
pytorch·ai
wflynn10 小时前
语言判别增强多语言语音模型的语言学习能力
人工智能·ai
空心木偶☜10 小时前
A2A2A(多智能体协作)
开发语言·python·ai·ai编程