Vscode Continue插件 集成 本地llama.cpp大模型实现代码补全

Vscode Continue插件 集成 本地llama.cpp大模型实现代码补全

Vscode Continue扩展

config.yaml文件内容

name: Local Config
version: 1.0.0
schema: v1
models:
  - name: Qwen3.5-4B-Q4_0
    provider: llama.cpp
    model: Qwen3.5-4B-Q4_0
    apiBase: http://127.0.0.1:11444
    roles:
      - chat
      - edit
      - apply
      - autocomplete
      - embed

附加llama.cpp启动命令

6G显存可以强制把模型都加到显存里。

llama-server --models-dir D:\llama.cpp\models -b 512 --mlock -ngl 99 --port 11444 --models-max 1 -c 65535